1 Departament Polityki Regionalnej Wyniki badania ewaluacyjnego: „Ocena systemu kryteri ó w wyboru projekt ó w zastosowanych w Regionalnym Programie Operacyjnym Wojew ó dztwa Kujawsko- Pomorskiego” – rekomendacje dot. kryteriów w ramach osi priorytetowej 4. Toruń, 29.09.2009r.

2 Departament Polityki Regionalnej Wykonawca badania Termin: 15.07. – 30.09. 2009r. 2

3 Departament Polityki Regionalnej Celem gł ó wnym badania była ocena zaakceptowanych przez KM RPO WK-P kryteri ó w oceny projekt ó w w ramach Regionalnego Programu Operacyjnego Wojew ó dztwa Kujawsko-Pomorskiego na lata 2007-2013 pod kątem ich funkcjonalności, trafności i obiektywności.

4 Departament Polityki Regionalnej Osiągnięciu celu gł ó wnego służyła: 1. Ocena jakości systemu kryteri ó w wyboru projekt ó w. 2. Ocena funkcjonalna systemu kryteri ó w wyboru projekt ó w rozumiana jako zdolność do zapewnienia wyboru optymalnych projekt ó w z punktu widzenia realizacji cel ó w RPO WK-P. 3. Ocena innych element ó w systemu wyboru projekt ó w 4. W wyniku analizy trzech pierwszych punkt ó w, ewentualne sformułowanie zaleceń wobec modyfikacji lub uzupełnienia katalogu kryteriów

5 Departament Polityki Regionalnej Badaniem objęto wszystkie kryteria obowiązujące w ramach programu RPO WK-P, w wersji obowiązującej w momencie rozpoczęcia badania (wersja z czerwca oraz wersja 3.7 z sierpnia 2009 r.)

6 Departament Polityki Regionalnej Metodologia badania analiza dokumentów (dokumentów strategicznych, procedur, kryteriów wyboru itp.) badania terenowe: indywidualne wywiady pogłębione (15 wywiadów), telefoniczne wywiady kwestionariuszowe CATI (32 z wnioskodawcami, 8 z osobami oceniającymi), wywiad grupowy FGI (1 wywiad).

7 Departament Polityki Regionalnej Najważniejsze wyniki badania systemu wyboru projekt ó w Ocena systemu wyboru projekt ó w zgodność z polskimi i unijnymi przepisami przejrzystość procedur – problemem dla beneficjentów są : długość i zawiłość procesu oceny formalnej oraz niejednoznaczność kryteriów merytorycznych

8 Departament Polityki Regionalnej cd. Ocena jakości dokumentów aplikacyjnych zgodność dokumentów z przepisami krajowymi i wspólnotowymi wg beneficjentów brakuje miejsca w poszczególnych polach wniosku na zamieszczenie wszystkich informacji pozytywna ocena formularza wniosku (jeden dla wszystkich działań) pozytywna ocena instrukcji wypełniania wniosku – wg beneficjentów mało precyzyjna oraz napisana trudnym językiem

9 Departament Polityki Regionalnej cd. Ocena systemu kryteriów wyboru projektów analiza grup kryteriów i logiki oceny wykazała wysoki poziom zgodności z oceną modelową przedstawioną w raporcie, zastrzeżenia budzi umiejscowienie niektórych kryteriów w grupie B2, które oceniają wpływ rezultatów na osiąganie założonych w RPO celów (i przez to powinny znaleźć się w grupie B3) sposób wagowania kryteriów, przygotowany w oparciu o metodę Saaty’ego, jest próbą naukowego podejścia do określania ważności kryteriów w ocenie projektów, dlatego zasługuje na miano dobrej praktyki

10 Departament Polityki Regionalnej Najważniejsze wyniki badania kryteriów wyboru projektów Ocena kryteriów formalnych analizie poddano 20 kryteriów formalnych (powtarzających się w różnych działaniach), z czego 12 oceniono jako poprawnie przygotowane, w 3 kryteriach zarekomendowano uproszczenie oceny lub przeniesienie ich do oceny merytorycznej, a w 5 kryteriach zarekomendowano doprecyzowanie, co ma być sprawdzane danym kryterium, w jaki sposób i co oznaczają sporne opisy. 10

11 Departament Polityki Regionalnej cd. Ocena kryteriów merytoryczno-technicznej dopuszczalności projektu analizie poddano 20 kryteriów (w tym 2 kryteria analizowano z uwagi na różnice dla różnych działań) merytoryczno-technicznej dopuszczalności projektu. Zakres oceny w przypadku 8 kryteriów nie budził zastrzeżeń, a w przypadku 9 kryteriów – spełniały one cechy poprawności metodologicznej. ważną kwestią jest uporządkowanie kryteriów w taki sposób, aby odpowiadały 5 aspektom wykonalności: technicznej, technologicznej, finansowej, ekonomicznej i instytucjonalnej. 11

12 Departament Polityki Regionalnej cd. Ocena kryteriów oceny jakości projektu Analizie poddano 53 kryteria oceny jakości projektu (w tym 13 kryteriów analizowano z uwagi na różnice dla różnych działań). mankamentem w tych kryteriach jest stosowanie szerokich przedziałów, w których mogą poruszać się eksperci podczas oceny. Dlatego gros rekomendacji dotyczy doprecyzowania punktacji na zasadzie 0 – nie spełnia, 10 – spełnia, częściowo spełnia 5 pkt. 12

13 Departament Polityki Regionalnej cd. Ocena kryteriów oceny wpływu przewidywanych rezultatów projektu na osiąganie założonych w RPO celów Analizie poddano 13 kryteriów z tej grupy. 4 z nich uznano za poprawne pod względem metodologicznym. W 6 przypadkach natomiast zarzucono kryteriom niejednoznaczną ocenę, a w 5 – nietrafny opis. 13

14 Departament Polityki Regionalnej Rekomendacje dot. kryteriów w ramach osi priorytetowej 4.  Ogólne rekomendacje – nr 2  Rekomendacje dla kryteriów z grupy A (kryteria do oceny formalnej) – nr od 11 do 20  Rekomendacje dla kryteriów z grupy B1 (kryteria merytoryczno-technicznej dopuszczalności projektu) – nr od 22 do 27 oraz 32  Rekomendacje dla kryteriów z grupy B2 (kryteria oceny jakości projektu) – nr 43, 50, 53, 54, 55  Rekomendacje dla kryteriów z grupy B3 (kryteria oceny wpływu przewidywanych rezultatów projektu na osiąganie założonych w RPO celów) – nr 75, 80, 14