1 Badanie ewaluacyjne „ Ocena systemu wskaźników Regionalnego Programu Operacyjnego Warmia i Mazury na lata 2007-2013” 1Urząd Marszałkowski Województwa Warmińsko-Mazurskiego w Olsztynie Olsztyn, 18.04.2011 r.

2 Cel główny badania: Ocena i weryfikacja systemu wskaźników RPO WiM na lata 2007-2013, pod kątem skutecznego monitorowania realizacji Programu. 2Urząd Marszałkowski Województwa Warmińsko-Mazurskiego w Olsztynie Olsztyn, 18.04.2011 r.

3 Cele szczegółowe badania: Weryfikacja wartości docelowych wskaźników RPO WiM, Opracowanie trafnego i spójnego katalogu wskaźników RPO WiM na wszystkich poziomach wdrażania Programu, Identyfikacja istniejących lub potencjalnych barier w systemie wskaźników, Optymalizacja użyteczności Generatora Wniosków MAKS oraz Lokalnego Systemu Informatycznego MAKS do obsługi systemu wskaźników RPO WiM. 3Urząd Marszałkowski Województwa Warmińsko-Mazurskiego w Olsztynie Olsztyn, 18.04.2011 r.

4 Zakres czasowy: Lata 2007-2009 (od zatwierdzenia RPO WiM do czerwca 2009r.) Zakres podmiotowy: Instytucje zaangażowane w realizację RPO WiM (IZ, IP, IP II stopnia), Eksperci oceniający projekty w ramach RPO WiM, Wnioskodawcy / beneficjenci RPO WiM, Firmy otoczenia biznesu posiadające doświadczenie w przygotowywaniu wniosków aplikacyjnych w ramach RPO WiM, Niezależni eksperci specjalizujący się w dziedzinie wskaźników. Wykonawca badania: Konsorcjum firm w składzie : Fundacja Rozwoju Demokracji Lokalnej, Era ewaluacji Sp. z o.o., Termin realizacji badania: Od października 2009r. do kwietnia 2010r. 4Urząd Marszałkowski Województwa Warmińsko-Mazurskiego w Olsztynie Olsztyn, 18.04.2011 r.

5 Metodologia Zastosowane metody badawcze i analityczne: Analiza danych zastanych (w tym lista wskaźników RPO WiM), Analiza wniosków złożonych w ramach RPO WiM – 348 wniosków, Wywiady pogłębione (IDI) – 45 wywiadów, Wywiady telefoniczne ze wspomaganiem komputerowym (CATI) na próbie ponad 346 wnioskodawców / beneficjentów RPO WiM, Zogniskowany wywiad grupowy (FGI), Analiza ekspercka przy zastosowaniu metody delfickiej, Benchmarking (analiza porównawcza), Analiza SWOT, Panel dyskusyjny. 5Urząd Marszałkowski Województwa Warmińsko-Mazurskiego w Olsztynie Olsztyn, 18.04.2011 r.

6 Aktualizacja wyników badania (wg stanu na 31.12.2010r.) Podstawa aktualizacji: Posiadanie aktualnych danych na temat stopnia realizacji programu (wskaźników) na potrzeby przeglądu śródokresowego programu (reprogramowania), Zakres czasowy: styczeń – grudzień 2010r. Wykonawca : Jednostka Ewaluacyjna RPO WiM Produkty aktualizacji: Szczegółowe analizy wartości docelowych wskaźników monitoringu RPO WiM na lata 2007-2013 – dla każdej osi priorytetowej; Informacja o wskaźnikach RPO WiM o potencjalnym wykonaniu większym niż 100%. 6Urząd Marszałkowski Województwa Warmińsko-Mazurskiego w Olsztynie Olsztyn, 18.04.2011 r.

7 Aktualizacja wyników badania (wg stanu na 31.12.2010r.) Model prac nad aktualizacją wyników badania ewaluacyjnego: Zbieranie danych na temat stopnia realizacji RPO WiM od jednostek wdrążających w oparciu o opracowany kwestionariusz (dane ilościowe i jakościowe), Wygenerowanie danych o RPO WiM z sytemu LSI MALS 07-13, Analiza danych, Konsultacje opracowanego materiału z jednostkami wdrążającymi, Uwzględnienie wyników analiz w rekomendacjach przyjętych przez IZ RPO WiM na temat wskaźników, Wykorzystanie wyników analiz do opracowania projektu zmian RPO WiM w ramach przeglądu śródokresowego. Wykonawca : Jednostka Ewaluacyjna RPO WiM Produkty aktualizacji: 7Urząd Marszałkowski Województwa Warmińsko-Mazurskiego w Olsztynie Olsztyn, 18.04.2011 r.

8 Wniosek1 :( raport s.118-120) Zidentyfikowane zostały wskaźniki, w przypadku których zagrożone jest osiągnięcie ich wartości docelowej. Czynnikami mającymi wpływ na niemożność osiągnięcia zakładanych wartości są: zmieniająca się sytuacja ekonomiczno-gospodarcza (kryzys gospodarczy), brak zainteresowania projektami danego typu, brak informacji na temat możliwości aplikowania na konkretne działania, ograniczona liczba środków na niektóre typy projektów. Rekomendacja 1.1: Niewykorzystane środki powinno się w miarę możliwości przesuwać na inne działania. Rekomendacja 1.2: W przypadku znacznego odchyłu w stosunku do założonych wartości rekomenduje się obniżenie wartości docelowych wskaźników Wnioski z badania i rekomendacje przyjęte przez IZ 8Urząd Marszałkowski Województwa Warmińsko-Mazurskiego w Olsztynie Olsztyn, 18.04.2011 r.

9 Rekomendacja 1.2 – cd.: Obniżenie wartości docelowych wskaźników: Wnioski z badania i rekomendacje przyjęte przez IZ Liczba projektów współpracy pomiędzy przedsiębiorstwami a jednostkami badawczymi Liczba projektów BRT w MŚP Liczba utworzonych miejsc pracy w zakresie B+R – etaty badawcze Długość nowych linii kolejowych Liczba podłączeń do szerokopasmowego Internetu Liczba osób przyłączonych do sieci kanalizacyjnej w wyniku realizacji projektu Dostosowania rozkładu wartości docelowych wskaźników na poszczególne składowe: Liczba projektów z zakresu bezpośredniego wsparcia inwestycyjnego dla przedsiębiorstw – w podziale na wielkość przedsiębiorstw, Długość nowych dróg – w podziale na kategorie dróg, Długość zrekonstruowanych dróg – w podziale na kategorie dróg, Zmiany jednostki miary wskaźników: Ilość energii wytworzonej z odnawialnych źródeł energii w wyniku realizacji projektu – z „ MWh” na „ MWh/rok” 9Urząd Marszałkowski Województwa Warmińsko-Mazurskiego w Olsztynie Olsztyn, 18.04.2011 r.

10 Rekomendacja 1.2 – cd.: Wnioski z badania i rekomendacje przyjęte przez IZ Przesunięcia terminu realizacji wartości docelowej wskaźnika: Wartość pożyczek i gwarancji udzielonych przedsiębiorcom – z roku 2013 na rok 2015 Zmiany częstotliwości pomiaru wskaźników : Wpływ realizacji programu na zmianę PKB (%) – z „w połowie i na zakończenie realizacji programu” na „na zakończenie realizacji programu”, Wpływ realizacji programu na liczbę netto utworzonych miejsc pracy (szt.) – z „w połowie i na zakończenie realizacji programu” na „na zakończenie realizacji programu”. Zmiany źródła pozyskiwania danych wskaźników: Wpływ realizacji programu na zmianę PKB (%) – z „HERMIN” na „HERMIN / ewaluacja”, Wpływ realizacji programu na liczbę netto utworzonych miejsc pracy (szt.) – z „HERMIN” na „HERMIN / ewaluacja”, Dodatkowe inwestycje wykreowane dzięki wsparciu – z „beneficjent” na „System monitoringu, Instytucja Zarządzająca i Pośrednicząca”, Oszczędność czasu w euro na nowych i zrekonstruowanych drogach w przewozach pasażerskich i towarowych – z „ewaluacja” na „Instytucja Zarządzająca / beneficjent / ewaluacja”. 10Urząd Marszałkowski Województwa Warmińsko-Mazurskiego w Olsztynie Olsztyn, 18.04.2011 r.

11 Wniosek 2 :( raport s.118-120) Zidentyfikowano duże trudności w realizacji wskaźnika zatrudnienia zakładającego równość szans. Rekomendacja 2: Zmiana źródła pozyskiwania danych dotyczących liczby zatrudnionych kobiet i mężczyzn Wnioski z badania i rekomendacje przyjęte przez IZ 11Urząd Marszałkowski Województwa Warmińsko-Mazurskiego w Olsztynie Olsztyn, 18.04.2011 r.

12 Wniosek 3: (raport s.140) System wskaźników jest niewrażliwy na zmiany sytuacji społeczno-gospodarczej w kraju. Kryzys gospodarczy i trudna sytuacja w jakiej znalazło się wiele firm, często uniemożliwia utrzymanie zakładanych wskaźników rezultatu przez okres 3 - 5 lat. Rekomendacja 3: Instytucje Zarządzające i Pośredniczące powinny umożliwiać beneficjentom odroczenie terminu realizacji założonego we wniosku wskaźnika rezultatu. W szczególnych przypadkach (np. pogłębiający się kryzys gospodarczy) powinna istnieć możliwość wydłużenia okresu trwałości projektu. Każdy projekt powinien być jednak rozpatrywany indywidualnie. Wnioski z badania i rekomendacje przyjęte przez IZ 12Urząd Marszałkowski Województwa Warmińsko-Mazurskiego w Olsztynie Olsztyn, 18.04.2011 r.

13 Dziękuję za uwagę Emilii Plater 1, 10-562 Olsztyn Tel. (0-89) 521-93-00, Fax. (0-89) 521-93-09 Emil Walendzik Kierownik Biura Monitoringu i Analiz Departament Polityki Regionalnej Jednostka Ewaluacyjna RPO WiM 13Urząd Marszałkowski Województwa Warmińsko-Mazurskiego w Olsztynie Olsztyn, 18.04.2011 r.