1 Kryteria wyboru wykonawcy jako jeden z kroków ku jakości w ewaluacji - doświadczenia Jednostki Ewaluacyjnej Województwa Zachodniopomorskiego Monika Lemke Urząd Marszałkowski Województwa Zachodniopomorskiego

2 Ewaluacja 2014-2020 – wyzwania użyteczność, dostarczanie wiarygodnych informacji na temat rzeczywistych efektów, pomoc w podejmowaniu decyzji, jakość.

3 Jakość w ewaluacji wpływa na użyteczność badania, decyduje o rzetelności i wiarygodności wyników, pomaga w podejmowaniu decyzji na podstawie wiarygodnych informacji, wymaga stosowania zaawansowanych metod badawczych, inspiruje do stosowania niestandardowych rozwiązań.

4 Jakość w ewaluacji – co można zrobić? zastosować inny wzór na obliczanie punktów za cenę od standardowego – najczęściej stosowanego: C= Cmin/Cof x Lmax, wprowadzić zapisy w SIWZ promujące jakość, np. o konieczności otrzymania w każdym podkryteriów merytorycznych określonej minimalnej liczby punktów, zastosować kryteria typu: trafność, spójność.

5 Nasze doświadczenia odeszliśmy od standardowego(popularnego) wzoru: C= Cmin/Cof x Lmax, w dwóch badaniach zastosowaliśmy wzór logarytmiczny na obliczanie ceny, a w jednym wzór proporcjonalny, wprowadziliśmy zapisy w SIWZ promujące jakość, wykonawcy muszą otrzymać w każdym z podkryteriów merytorycznych minimum 50 % z maksymalnej liczby punktów, przy ocenie merytorycznej zastosowaliśmy kryteria oceniające trafność, spójność.

6 Nasze doświadczenia - kryterium ceny Wzór logarytmiczny jest następujący: ln(1+(B-Cof)) Lp= -------------------- x Lmax ln (1+(B-Cmin)) gdzie: Lp – liczba punktów oferty ocenianej ln – funkcja logarytmu naturalnego B – budżet przeznaczony na badanie Cof – cena oferty ocenianej C min – 70% wartości zamówienia lub cena najtańszej oferty spośród tych, które zostaną wykazane przez wykonawców jako realne Lmax – maksymalna liczba punktów, jakie można uzyskać w ramach kryterium

7 Nasze doświadczenia - kryterium ceny Wzór proporcjonalny jest następujący: B-Cof Lp= ----------- x Lmax B-Cmin gdzie: Lp – liczba punktów oferty ocenianej B – budżet przeznaczony na badanie Cof – cena oferty ocenianej C min – 70% wartości zamówienia lub cena najtańszej oferty spośród tych, które zostaną wykazane przez wykonawców jako realne Lmax – maksymalna liczba punktów, jakie można uzyskać w ramach kryterium

8 Nasze doświadczenia - kryterium ceny C maxC minC2C4C5C6C8C9C10 275 000192 500208 146,75252 150241 695193 233250 000219 622,65215 250 Liczba punktów 39,2635,4636,7939,9735,7838,5938,86

9 Nasze doświadczenia - kryterium ceny C maxC minC1C2C3C4C5C6C7C8C9 330 000231 000221 400325 000293 970272 076299 259290 895246 949,56250 000264 450 Liczba punktów 40,0029,6236,4938,1435,9336,7739,3939,2638,57

10 Nasze doświadczenia - kryterium ceny CmaxCminC1C2C3C6C7C8C9C10C11C12 282 900101647,20264 450196 800 101 868,60101 647,20 258 000 198 030 233 700231 208,15 215446,80 245 877 wzór logarytmiczny 32,45 37,54 40,00 33,44 37,49 35,69 35,86 36,73 34,75 wzór proporcjonalny 4,07 19,00 39,95 40,00 5,50 18,73 10,86 11,41 14,89 8,17

11 Nasze doświadczenia - zapisy SIWZ W SIWZ wprowadziliśmy następujący zapis: Zamawiający – chcąc zagwarantować wysoką jakość i profesjonalizm realizacji zadania – wymaga, by w każdym z ww. podkryteriów oferta Wykonawcy uzyskała minimum 50% punktów możliwych do otrzymania. (…) Jeżeli oferta uzyska mniej niż 50% możliwych do otrzymania punktów w danym podkryterium, zostanie odrzucona jako niespełniająca wymagań Zamawiającego na podstawie art. 89 ust. 1 pkt 2 ustawy PZP („jej treść nie odpowiada treści specyfikacji istotnych warunków zamówienia”).

12 Nasze doświadczenia - kryteria merytoryczne Jako kryterium merytoryczne stosujemy „metodykę badania”, w którym stosujemy następujące podkryteria:  spójność koncepcji badania,  trafność oparcia koncepcji badawczej na teorii badawczej lub koncepcji naukowej,  trafność zaproponowanych w ramach planu badawczego metod i technik badawczych,  trafność zaproponowanych w ramach planu badawczego metod i technik analizy danych,  trafność dodatkowych pytań badawczych uwzględniających specyfikę badania oraz specyfikę grupy badawczej;  trafność zidentyfikowania potencjalnych obszarów ryzyka mogących wystąpić w trakcie realizacji badania i środka/- ów go minimalizującego/-ych.

13 Nasze doświadczenia – co dalej? Zamierzamy kontynuować stosowanie: niestandardowych wzorów na obliczanie ceny, szczególnie wzoru logarytmicznego, przy którym nie występują duże rozbieżności w punktach za cenę i decydującą rolę zaczyna odgrywać jakość, planu badawczego przez wykonawców w ofercie, ale musimy go bardziej precyzyjnie zdefiniować, dotychczasowych zapisów SIWZ promujących jakość, dotychczasowych kryteriów akcentujących trafność i spójność określonych elementów oferty, dostosowywać kryteria merytoryczne do specyfiki i tematyki badania.

14 Dziękuję za uwagę