1 Ewaluacja polityki spójności w Polsce z perspektywy ewaluatora. Doświadczenia i perspektywy Piotr Stronkowski

2 Ogólna ocena ewaluacji w Polsce Olbrzymi postęp w zakresie potencjału ewaluacyjnego, liczby ewaluacji, budowania kultury ewaluacji, wykorzystania wyników Z drugiej strony jakość i użyteczność ewaluacji odbiega od oczekiwań

3 Co to znaczy, że ewaluacje odbiegają od oczekiwań? Znikome wykorzystanie wyników ewaluacji W roku 2014 – T. Kupiec wykonał analizę wykorzystania rekomendacji z ewaluacji w zrealizowanych w okresie 2007-2012 w III celowo dobranych województwach. W sumie w tych trzech województwach zrealizowano 44 ewaluacje RPO, w tym 35 zawierały ogółem 440 rekomendacje (ok. 12,5 rekomendacji na raport) 40% rekomendacji zostało wdrożonych, ale… Wdrożone rekomendacje dotyczyły głównie kwestii technicznych, organizacyjnych, usprawnienia sposobu wdrażania (waga wdrożonych rekomendacji: niska lub średnia) Wiele z nich dotyczyło promocji i informacji

4 Co to znaczy, że ewaluacje odbiegają od oczekiwań? Najważniejsze: ewaluacje nie miały wpływu na kluczowe decyzje, dotyczące podstawowych założeń interwencji, definiowania problemów i sposobów ich rozwiązania, celów, priorytetów czy też alokacji finansowej. Pomimo, że w tym samym czasie dokonano wielu zmian w interwencji Zidentyfikowano również przykłady niewłaściwego użycia ewaluacji (uzasadnienie dla decyzji, które nie wynikały z ewaluacji) Ewaluacje również w niewielkim stopniu wspierają proces uczenia się organizacji i w niewielkim stopniu wykorzystywane są w trakcie dyskusji nad interwencją Kluczowy problem: W opinii głównych odbiorców ewaluacje dostarczają mało istotnych i mało użytecznych wniosków i rekomendacji!

5 Na czym konkretnie polega niska użyteczność ewaluacji Badanie użyteczności badań ewaluacyjnych: T. Kupiec – metaanaliza 30% badań zrealizowanych na poziomie RPO Wnioski: Tylko 20% ewaluacji zawiera rekomendacje w pełni zgodne z celami badania, a w 30% badań rekomendacje całkowicie niezgodne z celami badawczymi 77% rekomendacji spójnych z wnioskami badań (ocenianych jako wiarygodne) 37% rekomendacji ocenianych jako istotne (powiązane z wnioskami, czytelne i możliwe do wdrożenia, potencjał do wywołania znaczących, pozytywnych zmian, rozwiązania problemu 7% rekomendacji ma charakter strategiczny (dotyczy kierunków wsparcia, zakresu działań, typów projektów i alokacji finansowych)

6 Na czym konkretnie polega niska użyteczność ewaluacji 72% badań ewaluacyjnych nie zawiera odpowiedzi na wszystkie pytania badawcze (często są to odpowiedzi pozorowane – luźne dywagacje na temat) Najczęściej brakuje odpowiedzi na pytania dotyczące wpływu RPO na rozwój społeczno-gospodarczy, szacowanie oddziaływań, zaspokojenie potrzeb społecznych. Przyczyny: – Badanie realizowane zbyt wcześnie – Skala projektów zbyt mała aby oddziaływania mogło być uchwycone – Budżet i metody zwykle uniemożliwiają uchwycenie oddziaływania Bezpośrednia przyczyna: zbyt duża liczba pytań – średnio 36 pytań na badanie, ale: – Czasami odpowiedzi są wymagane w dodatkowych przekrojach – Niektóre pytania są bardzo szerokie Dodatkowo Zamawiający premiują za dodatkowe pytania badawcze – w efekcie liczba celów i pytań może rosnąć nawet kilkukrotnie W efekcie – produkcja raportów, a nie wiedzy

7

8 Ewaluacja a rozwiązywanie problemów Ewaluacja – to przede wszystkim ocena programów / polityk pod kątem określonych kryteriów (działa / nie działa / dlaczego nie działa) Rozwiązywanie problemów – ustrukturyzowany proces analizowania różnych dostępnych alternatyw dla rozwiązania problemu: – Każdy element problemu / decyzji powinien zostać poddany analizie oddzielnie, systematycznie i w wystarczającym stopniu To są dwa oddzielne procesy, wymagające zastosowania różnych technik analitycznych, oddzielnych zasobów i kompetencji

9 Przykładowe błędy popełniane przy rozwiązywania problemu Rozpoczynamy analizę problemu od sformułowania wniosków (czyli od końca) Analizy koncentrują się na tych rozwiązaniach, które intuicyjnie wydają się nam właściwe – niedostateczny nacisk na analizę alternatywnych rozwiązań Rozwiązania, które intuicyjnie wydają się nam właściwie, uznajemy za adekwatne i wystarczające – nie poszukujemy dalej Mylimy dyskusje na temat problemu (wymianę argumentów) z analizowaniem problemu Koncentrujemy się na argumentach, dowodach i wnioskach, a nie na procesie analizy Większość z nas nie rozumie, co to znaczy podejść w sposób ustrukturyzowany do rozwiązywania problemów Źródło: M.D. Jones, The Thinkers Toolkit, Crown Business, New York

10 Formułowanie rekomendacji w praktyce badań ewaluacyjnych Faza budowania rekomendacji nie jest oddzielona od fazy formułowania wniosków z badania, w efekcie rekomendacje są formułowane: – Na ostatnią chwilę – często tuż przed oddaniem raportu końcowego – Intuicyjnie – bazując na intuicjach, wiedzy, doświadczeniach i przekonaniach badaczy, jak należy rozwiązać dany problem – Często nie poświęca się czasu na analizę alternatywnych rozwiązań / rekomendacji – Ewentualne warsztaty / panele służą dyskusji, a nie systematycznej analizie

11 Ewaluator: kompetencje badacza, eksperta czy konsultanta? Badacz – potrafi zoperacjonalizować problem i pytania badawcze, skonstruować narzędzia, poddać analizie wyniki badania Ekspert – ma dużą wiedzę o tematyce badania (rozwoju regionalnym, edukacji itd.) Konsultant – stara się zrozumieć potrzeby klienta, systematycznie przeanalizować problem i zaproponować najlepsze rozwiązania Wśród ewaluatorów: – Dominują kompetencje badawcze – nacisk na poprawność metodologiczną badań, próby, wnioskowania itd. – Eksperckość traktowana czasami powierzchownie (brak wystarczającego zrozumienia tematyki) lub akademicko (wymagany tytuł naukowy) – Kompetencje konsultanta – potrzebne na etapie strukturyzowania problemu i poszukiwania rozwiązań – myślę, że występują najrzadziej

12 Zamawiający Nacisk na kompetencje badacza – operacjonalizację pytań badawczych, opracowanie narzędzi, realizację badań i analizę wyników Zbyt mały nacisk na: – Zrozumienie tematyki badania (kompetencje eksperckie) – Ustrukturyzowanie analizy i poszukiwanie rozwiązań problemów (kompetencje konsultanta)

13 Do czego to prowadzi? Upowszechniania się działań pozornych: – pozorowania przez wykonawców, że realizują rzetelne badania ewaluacyjne – Pozorowania przez zamawiających, że te badania ich satysfakcjonują Psucie się rynku: – Coraz większa aktywność firm żerujących na owej pozorności – Konieczność ścinania kosztów i obniżenia jakości przez firmy z ambicjami do prowadzenia badań wyższej jakości

14 Co możemy zrobić? Decydujący wpływ na kształt rynku mają zamawiający – to oni określają reguły gry Zapewne nie ma jednego rozwiązania – należy jednak dążyć do stałego doskonalenia praktyki ewaluacji.

15 Możliwe sposoby poprawy jakości badań Większy nacisk na kompetencje ewaluatorów – Zaostrzenie wymagań wobec firm badawczych / ewaluatorów, z jasnym wyodrębnieniem badaczy na pozycji senior i na pozycji junior – Określanie wymagań jakościowych i ich konsekwentne stosowanie na etapie odbioru raportów z badań Ograniczenie liczby pytań badawczych – Koncentracja na kluczowych kwestiach badawczych – Wstępna weryfikacja pytań pod kątem ich rozstrzygalności – Rezygnacja z kryteriów premiujących dodatkowe pytania badawcze Wymuszenie lepszego rozpoznania tematu i strukturyzacji problemów badawczych – Wydłużenie fazy wstępnej badania – Zastąpienie raportu metodologicznego raportem wstępnym – W raporcie wstępnym powinny znaleźć się pierwsze ustalenia badawcze oraz analiza teorii zmiany interwencji – Częstsze stosowanie raportów cząstkowych, podsumowujących kolejne etapy procesu ewaluacji Wyodrębnienie fazy rozwiązywania problemów zdiagnozowanych na etapie badań – Wyodrębnienie w procesie ewaluacji fazy przygotowania rekomendacji – Oczekiwanie w ofertach prezentacji metod analizy problemów i sposobu dochodzenia do rekomendacji Urealnienie budżetów badań ewaluacyjnych, ze szczególnym naciskiem na koszty: przygotowania koncepcji badania, analizy materiału i przygotowania rzetelnego raportu