1 Podsumowanie wyników ewaluacji jednostek naukowych – 2013Komitet Ewaluacji Jednostek Naukowych Podsumowanie wyników ewaluacji jednostek naukowych – 2013 Maciej Zabel UKN, Kielce Podziękowania dla Piotra Brzezińskiego (ICI) za przygotowanie części materiałów
2 Kto brał udział w ocenie jednostek naukowychKEJN Zespoły Ewaluacji (ZE) OPI Index Copernicus International (ICI) DN - MNiSzW
3 KEJN – Grupy Wspólnej OcenyPodstawowe Jednostki Organizacyjne Szkół Wyższych Grupa Nauk Rodzaj Jednostki Humanistyczne i Społeczne Ścisłe i Inżynierskie o Życiu o Sztuce i Twórczości Artystycznej 6 8 4 3 Instytuty Polskiej Akademii Nauk 1 Instytuty Badawcze (Inne) 3 (2) 0(1) 5 6 (6) 2 14 października 2013 Kategoryzacja JN 2013
4 Podkryteria wg grup nauk i rodzaju Jednostek NaukowychNagrody Konferencje Popularyzacja Specjalne Ekspertyzy Działania artyst. Płace ze źródeł zewnętrznych Nakłady na apa- raturę i oprogr raturę i oprogr. Patenty Uprawnienia Rozwój kadry Funkcje Projekty Środki z projekt. Lab. akredytow. Status PIB Publikacje Monografie Dorobek artyst. Kryterium Grupa Nauk 1. Osiągnięcia naukowe i twórcze 2. Potencjał naukowy 3. Materialne efekty działalności naukowej 4. Pozostałe efekty Humanist. i Społecznych Ścisłych i Inżynierskich o Życiu o Sztuce i Twórczości Artystycznej 14 października 2013 Kategoryzacja JN 2013
5 Wagi kryteriów wg grup nauk i rodzaju Jednostek NaukowychMaksymalna punktacja w ostatecznej ocenie (wagi) Kryterium sposób oceny Nauki Hum. + Społ. Ścisłe + Inżyn. JU PAN IB o Życiu JU PAN IB Nauki o Sztuce i Twórczości Artystycznej 1. Osiągnięcia naukowe i twórcze Punkty z listy ministerial-nej i ustalone przez KEJN 65 60 Wg ustalonej punktacji 15 20 5 Ankieta i ZE 3. Materialne efekty działalności naukowej 4. Inne efekty 2. Potencjał naukowy 14 października 2013 Kategoryzacja JN 2013
6 A B C KEJN – kategoryzacja Wynik kategoryzacji 14 października 2013Kategoryzacja JN 2013
7 Etapy procesu oceny jednostek naukowychKlasyfikacja przypisanie jednostek do grup wspólnej oceny (GWO) Parametryzacja ocena działalności JN na podstawie opracowanych kryteriów charakteryzujących daną GWO Kategoryzacja ustalenie kategorii jednostek naukowych (kategorie A, B, C oraz A+) Odwołania od przyznanej kategorii analiza uwag ogólnych i poszczególnych zdarzeń, wydanie opini KEJN, decyzja Ministra
8 Przebieg procesu odwoławczegoICI – przygotowało karty odwołań i uruchomiło system teleinformatyczny KEJN - powołał ZE i przeszkolił ewaluatorów, którzy dokonali oceny, podsumował wyniki odwołań i dokonał korekt DN MNiSzW – opracował odwołania, porównał wersje papierowe i elektroniczne, opracował decyzje co do kategorii i każdego pojedynczego zdarzenia ewaluacyjnego KEJN zakończył pracę 25 lutego 2014 i przekazał wyniki Ministrowi i DN Minister wyda decyzję co do zmiany kategorii – maj 2014
9 Najważniejsze problemy z jakością danychBrak kompleksowego źródła danych, konieczność zbierania informacji z różnych źródeł (wewnętrznych i zewnętrznych). Duplikaty zgłoszonego dorobku naukowego (np. publikacje, monografie, konferencje, projekty) – brak koordynacji pomiędzy Jednostkami Naukowymi, szczególnie w ramach tej samej uczelni Problemy z wykazaniem zatrudnienia Brak należytej staranności przy wypełnianiu ankiety
10 Proces ewaluacji w liczbachLiczba wszystkich jednostek Całkowita liczba N ,09 Liczba zgłoszonych zdarzeń ewaluacyjnych (dorobek naukowy): Liczba zdarzeń ewaluacyjnych spełniających warunki formalne oceny: Liczba zdarzeń zakwalifikowanych do kart oceny (po optymalizacji): Liczba zdarzeń wytypowanych przez walidatory do sprawdzenia: Liczba decyzji podjętych przez poszczególnych członków ZE: Liczba wydanych decyzji administracyjnych przyznających kategorię naukową: 962 Liczba złożonych odwołań od przyznanej kategorii naukowej: 280
11 przed rozpatrzeniem odwołańPorównanie wyników ewaluacji – kategorie naukowe 2010 vs kategorie naukowe 2013 przed rozpatrzeniem odwołań Ewaluacja 2010 Ewaluacja 2013
12 Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wgZamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. grupy nauk Nauki humanistyczne i społeczne Nauki o życiu Nauki ścisłe i inżynierskie Nauki o sztuce i twórczości artystycznej
13 Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wgZamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. typu jednostek Uczelnie Jednostki PAN Instytuty badawcze Inne jednostki
14 Rozkłady kategorii naukowych w poszczególnych grupach naukprzed rozpatrzeniem odwołań Nauki humanistyczne i społeczne Nauki o życiu Kategoria naukowa: A B C A+ Nauki o sztuce i tw. artystycznej Nauki ścisłe i inżynierskie
15 przed rozpatrzeniem odwołańRozkłady kategorii naukowych w poszczególnych rodzajach jednostek naukowych przed rozpatrzeniem odwołań Jednostki uczelniane Jednostki PAN Kategoria naukowa: A B C A+ Instytuty badawcze Inne jednostki
16 Zakres rozpatrzonych odwołań od zdarzeń ewaluacyjnychSuma zdarzeń Odwołanie Odwołania faktyczne Inne (np. N i No) odwołania od zdarzeń 5 981 (0,63%) 3 382 (0,35%) 2 599 uznano odwołań - 2 015 (0,21%) (62,14%)
17 Odwołania od zdarzeń ewaluacyjnych
18 Odwołania wg rodzaju
19 Zdarzenia zmienione
20 Zdarzenia odrzucone
21 Zdarzenia nie ocenione
22 Kryterium I
23
24 Zmiana kategorii jednostki naukowejLISTA Ilość wszystkich jednostek naukowych Ilość jednostek naukowych które złożyły odwołania Awans w wyniku rozpatrzonego odwołania Zmiany w ramach kategorii A_PLUS 37 2 - 0% A 307 60 8 3% B 541 185 32 6% C 77 33 10 12% RAZEM 962 280 50 5% Ostateczna Ilość jednostek naukowych (4,6%) (35,2%) (57,2%) (7,0%) 962
25 Plany KEJN odnośnie OCENY JN w 20171. Ogólna zasada przeprowadzenia Oceny JN, w tym dobór kryteriów 2. Wybrane problemy szczegółowe - N i No - GWO i jednostki heterogenne - Jednostki referencyjne i porównanie parami - Monografie - Publikacje w czasopismach Wagi i kryterium IV Pozycja międzynarodowa Dorobek artystyczny Co usunąć i uprościć, a co dołożyć?
26 Kryterium II
27 Kryterium III
28 Kryterium 4