Podsumowanie wyników ewaluacji

jednostek naukowych – 2013

Maciej ZabelUKN, Kielce 6. 06. 2014

Podziękowania dla Piotra Brzezińskiego (ICI) za przygotowanie części materiałów

Komitet Ewaluacji Jednostek Naukowych

Kto brał udział w ocenie jednostek naukowych

• KEJN• Zespoły Ewaluacji (ZE)• OPI• Index Copernicus International (ICI)• DN - MNiSzW

14 października 2013

Kategoryzacja JN 2013 3

KEJN – Grupy Wspólnej Oceny

Podstawowe Jednostki Organizacyjne Szkół Wyższych

Grupa Nauk

Rodzaj Jednostki Humanistyczne i Społeczne

Ścisłei Inżynierskie

o Życiu o Sztucei Twórczości Artystycznej

6 8 4 3

Instytuty Polskiej Akademii Nauk

1

Instytuty Badawcze (Inne)

3 (2) 0(1)

5 8

6 (6)

2

3 (2)

14 października 2013

Kategoryzacja JN 2013 4

NagrodyKonferencjePopularyzacjaSpecjalne

NagrodyKonferencjePopularyzacjaSpecjalne

NagrodyKonferencjePopularyzacjaSpecjalne

NagrodyKonferencjePopularyzacjaSpecjalne

EkspertyzyDziałania artyst.

Płace ze źródeł zewnętrznychNakłady na apa- raturę i oprogr

Płace ze źródeł zewnętrznychNakłady na apa- raturę i oprogr.

PatentyEkspertyzy

UprawnieniaRozwój kadryFunkcjeProjekty

Środki z projekt.UprawnieniaRozwój kadryLab. akredytow.

UprawnieniaRozwój kadryLab. akredytow.Status PIB

UprawnieniaRozwój kadryFunkcjeProjekty

PublikacjeMonografiePatentyDorobek artyst.

PublikacjeMonografiePatenty

PublikacjeMonografiePatenty

PublikacjeMonografie

Kryterium

Grupa Nauk

1. Osiągnięcia naukowe i twórcze

2. Potencjał naukowy

3. Materialne efekty działalności naukowej

4. Pozostałe efekty działalności naukowej

Humanist. iSpołecznych

Ścisłych iInżynierskich

o Życiu o Sztuce i TwórczościArtystycznej

Podkryteria wg grup nauk i rodzaju Jednostek Naukowych

14 października 2013

Kategoryzacja JN 2013 5

Wagi kryteriów wg grup nauk i rodzaju Jednostek Naukowych

Maksymalna punktacja w ostatecznej ocenie (wagi)

Kryterium sposób oceny

NaukiHum. + Społ.

Nauki Ścisłe + Inżyn.JU PAN IB

Naukio ŻyciuJU PAN IB

Nauki o Sztuce i Twórczości Artystycznej

1. Osiągnięcia naukowe i twórcze

Punkty z listyministerial-nej i ustalone przez KEJN

65 65 65 35 70 75 60 60

Wg ustalonejpunktacji

15 10 10 10 5 5 5 20

Wg ustalonejpunktacji

5 15 15 45 15 10 25 5

Ankieta i ZE 15 10 10 10 10 10 10 15

3. Materialne efekty działalności naukowej

4. Inne efekty działalności naukowej

2. Potencjał naukowy

14 października 2013

Kategoryzacja JN 2013 6

0

5

10

15

20

25

0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30

Numer jednostki

War

tość

rela

cji u

porz

ądko

wan

ia(p

unkt

y pr

zesk

alow

ane)

Jednostka "A"

Jednostka "B"

KEJN – kategoryzacja

Wynik kategoryzacji

A

B

C

1. Klasyfikacjaprzypisanie jednostek do grup wspólnej oceny (GWO)

2. Parametryzacjaocena działalności JN na podstawie opracowanych kryteriów charakteryzujących daną GWO

3. Kategoryzacjaustalenie kategorii jednostek naukowych (kategorie A, B, C oraz A+)

4. Odwołania od przyznanej kategoriianaliza uwag ogólnych i poszczególnych zdarzeń, wydanie opini KEJN, decyzja Ministra

Etapy procesu oceny jednostek naukowych

Przebieg procesu odwoławczego

• ICI – przygotowało karty odwołań i uruchomiło system teleinformatyczny

• KEJN - powołał ZE i przeszkolił ewaluatorów, którzy dokonali oceny, podsumował wyniki odwołań i dokonał korekt

• DN MNiSzW – opracował odwołania, porównał wersje papierowe i elektroniczne, opracował decyzje co do kategorii i każdego pojedynczego zdarzenia ewaluacyjnego

• KEJN zakończył pracę 25 lutego 2014 i przekazał wyniki Ministrowi i DN

• Minister wyda decyzję co do zmiany kategorii – maj 2014

Najważniejsze problemy z jakością danych

• Brak kompleksowego źródła danych, konieczność zbierania informacjiz różnych źródeł (wewnętrznych i zewnętrznych).

• Duplikaty zgłoszonego dorobku naukowego (np. publikacje, monografie, konferencje, projekty) – brak koordynacji pomiędzy Jednostkami Naukowymi, szczególnie w ramach tej samej uczelni

• Problemy z wykazaniem zatrudnienia

• Brak należytej staranności przy wypełnianiu ankiety

Proces ewaluacji w liczbach

• Liczba wszystkich jednostek - 962 • Całkowita liczba N - 82 867,09• Liczba zgłoszonych zdarzeń ewaluacyjnych (dorobek naukowy): 952 768• Liczba zdarzeń ewaluacyjnych spełniających warunki formalne oceny: 807

671• Liczba zdarzeń zakwalifikowanych do kart oceny (po optymalizacji): 424

220• Liczba zdarzeń wytypowanych przez walidatory do sprawdzenia: 116 843• Liczba decyzji podjętych przez poszczególnych członków ZE: 187 685

• Liczba wydanych decyzji administracyjnych przyznających kategorię naukową: 962

• Liczba złożonych odwołań od przyznanej kategorii naukowej: 280

Porównanie wyników ewaluacji – kategorie naukowe 2010 vs kategorie naukowe 2013

42.2%

50.5%

7.3%

ABC

Ewaluacja 2013

3.8%

31.9%

56.2%

8.0%

A+

A

B

C

Ewaluacja 2010

przed rozpatrzeniem odwołań

Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. grupy nauk

Nauki humanistyczne i społeczne Nauki o życiu

Nauki ścisłe i inżynierskie Nauki o sztuce i twórczości artystycznej

B->A,A

+

C->B C->A,A

+

A->A,A

+

B->B C->C B->C A->B A->C A B C

wzrost bez zmian spadek nowa kat.

020406080

100120140

2514

0

68

120

3 0

28

2 1

2616

B->A,A

+

C->B C->A,A

+

A->A,A

+

B->B C->C B->C A->B A->C A B C

wzrost bez zmian spadek nowa kat.

01020304050607080

32

80

6573

4 8

31

2 0 4 6

B->A,A

+

C->B C->A,A

+

A->A,A

+

B->B C->C B->C A->B A->C A B C

wzrost bez zmian spadek nowa kat.

0

20

40

60

80

100

120

37

101

92 96

8 9

56

4 0 2 8

B->A,A

+

C->B C->A,A

+

A->A,A

+

B->B C->C B->C A->B A->C A B C

wzrost bez zmian spadek nowa kat.

05

101520253035

13 12

37

33

2 4

21

0 0

7

1

Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. typu jednostek

Uczelnie Jednostki PAN

Instytuty badawcze

B->A,A

+

C->B C->A,A

+

A->A,A

+

B->B C->C B->C A->B A->C A B C

wzrost bez zmian spadek nowa kat.

050

100150200250300350

9343

4

150

289

13 16

81

2 138 26

B->A,A

+

C->B C->A,A

+

A->A,A

+

B->B C->C B->C A->B A->C A B C

wzrost bez zmian spadek nowa kat.

0

10

20

30

40

50

60

3 0 0

51

0 0 0

15

1 0 0 0

B->A,A

+

C->B C->A,A

+

A->A,A

+

B->B C->C B->C A->B A->C A B C

wzrost bez zmian spadek nowa kat.

05

1015202530354045

8

0 0

29 31

1 2

39

40 0 1

B->A,A

+

C->B C->A,A

+

A->A,A

+

B->B C->C B->C A->B A->C A B C

wzrost bez zmian spadek nowa kat.

0

1

2

3

4

5

3

1

0

2 2

3 3

1 1

0

1

4

Inne jednostki

Rozkłady kategorii naukowych w poszczególnych grupach nauk

4.0%

27.1%

62.0%

6.9% 3.9%

37.8%49.8%

8.6%

4.3%

35.9%

50.8%

9.0% 1.9%

20.4%

70.9%

6.8%

Nauki humanistyczne i społeczne Nauki o życiu

Nauki ścisłe i inżynierskie

Nauki o sztuce i tw. artystycznej

A

B

C

A+

Kategoria naukowa:

przed rozpatrzeniem odwołań

Rozkłady kategorii naukowych w poszczególnych rodzajach jednostek naukowych

3.0%

29.8%

59.7%

7.5%

17.1%

60.0%

21.4%

1.4%

1.7%

30.4%

60.9%

7.0%

23.8%

23.8%52.4%

Jednostki uczelniane Jednostki PAN

Instytuty badawcze Inne jednostki

A

B

C

A+

Kategoria naukowa:

przed rozpatrzeniem odwołań

Zakres rozpatrzonych odwołań od zdarzeń ewaluacyjnych

Suma zdarzeń OdwołanieOdwołania faktyczne

Inne (np. N i No)

odwołania od zdarzeń 952 768 5 981 (0,63%) 3 382 (0,35%) 2 599

uznano odwołań - 2 015 (0,21%)(62,14%)

Odwołania od zdarzeń ewaluacyjnych

ilość zdarzeń ewaluacyjnych nie zmienionych przez Zespoły ewaluacji

762.454

ilość decyzji podjętych w toku

ewaluacji184.303

Zaakceptowane zdarzenia w wyniku odwołań:1.929co stanowi

0,20%zgłoszonych zdarzeń

Odwołania od zdarzeń odrzucone:1 453

co stanowi 0,15%

Odwołania wg rodzaju

Ilość kwestionowanych decyzji z powodu algorytmu 3n-2n0:

911

Ilość kwestionowanych decyzji o odrzuceniu zdarzeń:

4869

Ilość kwestionowanych decyzji o zmianie (obniżeniu punktacji):211

Zdarzenia zmienione

Ilość nie kwestionowanych decyzji ZE

9.729

Zaakceptowane odwołania:50

co stanowi0,50% podjętych decyzji

Odrzucone odwołania:161 co stanowi

1,62% podjętych decyzji

Zdarzenia odrzucone

Ilość nie kwestionowanych decyzji ZE27.687

Zaakceptowane odwołania:1.879

co stanowi6,09% podjętych

decyzji

Odrzucone odwołania:1.285co stanowi

4,17% podjętych decyzji

Zdarzenia nie ocenione

Ilość nie kwestionowanych decyzji153.842

Zaakceptowane odwołania:43co stanowi0,03%

Odrzucone odwołania1.662co stanowi 1,07%podjętych

decyzji

Kryterium I

Ilość zdarzeń w ramach KRYTERIUM I do których nie zostaly zgłoszone odwołania

612.998

Zaakceptowane odwołania:1.524co stanowi0,25%zgłoszonych zdarzeń

Odrzucone odwołania:2.147co stanowi0,35%zgłoszonych zdarzeń

Jednostki naukowe które nie złożyły

odwołania71%

Ta sama kategoria24%

Awans5%

Zmiana kategorii jednostki naukowej

LISTAIlość wszystkich

jednostek naukowych

Ilość jednostek naukowych

które złożyły odwołania

Awans w wyniku rozpatrzonego

odwołania

Zmiany w ramach kategorii

A_PLUS 37 2 - 0%

A 307 60 8 3%

B 541 185 32 6%

C 77 33 10 12%

RAZEM 962 280 50 5%

Zmiana kategorii jednostki naukowej

Ostateczna Ilość jednostek naukowych

45 (4,6%)

339 (35,2%)

551 (57,2%)

67 (7,0%)

962

Plany KEJN odnośnie OCENY JN w 2017

• 1. Ogólna zasada przeprowadzenia Oceny JN, w tym dobór kryteriów

• 2. Wybrane problemy szczegółowe - N i No - GWO i jednostki heterogenne - Jednostki referencyjne i porównanie parami - Monografie - Publikacje w czasopismach- Wagi i kryterium IV- Pozycja międzynarodowa- Dorobek artystyczny- Co usunąć i uprościć, a co dołożyć?

Kryterium II

Ilość zdarzeń w ramach KRYTERIUM II do których nie zostaly zgłoszone

odwołania87.291

Zaakceptowane odwołania:148co stanowi

0,17%zgłoszonych zdarzeń

Odrzucone odwołania200co stanowi0,23%zgłoszonych zdarzeń

Kryterium III

Ilości zdarzeń w ramachKRYTERIUM III

do których nie zostały zgłoszone odwołania91.910

Zaakceptowane odwołania:298

co stanowi0,32%

zgłoszonych zdarzeń

Odrzucone odwołania164co stanowi

0,18%zgłoszonych zdarzeń

Kryterium 4

Jednostki naukowe które nie zgłosiły

odwołania800

Zaakcep-towane

odwołania:33

Odrzucone odwołania

129