K omitet E waluacji J ednostek N aukowych Kategoryzacja Jednostek Naukowych 2013

11

Komitet Ewaluacji Jednostek Naukowych

Kategoryzacja Jednostek Naukowych 2013

Bożenna Kawalec-Pietrenko, Maciej Zabel, Stanisław Kistryn

Łódź, 22.06.2012

2

NAJWAŻNIEJSZE RANKINGI UNIWERSYTETÓW

1. Ranking Uniwersytetu Shanghai Jiao2. THE – QS World University Rankings (The Times Higher Education oraz organizacja Quacquarelli Symonds)3. Webometrics Ranking of World Universities (opracowuje HiszpańskaNarodowa Rada Badawcza)4. G – Factor 5. Global University Ranking (niezależna agencja rosyjska )6. HEEACT – Performance Ranking of Scientific Papers for World Universities (ranking Tajwańskiej Rady Oceny i Akredytacji Szkolnictwa Wyższego)

3

1 USA Harvard University 11 USA Uni.of California,Los Angeles2 USA California Inst.of Technol. 12 USA University of Chicago3 USA Massach. Inst. of Technol. 13 USA Johns Hopkins University4 USA Stanford University 14 USA Cornell University5 USA Princetown University 15 SWI ETH Zurich6 UK University of Cambridge 16 USA University of Michigan6 UK University of Oxford 17 Can University of Toronto8 USA Uni.of California, Berkeley 18 USA Columbia University9 UK Imperial College, London 19 USA University of Pensylwania10 USA Yale University 20 USA Carnegie Mellon University

Światowy ranking uniwersytetów - 2010

4

ENGINEERING AND TECHNOLOGY UNIVERSITIES13.10.2011

1 USA California Inst.of Technology

11 USA Georgia Institute of Technol.

2 USA Massachusetts Inst.of Techn 12 USA Carnegie Mellon University3 USA Princetown University 13 USA Uni of Texas at Austin4 USA Uni of California, Berkeley 14 USA University of Michigan5 USA Stanford University 15 USA Cornell University6 UK University of Cambridge 16 USA UniCalifornia,SantaBarbara7 UK University of Oxford 17 USA Uni IllinoisUrbanaChampaign8 USA Uni of California,LosAngeles 18 CAN University of Toronto9 SWI ETHZurich Swiss Federal

Inst. of Technology19 SING National University

of Singapore10 UK Imperial College London 20 SWI Ecole Polytechnique

Federale de Lausanne

5

Miejsca „polskich” nauk ścisłych wg liczby publikacji w rankingu światowym

2010 1998-2002 Fizyka 12 12 Matematyka 12 13 Materiałoznawstwo 14 12 Astrofizyka 15 16 Nauki inżynierskie 23 23 Informatyka 23 27

6

WIELKA BRYTANIA

Jeden z najbardziej zaawansowanych systemów ewaluacji w Europie.

1986 - po raz pierwszy przeprowadzono Research Assessment Exercises (RAE); następne: 1989; 1992; 1996 itd.

7

c.d.ANGLIA RAE DEFINICJA BADAŃ NAUKOWYCH

Badania oryginalne podjęte w celu zdobycia wiedzy obejmują:

- pracę bezpośrednio powiązaną z potrzebami przemysłu i handlu oraz sektora publicznego;

- tworzenie idei, wyobrażeń, dokonań, gdy prowadzi to do nowych lub istotnie ulepszonych przedsięwzięć;

- pracę w celu wytworzenia istotnie lepszych materiałów, urządzeń, produktów i procesów włączając w to ich projektowanie i konstrukcje; -wykorzystanie aktualnej wiedzy w pracach eksperymentalnych;.

wykluczają natomiast:rutynowe testowanie i analizę materiałów, składników i procesów w odróżnieniu od rozwoju nowych technik analitycznych!

88

STRUKTURA KOMITETU KEJN

-Komisja ds. Grupy Nauk Ścisłych i Inżynierskich

- Komisja ds. Grupy Nauk o Życiu

- Komisja ds. Grupy Nauk Humanistycznych i Społecznych

- Komisja ds. Grupy Nauk o Sztuce i Twórczości Artystycznej

Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013

9

KEJN – ocena działalności JN 2013

Cele- uzyskanie informacji dotyczących JN (jednostek naukowych) - ustalenie kategorii JN (A+, A, B, C) - ukierunkowanie rozwoju JN

Ważniejsze terminy1.Przygotowanie założeń -czerwiec 20112.Rozporządzenie -czerwiec 20123.Nadsyłanie ankiet - marzec 20134.Zakończenie parametryzacji i ustalenie kategorii - 30.09.2013


1010

KEJN – główne etapy procedury oceny

1. KlasyfikacjaPrzypisanie jednostek do grup wspólnej oceny (GWO)

2. ParametryzacjaOcena działalności JN na podstawie opracowanych kryteriów charakteryzujących daną GWO

3. KategoryzacjaUstalenie kategorii jednostek naukowych (kategorie A, B, C oraz A+)

Projekt rozporządzenia z dnia 20.04.2012


1111

Grupy Wspólnej Oceny

1. Grupa dziedzin naukiwspólne kryteria w ramach każdej grupy

2. Rodzaj jednostki (jedn.uniw.; inst.PAN; inst.bad.)wspólne wagi kryteriów w ramach rodzaju

3. Określenie przynależności JN do GWODla każdej GWO wspólne kryteria, parametry i progi poszczególnych wymogów oraz jednostki referencyjne


1212

Grupy Wspólnej Oceny - wynik prac wstepnych

Podstawowe Jednostki Organizacyjne Szkół Wyższych

Grupy Nauk

Rodzaj Jednostki Humanist.i Społeczne

Ścisłei Inżyn.

o Życiu o Sztucei Twórcz Artyst.

6 7 7 4

Instytuty Polskiej Akademii Nauk

Instytuty Badawcze

2 4

6

4

1


13

Najważniejsze nowe elementy oceny JN

1.Kryteria oceny z ustalonymi wagami:1.Osiągnięcia naukowe i twórcze2.Potencjał naukowy3.Efekty materialne działalności naukowej4.Pozostałe efekty działalności naukowej

3.Kategoryzacja - metoda porównań parami z uwzględnieniem jednostek referencyjnych

4.Ocena parametryczna prowadzona przez Zespoły Ewaluacji.


1414

NagrodyKonferencjePopularyzacjaSpecjalne




EkspertyzyDziałania artyst.

Płace ze źródeł zewn.Nakłady na apar.i oprogr.

Płace brut.ze źródeł zewn.Nakłady na apar.ioprogr.

PatentyEkspertyzy

UprawnieniaRozwój kadryFunkcjeProjekty

Środki z proj.UprawnieniaRozwój kadryLab. akredyt.

UprawnieniaRozwój kadryLab.akredyt.Status PIB

UprawnieniaRozwój kadryFunkcjeProjekty

PublikacjeMonografiePatentyDorobek art.

PublikacjeMonografiePatenty

PublikacjeMonografiePatenty izgł.

PublikacjeMonografie

Kryterium

Grupa Nauk

1. Osiągnięcianauk. i twórcze

2.Potencjał naukowy3.Efekty material ne działalności naukowej 4. Inne efekty działalności naukowej

Humanist. i Społeczn.

Ścisłych i Inżyniersk.

o Życiu o Sztuce i TwórczościArtystycznej

Podkryteria wg grup nauk i rodzaju JN


15

Wartości punktowe kryterium

1. Osiągnięcia naukowe i twórcze

Publikacje:Lista A 20 50 Lista ERIH 12 20 Lista B do 10Monografie: 20 25Patenty: 25 (+ 25)Wzory użytkowe: 10 (+ 10)

9Łódź, 22.06.2012 KEJN - Kategoryzacja Jednostek Naukowych 2013

1616

Wagi kryteriów wg grup nauk i rodzaju JN

W a g i Kryterium Sposób

ocenyNauki Hum. i Społ.

N. Ścisłe i Inż.JU PAN IB

N.o ŻyciuJU PAN IB

Nauki o Sztuce i Twórczości Artystycznej

1. Osiągnięcia naukowe i twórcze

Punkty z listy min. i ustalone przezKEJN

65 65 65 35 70 75 60 60

Wg ustalonejpunktacji

15 10 10 10 5 5 5 20

Wg ustalonejpunktacji

5 15 15 45 15 10 25 5

Ankieta Zesp.Ew.

15 10 10 10 10 10 10 15

3.Materialne e-fekty działalnoś- ci naukowej

4. Inne efekty działalności naukowej

2. Potencjał naukowy


1717

Kategoryzacja

1.Określenie kategorii A, B i C- porównanie parami z uwzględnieniem jednostek referencyjnych

2. Określenie kategorii A+ - ocena ekspercka

A+ - poziom wiodący A - poziom bardzo dobryB - poziom akceptowalny z rekomendacją wzmocnienia dzia- łalności nauk., bad.-rozw. lub stymulujacej rozwój gospodarkiC - poziom niezadowalający.


18

► Wymóg podstawowyJednostka kategorii A; wynik z procedury rankingu w górnych ok.25% w danej grupie wspólnej oceny

► Zestaw dodatkowych kryteriów. Opis własnych najważniejszych osiągnięć:cytowania, punktacja najlepszych prac, nagrody, prestiżowe granty, funkcje we władzach naczelnych naukowych organizacji międzynarodowych, Komitetach PAN, przychód z zastosowań wyników badań.

► Audyt Ewentualna wizyta Zespołu Ewaluacji w JN


KEJN – kategoria A +

19

Uzasadnienie wyboru metody. PUNKT WYJŚCIA -BRAK PEWNOŚCI, ŻE WYBÓR BEZPOŚREDNI JEST OPTYMALNY!

PRZYKŁADY WYBORU1.Wybór kandydata na dane stanowisko pracy.Trzeba porównać stopień spełnienia przez kandydatów kryteriów wymaganych na danym stanowisku tj. wykształcenie, staż pracy, znajomość j. obcych, itd.2.Przetarg. Trzeba uwzględnić różne kryteria. Niestety

obecnie zwykle decyduje tylko cena, co zresztą spotyka się z bardzo szeroką krytyką.

Zatem wybór bezpośredni nie jest wyborem optymalnym!

Stąd decyzja KEJN-u o zastosowaniu w kategoryzacjimetody wielokrotnego wyboru.


20

Wymagana procedura

1. Ustalenie kryteriów wyboru z przypisaną im miarą.2. Ustalenie wag kryteriów.3. Obliczenie dla wszystkich JN wartości miar w obszarze

każdego kryterium.4. Wybór obiektu w wyniku przeprowadzenia porównań

parami każdego z każdym w odniesieniu do poszczególnych kryteriów.


21

Ustalenie kryteriów wyboru

- Zasada: prawidłowe kryterium = jednoznacz- na definicja włączająca miarę kryterium.

- Metoda „burzy mózgów” lista kryteriów.


2222

KEJN – kategoryzacja*Ranking pozornie oczywisty:● Porównanie jednostek (dane z ankiet)● Uporządkowanie wg wyników

Porównanie jednostek parami w ramach GWO: dla każdej pary JN X i Y porównanie ocen każdego spośród kryteriów„i” (i = 4) z osobna, Pi(X)↔ Pi(Y) wynik punktowy Ri

Ankieta

JN

p1

p2

p4

p3

JN

*Oceny wg 4 kryteriów niewspółmierne

Problem wielokryterialnego porządkowania


2323

KEJN – kategoryzacjaIdentyczna zasada porównań ocen P danych dwóch JN w odniesieniu do każdego kryterium– relacja przewyższania)

pX – pY

–1

0 D

Ri ocena jednostki X +1

G–G –D

ocena jednostki Y

D – próg nierozróżnialności; G – próg pełnego przewyższaniaD = α ∙ min(pX, pY); G = m ∙ D (n.p. α = 0.1, m = 3)


24

Dokonany wybór jest wyborem optymalnym powstałym w wyniku porównania wszystkich JN każda z każdą w obszarze każdego kryterium.

Metoda optymalnego wyboru jest wprawdzie pracochłonna, ale powinno zależeć nam na stosowaniu obiektywnych rozwiązań, mimo że dziel i rządź jest pokusą wielu demokracji (cyt). Stąd decyzja KEJN-u dot. wyboru wyżej opisanej metody.


2525

KEJN – kategoryzacjaPrzykład

Porównanie ocen dla każdegoz i=4 kryteriów pi

X ↔ piY

→ Ri

Wynikiem porównania paryX i Y byłaby dla każdej z nich suma punktów z 4porównań każdej pary ocen (wszystkie kryteria), czyliliczba z zakresu – 4 do + 4

X Y R1

R2

R4

R3

p1

p2

p4

p3

p1

p2

p4

p3

Ankieta

JN

Ankieta

JN

Kryteria nie są tak samo istotne wagi (mnożące Ri)


2626

KEJN – kategoryzacjaRanking● Porównanie jednostek parami ważoną relacją przewyższania

● Uporządkowanie wg wyników

Porównanie ocen dla każdegoZ i=4 kryteriów pi

X ↔ piY

→ Ri

Jednostki otrzymują punkty w zakresie (–gi ÷ gi ).

Wynikiem porównania pary jednostek jest dla każdej z nichsuma punktów z 4 porównańpar ocen (wszystkie kryteria).

Jednostki szeregowane są wg sumy punktów powstałejze wszystkich porównań dokonanych w parach.

X Yg1R1g2R2

g4R4

g3R3

p1

p2

p4

p3

p1

p2

p4

p3

Ankieta

JN

Ankieta

JN


2727

KEJN – kategoryzacjaWynik rankingu (porównania parami):Każdej jednostce (w grupie wspólnej oceny) przypisana punktacja

0

5

10

15

20

25

0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30

Numer jednostki

War

tość

rela

cji u

porz

ądko

wan

ia(p

unkt

y pr

zesk

alow

ane)


2828

KEJN – kategoryzacja ► Ranking nie jest celem – jest tylko etapem pośrednim,

bo konieczne jest porównanie punktacji jednostek z wzorcem

► Jednostki referencyjne – postawione będą minimalne wymagania co do wartości kryteriów P1,…, P4 dla przekroczenia progów kategorii A (B→A) i B (C→B)(z analizy statystycznej zakresu wartości każdego z kryterióworaz poprzez odniesienie do standardów światowych)

► Kategoryzacja - włączenie jednostek referencyjnych AB i BC do rankingu; odniesienie punktacji każdej jednostki do wyniku rankingu jednostek referencyjnych AB i BC


2929

KEJN – kategoryzacjaWynik kategoryzacji

A

B

C0

5

10

15

20

25

0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30

Numer jednostki

War

tość

rela

cji u

porz

ądko

wan

ia(p

unkt

y pr

zesk

alow

ane)

Jednostka "A"

Jednostka "B"


3030

Przykład porównania parami

X YP1 90 70P2 300 300P3 2000 3000P4 7 9

JU (wagi 70/10/15/5) : O(X) = +45,4 , O(Y) = –45,4IB (wagi 40/10/45/5) : O(X) = –12,5 , O(Y) = +12,5

X YR1 +0,93 -0,93R2 0 0R3 -1,00 +1,00R4 -0,93 +0,93

Ri

pX – pY –1

0 D

R(X) +1

G–G –D

R(Y)Znaczenie wag (giRi)Progi: D = 0,1 , G = 0,3


3131


X YP1 90 75P2 300 350P3 2000 2500P4 7 8

O(X) = +15,6 , O(Y) = –15,6

Ri

pX – pY –1

0 D

R(X) +1

G–G –D

R(Y)

Znaczenie funkcji przewyższania(„wysycenie” Ri)

O(X) = +19,3 , O(Y) = –19,3

X Y

P1 90 75P2 300 350P3 2000 25000P4 7 8

Progi: D = 0,1, G = 0,3 Wagi: 70 / 10 / 15 / 5


3232


X YP1 90 77P2 300 400P3 2000 10000P4 7 10

O(X) = + 4,1 , O(Y) = – 4,1

Ri

pX – pY –1

0 D

R(X) +1

G–G –D

R(Y)

Znaczenie „słabego” kryterium(ocena Zespołu Ewaluacji)

O(X) = – 5,9 , O(Y) = + 5,9

X YP1 90 77P2 300 400P3 2000 10000P4 7 5

Progi: D = 0,1, G = 0,3 Wagi: 70 / 10 / 15 / 5


3333

Dziękuję za uwagę


K omitet E waluacji J ednostek N aukowych Kategoryzacja Jednostek Naukowych 2013

Documents

Transcript of K omitet E waluacji J ednostek N aukowych Kategoryzacja Jednostek Naukowych 2013