Uniwersytecka Komisja Nauki Olsztyn, 11.10.2013.

UKN Olsztyn; 11 października 2013. Kategoryzacja JN 2013 - podsumowanie i pytania 1

Uniwersytecka Komisja Nauki

Olsztyn, 11.10.2013.

Parametryzacja i kategoryzacja Jednostek Naukowych

podsumowanie i pytania

Stanisław Kistryn


Zadanie ustawowe

Kompleksowa ocena jakości działalności naukowej lub

badawczo-rozwojowej jednostek naukowych, jest

przeprowadzana na podstawie wyników oceny poziomu

naukowego prowadzonych badań naukowych lub

prac rozwojowych oraz ich efektów w odniesieniu do

standardów międzynarodowych, a także oceny znaczenia

działalności jednostki naukowej dla rozwoju nauki w skali

międzynarodowej oraz wzrostu innowacyjności w skali kraju.

Art. 42. ust. 1.


Grupy Wspólnej Oceny

Inne

Podstawowe Jednostki Organizacyjne Szkół Wyższych

Grupa Nauk

Rodzaj Jednostki Humanistyczne i Społeczne

Ścisłei Inżynierskie

o Życiu o Sztucei Twórczości Artystycznej

Instytuty Polskiej Akademii Nauk

Instytuty Badawcze

5 8

6

2

33

5 23 1

8 46 4


Cztery kryteria oceny dla wszystkich JN:

1. Osiągnięcia naukowe i twórcze2. Potencjał naukowy3. Materialne efekty działalności naukowej4. Pozostałe efekty działalności naukowej

Kryteria

Określenie kategorii A+► ocena ekspercka z uwzględnieniem

dodatkowych kryteriów


NagrodyKonferencjePopularyzacjaSpecjalne




EkspertyzyDziałania artyst.

Płace ze źródeł zewnętrznychNakłady na apa- raturę i oprogr

Płace ze źródeł zewnętrznychNakłady na apa- raturę i oprogr.

PatentyEkspertyzy

UprawnieniaRozwój kadryFunkcjeProjekty

Środki z projekt.UprawnieniaRozwój kadryLab. akredytow.

UprawnieniaRozwój kadryLab. akredytow.Status PIB

UprawnieniaRozwój kadryFunkcjeProjekty

PublikacjeMonografiePatentyDorobek artyst.

PublikacjeMonografiePatenty

PublikacjeMonografiePatenty

PublikacjeMonografie

Kryterium

Grupa Nauk

1. Osiągnięcia naukowe i twórcze

2. Potencjał naukowy

3. Materialne efekty działalności naukowej

4. Pozostałe efekty działalności naukowej

Humanist. iSpołecznych

Ścisłych iInżynierskich

o Życiu o Sztuce i TwórczościArtystycznej

Podkryteria wg grup nauk i rodzaju Jednostek Naukowych


Kategoryzacja

► Ranking jest etapem pośrednim (?)konieczne porównanie punktacji jednostek z wzorcem

► Jednostki referencyjneminimalne wymaganie wartości kryteriów p1, …, p4 dla

przekroczenia progów kategorii A (B→A) i B (C→B)(z analizy statystycznej zakresu wartości każdego z kryterióworaz poprzez odniesienie do standardów światowych)

► Kategoryzacjawłączenie jednostek referencyjnych AB i BC do rankingu;odniesienie punktacji każdej jednostki do wyniku rankingujednostek referencyjnych AB i BC


Kategoryzacja

Ranking:● Porównanie jednostek parami

ważoną relacją przewyższania

● Uporządkowanie wg wyników

Porównanie ocen dla każdegoz i=4 kryteriów pi

X ↔ piY

→ Ri

Jednostki otrzymują punkty w zakresie (–gi ÷ gi )

Wynikiem porównania paryjednostek jest dla każdej z nichsuma punktów z 4 porównańpar ocen (wszystkie kryteria)

Jednostki można uszeregować ze względu na sumę punktów ze wszystkich porównań w parach

X Yg1R

1g2R

2

g4R

4

g3R

3

p1

p2

p4

p3

p1

p2

p4

p3

Ankieta

JN

Ankieta

JN

Σ


Wagi kryteriów wg grup nauk i rodzaju Jednostek Naukowych

Maksymalna punktacja w ostatecznej ocenie (wagi)

Kryterium sposób oceny

NaukiHum. + Społ.

Nauki Ścisłe + Inżyn.JU PAN IB

Naukio ŻyciuJU PAN IB

Nauki o Sztuce i Twórczości Artystycznej

1. Osiągnięcia naukowe i twórcze

Punkty z listyministerial-nej i ustalone przez KEJN

65 65 65 35 70 75 60 60

Wg ustalonejpunktacji

15 10 10 10 5 5 5 20

Wg ustalonejpunktacji

5 15 15 45 15 10 25 5

Ankieta i ZE 15 10 10 10 10 10 10 15

3. Materialne efekty działalności naukowej

4. Inne efekty działalności naukowej

2. Potencjał naukowy


Kategoryzacja – wyniki

► A+ 37 3,8%

► A 308 32,0%

► B 541 56,2%

► C 77 8,0%


Przyznane kategorie według rodzaju Jednostek Naukowych

Liczba przyznanych kategorii

Kategoria

NaukiHum. + Społ.

Nauki Ścisłe + Inżyn.

Naukio Życiu

Nauki o Sztuce i Tw. Artyst.

A

A+

B

C

Ogólnie

JU PAN IB In JU PAN IB

23 12 2 0

225 42 35 6

451 15 70 5

57 1 8 11

115 6 40

77 15 21

9 5 0

JU PAN IB JU PAN IB JU

15 0 6

56 19 12

85 7 23

17 1 2

4 3 2

178 2 7

72 8 2

8 4 0 2

20

73

7 18 0 0


Kategoryzacja – wyniki

Kategorie wg. obszarów

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

H-S NoZ S-I Sz-TA Ogółem

C B A A+

J P I I T U A B n o N n t e




J I T U n o n t e


Kategoryzacja - propozycje

Wstępny zestaw uwag, wątpliwości, propozycji

• Ustawa przyjęta jako „dana”, trudne zmiany (pożądane jendakże)

zapisy podziałów JN w grupy dziedzin oraz grupy rodzajowe, odniesienie międzynarodowe; kategoryzacja jednostek podstawowych

• Rozporządzenie – do „łatwej zmiany”

kryteria, parametry, tryb itp..


Kategoryzacja - pytania

1. Podział na Grupy Wspólnej Oceny• Zasady przypisywania do GWO

• Jednostki interdyscyplinarne

2. Kryteria oceny• Ilość kryteriów

• Zawartość (parametry) kryteriów – szczegółowość

• Audyt ?!

• Kryteria oceny czasopism naukowych



3. Wagi kryteriów• Odzwierciedlenie misji JN ?

• Opinie ekspertów

4. Tryb kategoryzacji• Metoda porównań parami – tylko z jedn. referencyjnymi ?

5. Definicja jednostek referencyjnych• Algorytm, wartości - dostępność

• Analiza statystyczna wartości vs. określenie ekspertów w dziedzinach (zwłaszcza kryterium 1)

35 152520



6. Zespoły ewaluacyjne• Tryb powoływana, skład, liczebność

• Zakres prac, rola w typowaniu A+

7. Jednostki A+• Zestaw kryteriów; audyt ?

• Eksperci vs. algorytm?

8. Jednostki interdyscyplinarne• Przydzielanie do GWO – zasady ?

• Metoda „dedykowanych” jednostek referencyjnych”


– O, tak – rzekł Tygrys – to są bardzo dobrzy fruwacze.

Tygrysy to są Okropnie Dobrzy, Strasznie Dobrzy fruwacze.

– Ooo… - powiedziało Maleństwo. – A czy one umieją tak

dobrze fruwać jak Sowa ?

– Tak – odparł Tygrys – tylko że nie chcą.

– A dlaczego nie chcą ?

– No, bo jakoś nie chcą.

Maleństwo nie mogło tego zrozumieć …, lecz Tygrys

powiedział, że to trudno wytłumaczyć komuś, kto sam nie

jest Tygrysem.

Chatka Puchatka, str. 57.

Dziękuję za uwagę !


Ocena czasopism naukowychZasady oceny

Lista A: od 15 do 50 punktów w zależności od IF > 0,005 (JCR, punktacja osobno w grupach tematycznych)

15 20 25 30 35 40 45 50

23% 20% 17% 14% 11% 8% 5% 2%

Lista C: 10 punktów (ERIH) ; w 2012 trzy grupy 10/12/14

najniższy IF w grupie najwyższy IF w grupie


Ocena czasopism naukowychZasady oceny

Lista B: od 1 do 10 punktów (co 1); szereg kryteriów

Dane do analizy na podstawie składanych ankiet (system elektroniczny – http://pbn.nauka.gov.pl/)

Czasopisma kwalifikowane do trzech obszarów wiedzy:• grupa nauk humanistycznych (H)• grupa nauk społecznych (S)• grupa nauk ścisłych, technicznych, medycznych i

przyrodniczych (TZ)


Ocena czasopism naukowychZasady oceny – Lista B

Kryteria wstępne (za okres 2 lat):a) Udostępnianie listy recenzentów nie rzadziej niż raz w rokub) Właściwe i jawne zasady recenzowania (double-blind, 2+ recenzentów, …)c) Posiadanie czynnej strony internetowejd) Co najmniej 50% recenzentów zewnętrznyche) Naukowy charakter czasopisma (w każdym numerze 2+ artykułów nauk.)f) Tytuł i streszczenie w języku angielskimg) Udokumentowana stabilność wydawniczah) Wdrożona procedura zabezpieczająca oryginalność (zapora ghostwriting)i) Deklaracja wersji pierwotnej (papierowa/elektroniczna)

Do kolejnego etapu oceny kwalifikowane czasopisma spełniające kryteria e), i) oraz co najmniej 5 z pozostałych 7 kryteriów wstępnych


Ocena czasopism naukowychZasady oceny – Lista B

Ustalenie punktacji – 13 parametrów szczegółowych1. Predicted Impact Factor (PIF)2. Polski Współczynnik Wpływu (PWW)3. Zagraniczna afiliacja autorów4. Indeksacja w bazach danych5. Liczba artykułów publikowanych w roku6. Umiędzynarodowienie recenzentów7. Częstotliwość wydawania8. Język publikacji9. Umiędzynarodowienie rady naukowej10. Wersje on-line11. - 13. Redaktorzy statystyczni, tematyczni, językowi


Ocena czasopism naukowychZasady oceny – Lista B: punktacja

Lp Parametr ZT S H

1 PIF 0,35/0,2/0,1 0,1/0,05 0,05/0,025

2 PWW – bonus 0,1 0,1 0,1

3 Autorzy zagraniczni 0,05 0,05 0,15

4 Indeksacja w bazach 0,1 0,15 0,15

5 Liczba artykułów 0,1 0,2 0,15

6 Recenzenci międzynarodowi 0,1 0,1 0,1

7 Częstotliwość wydawania 0,05 0,1 0,1

8 Język 0,1 0,1 0,1

9 Umiędzynarodowienie rady 0,05 0,05 0,05

10 Wersja on-line 0,05 0,1 0,1

11-13 Redaktorzy jęz./stat./tem. 0,05 0,05 0,05


Ocena czasopism naukowychZasady oceny – Lista B, ostateczna punktacja

1. P1 = 10 • „Punktacja”

0 < P1 < 1 P1 = 1 ; P1 > 1 P1 = Int(P1)

2. Pc = (1- c) ∙ P1 + c ∙ P2 ; Pc = Int(Pc)

P2 – punktacja z roku poprzedniego

c = 0,3 – stała przeniesienia (w 2012 było c = 0,4)

3. P = max{Pc,P1} – dla czasopism z określonym PIF > 0

P = Pc – dla czasopism o nieokreślonym PIF lub PIF = 0

4. P = 10 – dla czasopism z list Science Citation Index Expanded, Social Science Citation Index, Arts & Humanities Citation Index i nie wskazanych w listach A lub C


Ocena czasopism naukowychWyniki otrzymane w 2012

Lista C

Lista ALista A 10 230 pozycji 133 polskie

Lista C 4 337 pozycji 101 polskich

Ogółem16,5 tys. pozycji1840 polskich


Ocena czasopism naukowychWyniki otrzymane w 2012

Lista B 1 854 pozycji 1 606 polskich

Lista Bgrupa H

Lista Bgrupa S

Lista Bgrupa TZ

Uniwersytecka Komisja Nauki Olsztyn, 11.10.2013.

Documents

Transcript of Uniwersytecka Komisja Nauki Olsztyn, 11.10.2013.