Od RANKINGU do MAPPINGU trendy rozwojowe rankingów szkół wyższych

Od RANKINGU do MAPPINGU

trendy rozwojowe rankingów szkół wyższych na świecie, w Europie i w Polsce

Waldemar Siwiński

Fundacja Edukacyjna PerspektywyIREG / International Observatory on Academic Ranking and Excellence

Czym jest ranking?

• Uporządkowana informacja (pod kątem potrzeb odbiorcy) na temat uczelni, wydziałów lub programów studiów

• Cechy rankingu: kryteria, wagi, sposób prezentacji

• Podstawowe wymogi: wiarygodność danych, przejrzystość metodologii

Plan prezentacji

1. Czym są (i czym nie są) rankingi?

2. Światowe rankingi szkół wyższych

3. Ranking Szkół Wyższych Perspektyw-Rzeczpospolitej

4. Ważne wydarzenia w historii rankingów:- Powstanie International Ranking Expert Group- Zasady Berlińskie- Powołanie IREG/International Observatory of Academic Ranking and

Excellence- Konferencja IREG-4, 13-15 czerwca 2009, Astana

5. Ranking Europejski 2011

6. Podsumowanie

Po co się robi rankingi?

• Rankingi konsumenckie – dla kandydatów na studia (klasyczne rankingi gazetowe, poczynając od najstarszego i najbardziej znanego rankingu „US News & World Report”

• Rankingi dla celów polityki państwa w zakresie nauki i innowacji (gdzie lokować środki finansowe, np. Chiny)

• Rankingi dla celów badawczych (instytuty polityki szkolnictwa wyższego, np. w Niemczech, Holandii)

Czy rankingi są obiektywne?

W przygotowaniu każdego rankingu występują dwa momenty subiektywne:

• wybór kryteriów oraz wybór wag procentowych, z jakimi te kryteria są w ostatecznej klasyfikacji uwzględniane – dlatego:

• obiektywne rankingi nie istnieją, choć jak najwięcej innych elementów (weryfikacja danych, sposób liczenia itp.) twórcy rankingów starają się standaryzować.

Rankingi światowe

• Ranking szanghajski (Academic Ranking of World Universities ARWU) – prof. Nian Cai Liu, Shanghai Jiao Tong University, od 2003 r., 6 edycji

• Ranking The Times Higher Education Supplement – THES - QS University Ranking, od 2005 r., 4 edycje

• Webometrics Ranking of World Universities – Cybermetrics Lab., Madryt, od 2007 r., 2 edycje

Leiden University Ranking (Bibliometrics) – Uniwersytet w Leiden (Holandia), 2009 r., pierwsza edycja

Światowe rankingi szkół wyższych

Kryteria: ARWU (Shanghai)

• Alumni Nobel & Field Medal 10%• Staff Nobel & Field Medal 20% • Size of Institution 10%• Nature & Science 20%• SCI & SSCI 20%• Highly cited researchers 20%

• Liczba uczelni analizowanych: 2000• Liczba uczelni w rankingu: 500+

www.arwu.org

Kryteria: Webometrics

• Web Size 25%• Rich Files 12,5%• Google Scholar 12,5%• (Link) Visibility 50%

• Liczba uczelni analizowanych: 13.000• Liczba uczelni w rankingu: 4000+

www.webometrics.info

Kryteria: THES (Times/QS)

• Students/Staff Ratio 20%• International Students 5%• International Staff 5%• Academic Reputation 40%• Reputation Employers 10%• Citations 20%

• Liczba uczelni w rankingu: 500+

www.thes.co.ukwww.topuniversities.com

Polskie uczelnie w Rankingu Szanghajskim

• W 2008 r. wśród pierwszych 500 uczelni są jedynie dwa polskie uniwersytety - w grupie sklasyfikowanej wspólnie na pozycjach 305-402 znajdują się:

• Uniwersytet Jagielloński• Uniwersytet Warszawski

• Podobnie było w latach 2007 i 2006. W 2005 roku oprócz UJ i UW sklasyfikowano też Uniwersytet Wrocławski (w grupie 401-500)

Polskie uczelnie w Rankingu THES

Uczelnia 2007 2006 2005

UJ 331 287 351

UW 345 326 399

PW 371 350 452

UŁ 480 501 499

Polskie uczelnie w Rankingu Webometrics

• 439 – PW• 465 – AGH• 500 – UJ• 559 – UW• 566 – PWr.• 630 – UAM• 742 – UWr.• 808 – UG• 895 – UMCS• 895 – Wydz. MIM UW• 980 - SGH• 1069 – PRz.

• 1098 – UMK• 1138 – PSz.• 1143 – PP• 1189 – PŁ• 1240 – UŁ• 1260 – Wydz. Fizyki UW• 1282 – UŚl.• 1476 – PŚl.• 1498 – PK• 1546 – SGGW• 1682 – UwB• 1796 – UE w Krakowie• 1982 - PB

CHE Excellence Ranking (1)

CHE – Niemieckie Centrum Rozwoju Szkolnictwa Wyższego przygotowało w 2007 roku „Ranking of Excellent European Graduate Programmes” w zakresie biologii, chemii, fizyki i matematyki.

Uwzględniono cztery kryteria:

1) liczbę publikacji w czasopismach naukowych, 2) liczbę cytowań, 3) liczbę najczęściej cytowanych autorów i lauraetów Nagrody Nobla oraz 4) liczbę programów stypendialnych Marie Curie.

CHE Excellence Ranking (2)

Wyróżniono Excellence Group (na rysunku obok) w której nie znalazł się żaden polski zespół badawczy.

Wskazano też Top Group, w której są 4 polskie uczelnie:

Uniwersytet Warszawski w zakresie matematyki, fizyki i chemii

Uniwersytet Jagielloński w zakresie fizyki

Uniwersytet im. Adama Mickiewicza w zakresie chemii

Uniwersytet Wrocławski w zakresie chemii.

Więcej: www.che-ranking.de

Ranking szkół wyższych Perspektyw publikowany wspólnie z Rzeczpospolitą

Ranking Perspektyw - tak zaczynaliśmy…

Finał Rankingu 2000

Ranking Perspektyw – rok po roku…

Finał rankingu 2003

Ranking Perspektyw - rok po roku…


Ranking Perspektyw – rok po roku…


Ranking Perspektyw - rok po roku…

Finał Rankingu 2008

Zasady Rankingu Perspektyw

1. Ranking wielokryterialny2. Ranking uwzględniający zróżnicowanie statusu,

misji oraz poziomu akademickiego uczelni3. Ranking oparty na weryfikowalnych danych 4. Kryteria rankingu skonsultowane (uzgodnione) ze

środowiskiem akademickim – konferencjami rektorów5. Nad przestrzeganiem zasad Rankingu czuwa

zewnętrzna w stosunku do ministerstwa i uczelni Kapituła (pod kierunkiem prof. Marka Safjana)

6. Obszerna publikacja wyników (nie tylko kolejność!)7. Uroczyste ogłaszanie wyników Rankingu w

Perspektywach i Rzeczpospolitej

Ewolucja rankingu Perspektyw (1)

Rodzaje rankingów przygotowywanych przez Perspektywy


Kryteria i wagi procentowe rankingu Perspektyw


Rozważane zmiany w rankingu 2009:

Prestiż – zmniejszenie łącznej wagi do 25%

- Wykonanie badania wśród pracodawców – z wagą10%

Umiędzynarodowienie – zwiększenie wagi do 15%

Siła naukowa – dodanie nowego kryterium publikacji i indeksów cytowalności przygotowanych w oparciu o bazę SCOPUS

Dodatkowo: ew. przygotowanie rankingu (mappingu) grup kierunków studiów

Baza SCOPUS - podstawa nowego kryterium

• Największa na świecie baza zawierająca abstrakty z artykułów oraz ich indeks cytowań.

• Obejmuje ponad 16.000 czasopism naukowych (dwukrotnie więcej niż w bazie ISI - Institute of Scientific Information) od ponad 4.000 wydawców.

• Ponad 360 czasopism polskich

• Większa reprezentacja czasopism spoza USA w porównaniu z bazą ISI, ponad połowa tytułów pochodzi z Europy, Ameryki Łacińskiej i Azji.

• 100% pokrycia artykułów od 1996 r.

www.info.scopus.com

Ważne wydarzenia

w historii rankingów

Ważne wydarzenia (1)

• Pierwszy profesjonalny ranking amerykańskich uczelni opublikował red. Bob Morse na łamach „US News & World Raport” w 1984 r. – publikowany jest corocznie

• Pierwszy światowy ranking uniwersytetów opublikował prof. Liu Nian Cai z Jiao Tong University w Szanghaju w 2003 r. – ranking miał sześć edycji

• Pierwszy regionalny ranking europejskich ośrodków badawczych opublikował dr Gero Federkeil z CHE (niemieckie Centrum Rozwoju Szkolnictwa Wyższego) w 2007 r. – uwzględniono następujące dziedziny: biologia, chemia, matematyka, fizyka


• W 2002 r. odbyła się w Warszawie pierwsza międzynarodowa konferencja na temat rankingów zorganizowana przez UNESCO-CEPES, Institute for Higher Education Policy (Waszyngton, USA) i Akademię Leona Koźmińskiego

• W 2004 r. podczas konferencji w Waszyngtonie uformowała się

International Ranking Expert Group. Konferencja ta znana jest pod nazwą IREG-1

• W 2006 r. odbyła się w Berlinie konferencja IREG-2 zorganizowana przez UNESCO-CEPES, Institute for Higher Education Policy (Waszyngton) oraz Centre for Higher Education Development (CHE) z Niemiec. Podczas konferencji przyjęto Zasady Berlińskie dotyczące „dobrych praktyk” w zakresie przygotowywania rankingów szkół wyższych

Berlińskie zasady dot. rankingów szkół

wyższych

Berlińskie zasady: Cele i zadania rankingów

1. Rankingi powinny być jedną z kilku różnych metod służących ocenie stanów wyjściowych, procesów i wyników.

Rankingi mogą stanowić źródło informacji porównawczej i lepszego rozeznania w sprawach wykształcenia wyższego, ale nie powinny być główną metodą oceny tego czym jest wykształcenie wyższe i czemu ma służyć. Rankingi dają perspektywę rynkową, która może być uzupełnieniem działań rządu, władz akredytujących i niezależnych agencji kontrolnych.

2. Powinny w sposób jasny przedstawiać cele i potencjalnych adresatów.

Układając rankingi należy zwracać należytą uwagę na ich cel. Podawanie wskaźników z myślą o osiągnięciu określonego celu lub poinformowania jednej grupy odbiorców może być niewystarczające dla innych celów lub innych grup docelowych.


3. Powinny odzwierciedlać różnorodny charakter uczelni, uwzględniając różne misje i cele jakie im przyświecają.

Miary jakości służące ocenie np. uczelni o profilu badawczym będą wyglądały zupełnie inaczej niż dla uczelni, które są szeroko dostępne dla środowisk o ograniczonym dostępie do usług i zasobów. Zespoły opracowujące rankingi powinny się często konsultować zarówno z klasyfikowanymi uczelniami, jak i ekspertami, którzy stanowią źródło informacji w procesie tworzenia rankingu.

4. Powinny w sposób jasny przedstawić zakres źródeł informacji służących opracowaniu rankingów oraz rodzaj informacji, jakie każde źródło generuje.

Rola i znaczenie wyników list rankingowych zależy od odbiorców otrzymujących informacje i źródeł tych informacji (bazy danych, studenci, profesorowie, pracownicy). Modelowym rozwiązaniem byłoby połączenie rożnych punktów widzenia prezentowanych przez te źródła informacji aż do uzyskania bardziej wszechstronnego poglądu na temat każdej wyższej uczelni umieszczonej w rankingu.


5. Powinny określić językowe, kulturowe, gospodarcze i historyczne ramy systemu szkolnictwa wyższego, którego ranking ma dotyczyć.

Międzynarodowe rankingi szczególnie powinny wystrzegać się ewentualnych uprzedzeń i bardzo precyzyjnie określać swój cel. Nie wszystkie państwa czy systemy podzielają te same wartości czy przekonanie o tym co stanowi "wysoką jakość" w szkolnictwie trzeciego szczebla, a systemy rankingowe nie powinny być tworzone w celu wymuszania tego typu porównań.

6. Przestrzeganie transparentności w zakresie metodologii stosowanej podczas układania rankingów.

Metody zastosowane do sporządzania rankingów powinny być jasne i jednoznaczne. Transparentność powinna dotyczyć również obliczania wskaźników i źródeł danych.

Berlińskie zasady: Projektowanie i ważenie wskaźników

7. Wskaźniki powinny być dobierane zgodnie z ich znaczeniem i adekwatnością.

W doborze danych nie należy kierować się ich dostępnością lecz przydatnością każdego pomiaru do informowania o jakości kształcenia, zaletach naukowych i instytucjonalnych uczelni. Należy jasno powiedzieć dlaczego ranking został sporządzony w oparciu o dane pomiary i o czym pomiary te mają świadczyć.

8. O ile to możliwe, należy mierzyć efekty a nie sytuację wyjściową.

Dane dotyczące stanów wyjściowych mają duże znaczenie, gdyż odzwierciedlają ogólny stan danej uczelni i łatwiej je ustalić. Mierzenie efektów stanowi bardziej precyzyjną ocenę pozycji i jakości danej uczelni czy jej programu, zatem osoby ustalające rankingi powinny zadbać o odpowiednią równowagę pomiędzy efektami a stanem wyjściowym.

Berlińskie zasady: Projektowanie i ważenie wskaźników

9. Wagi przypisywane różnym wskaźnikom (jeśli są w ogóle stosowane) należy wyraźnie wyszczególnić i ograniczać zmiany, jakim mają podlegać.

Różnicowanie wag utrudnia odbiorcom rozeznanie się czy zmiana pozycji w rankingu danej uczelni lub jej programu wynika z wewnętrznej zmiany jakiej uczelnia lub program podlegały, czy ze zmiany metodologii.

10. Należytą uwagę należy zwracać na normy etyczne i zalecenia zawarte w modelowych rozwiązaniach określonych w Zasadach.

Aby zapewnić wiarygodność każdego rankingu, osoby odpowiedzialne za zbieranie i wykorzystanie danych, oraz przeprowadzające wizyty na miejscu powinny być w najwyższym stopniu obiektywne i bezstronne.

Berlińskie zasady: Zbieranie i przetwarzanie danych

11. O ile to możliwe, należy używać sprawdzonych i sprawdzalnych danych.

Wśród zalet takiego podejścia wymienia się to, iż tego typu dane są porównywalne, kompatybilne i akceptowane przez wszystkie uczelnie.

12. Uwzględniać należy tylko takie dane, które zostały zebrane według procedur właściwych dla naukowego zbierania danych.

Dane uzyskane od nie reprezentatywnej, lub nierzetelnie dobranej podgrupy studentów, kadry lub innych źródeł mogą niedokładnie przedstawiać uczelnię lub jej program i powinny być wykluczone.

Berlińskie zasady: Zbieranie i przetwarzanie danych

13. Do samego procesu tworzenia rankingu powinno się stosować procedury służące zapewnieniu jakości.

Procedury te winny uwzględniać specjalistyczną wiedzę stosowaną do oceny uczelni i używać tej wiedzy do oceny samego rankingu. Rankingi powinny być systemami uczenia się, które nieustannie wykorzystują specjalistyczną wiedzę do opracowywania metodologii.

14. Należy stosować rozwiązania organizacyjne zwiększające wiarygodność rankingów.

Do nich zaliczyć można ciała doradcze lub nawet nadzorujące, najlepiej z udziałem uczestników z innych państw.

Berlińskie zasady: Przedstawienie wyników rankingów

15. Należy jasno wytłumaczyć wszystkie uwarunkowania towarzyszące tworzeniu rankingów i zaproponować odbiorcom różne możliwości prezentacji rankingów.

Dzięki temu osoby zainteresowane będą bardziej świadome tego, jakie wskaźniki zostały wykorzystane do uplasowania danej uczelni czy programu w rankingu. Ponadto, odbiorcy powinni mieć okazję do decydowania o tym, w jaki sposób powinno się te wskaźniki ważyć.

16. Rankingi powinny być opracowywane w sposób, który wyeliminuje lub ograniczy błędy w danych początkowych i powinny być tak zorganizowane i opublikowane aby błędy i niedociągnięcia można było korygować.

O powstałych błędach należy poinformować zarówno uczelnie, jak i społeczeństwo.

Berlin, 20 maja, 2006 r.


• W 2007 r. odbyła się w Szanghaju konferencja IREG-3, która oceniła stan wdrażania Zasad Berlińskich na świecie.

• W 2008 r. podczas Poland International Education Conference WARSAW 2008, która odbyła się w kwietniu na Uniwersytecie Warszawskim powołano do życia IREG / International Observatory on Academic Ranking and Excellence Funkcję sekretariatu roboczego tej organizacji powierzono Fundacji Edukacyjnej Perspektywy.

Konferencja na UW

Kwiecień 2008. Stara Biblioteka UW. Debata panelowa na temat rankingów

IREG Executive Committee

Siedzą od lewej: Alex Asher – Educational Policy Institute (Kanada), Gero Federkeil – CHE (Niemcy), Jan Sadlak - UNESCO-CEPES, Liu Nian Cai – Jiao

Tong University (Chiny), Waldemar Siwiński – Perspektywy (Polska)

IREG-4 odbędzie się 13-15.06.2009 w Astanie

www.ireg-observatory.org

Ranking Europejski

2011

Ranking Europejski (1)

W ramach programu merytorycznego Francuskiej Prezydencji w Unii Europejskiej, w dniach 13-14 listopada 2008 r. odbyła się w Paryżu konferencja, która podsumowała francuskie starania o przełamanie anglosaskiego prymatu w rankingach i ocenie uniwersytetów. Wnioski z konferencji zawiera dokument pt. Presidency Conclusions on Typology and Ranking of the Higher Education Institutions: the European Approach

Analizując fenomen rankingów dokument paryski potwierdza, że stają się one coraz powszechniej uznawaną metodą oceny instytucji szkolnictwa wyższego i prezentacji ich działalności. W tym kontekście sformułowano standardy przyszłych rankingów europejskich.


Z dokumentu paryskiego: Rankingi europejskie powinny unikać prostego tabelarycznego szeregowania – w zamian powinny tworzyć mapę ośrodków doskonałości w dziedzinie edukacji i badań. Rankingi europejskie powinny uwzględniać nst. zasady:

1. Wieloaspektowe (wielokryterialne) podejście unikające uproszczonych, nieselektywnych mierników

2. Zróżnicowane podejście w odniesieniu do poszczególnych dziedzin i dyscyplin badawczych

3. Uwzględnienie lokalnej/regionalnej integracji uczelni4. Przygotowanie danych w sposób umożliwiający ich dalszą

analizę i badania5. Niezależność instytucji przygotowujących rankingi od władz

państwowych i uczelni6. Uwzględnienie wymiaru międzynarodowego.


Wniosek: Prezydencja Francuska wezwała Komisję Europejską do ogłoszenia przetargu na przygotowanie i przetestowanie studium wykonalności wielowymiarowego mappingu szkolnictwa wyższego i badań w Europie – w porównaniu z innymi regionami świata. Zadanie to powinno być wykonane przez niezależne Konsorcjum (Consortium for Assessment of Higher Education and Research in Europe) współpracujące z siecią niezależnych partnerów z krajów członkowskich UE.

Uwagi: Wskazano, że ww. mapping powinien objąć wszystkie trzy poziomy studiów (Bachelor, Master, PhD). Podkreślono zarazem wysoką ocenę przygotowanego przez CHE Excellence Ranking.

Termin: Pierwsze rezultaty pracy Konsorcjum powinny zostać opublikowane w 2011 roku.


10 grudnia ubr. Komisja Europejska ogłosiła przetarg na

Design and test the feasibility of a Multi-dimensional Global University Ranking czyli przetarg na przygotowanie Globalnego Rankingu Uniwersytetów widzianych z europejskiej perspektywy.

Nowy ranking będzie: * Wielowymiarowy – uwzględniający kilka różnych dziedzin działalności uczelni, takich jak edukacja, badania, innowacyjność, internacjonalizacja i współpraca ze społecznością lokalną.* Niezależny – powinien być prowadzony przez instytucje pozarządowe i pozauniwersyteckie.* Przejrzysty – jego kryteria muszą być oczywiste i zrozumiałe dla osób konsultujących ranking, aby można było korzystać z niego pod określonym kątem, dopasowanym do indywidualnych potrzeb.* Globalny – uwzględniający uczelnie europejskie, amerykańskie, australijskie i azjatyckie Ranking Europejski opublikowany zostanie w maju 2011 roku

Podsumowanie

Podsumowanie

• Rankingi są i będą! Nie przeceniajmy ich, ale też w żadnym przypadku nie lekceważmy, gdyż ocena i postrzeganie uczelni przez świat zewnętrzny podlega prostej zasadzie: „Tak się sprawy mają, jak je ludzie widzą…”

• Tak więc rozwijajmy istniejące rankingi i twórzmy nowe, by rankingi - czy też projektowane mappingi - pomogły różnym grupom interesu zainteresowanym uczelniami (kandydatom na studia, biznesowi, politykom, akademikom…) widzieć sprawy uniwersyteckie we właściwych wymiarach.

• Wspólnie nauczmy się żyć z rankingami – i to bez ataku serca!

• Zapewniam, że jest to możliwe!

Dziękuję za uwagę!

Waldemar Siwiń[email protected]

www.perspektywy.orgwww.ireg-observatory.org

www.studyinpoland.pl

tytuł

Text, text, text

tytuł

Ranking 2009

Uczelnie medyczne

Ranking 2009

Od RANKINGU do MAPPINGU trendy rozwojowe rankingów szkół wyższych

Documents

Transcript of Od RANKINGU do MAPPINGU trendy rozwojowe rankingów szkół wyższych