Do czego służy EWALUACJA ?Jerzy Radziwiłł

Wydział Fizyki UW, 21 marca 2011

Projekt „Fizyka wobec wyzwań XXI wieku” współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego

Spis treści1. Definicja2. Projekty i programy3. Planowanie projektu lub programu4. Struktura logiczna projektu lub programu5. Do czego służy ewaluacja ?6. Do czego nie służy ewaluacja ?7. Rodzaje ewaluacji8. Kryteria ewaluacyjne9. Ewaluacja projektu „Fizyka wobec wyzwań XXI

wieku”

1. Definicja

Ewaluacja to systematyczne badanie wartości albo cech konkretnego programu, planu, działania bądź obiektu z punktu widzenia przyjętych kryteriów, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia.

Ewaluacja jest częścią procesu podejmowania decyzji. Obejmuje wydawanie opinii o wartości działania poprzez systematyczne, jawne zbieranie i analizowanie informacji o nimw odniesieniu do znanych celów, kryteriówi wartości.

Definicja – c.d.W odniesieniu do funduszy unijnych:

Ewaluacja - to ocena wartości interwencji z zastosowaniem określonych kryteriów tej oceny podejmowana w celu określenia efektywności interwencji, oszacowania w odniesieniu do celów,a także analizy wpływu na specyficzne problemy strukturalne. *

* Rozporządzenie Rady Unii Europejskiej z dn. 21.06.1999 r. wprowadzające ogólne przepisy dotyczące funduszy strukturalnych

2. Projekty i programy

PPOJEKT: przedsięwzięcie, które ma określony cel, początek i koniec

PROGRAM: przedsięwzięcie na większą skalę, które ma określony cel

Rozróżnienie między projektem a programem nie jest jednoznaczne (m.in. dlatego, że program też może mieć początek i koniec).

Program zwykle składa się z wielu projektów, które mogą być realizowane przez różnych wykonawców.

3. Planowanie projektu lub programu

Metoda matrycy logicznej (LFA)

1. ANALIZA INTERESARIUSZY: identyfikacja potencjalnych głównych interesariuszy; ocena ich możliwości.

2. ANALIZA PROBLEMU: identyfikacja głównych problemów, ograniczeń i szans; ustalenie związków przyczynowo-skutkowych.

Planowanie projektu lub programu - c.d.

3. ANALIZA CELÓW: budowanie rozwiązań zidentyfikowanych problemów; identyfikacja powiązań między stosowanymi środkamia osiąganymi efektami

4. ANALIZA STRATEGII: identyfikacja różnych strategii prowadzących do rozwiązania problemu; wybór najlepszej strategii.

4. Struktura logiczna projektu lub programu

Metoda matrycy logicznej (LFA):

1. Zidentyfikowane problemy

2. Zastosowane środki i nakłady

3. Działania i ich produkty

4. Rezultaty

5. Cele szczegółowe

6. Cel główny

5. Do czego służy ewaluacja ?

EWALUACJA służydo tego żeby było lepiej !

EWALUACJA to proces, który służy optymalizacji całego projektu lub programu (począwszy od planowania) ze względu na określone kryteria. Składa się z badania, analizy oraz sformułowania wniosków i rekomendacji.

6. Do czego nie służy ewaluacja ?

MONITROWANIE to systematyczne, szczegółowe śledzenie przebiegu i efektów realizacji projektu lub programu pod kątem ich zgodności z przyjętym planem.

KONTROLA to sprawdzenie całości lub wybranych elementów projektu lub programu pod kątem ich zgodności z przyjętymi założeniami i obowiązującymi zasadami.

Do czego nie służy ewaluacja - c.d.

AUDYT to systematyczna ocena sposobu realizacji i kondycji projektu lub programu przeprowadzona przede wszystkim na podstawie badania i analizy systemów, procesów, mechanizmów kontrolnych i sprawozdań.

ANALIZA KOSZTÓW I KORZYŚCI to porównanie kosztów wykorzystanych zasobów plus wszelkich innych kosztów jakie wynikają z działalności z wartością uzyskanych korzyści finansowych i pozafinansowych.

Do czego nie służy ewaluacja - c.d.

OCENA INWESTYCJI to analiza przyszłej dochodowości nakładów kapitałowych jako pomoc w skutecznym zarządzaniu.

itd. …

Ewaluacja jest pojęciem szerszym. Może wykorzystywać wymienione wyżej i inne podobne metody oraz uzyskane na ich

podstawie ustalenia, ale służy innym celom.

7. Rodzaje ewaluacji

Ewaluacja POPRZEDZAJĄCAPOPRZEDZAJĄCA (ex-ante)

Ewaluacja PRZEJŚCIOWA (mid term)

Ewaluacja BIEŻĄCA (on-going)

Ewaluacja KOŃCOWA (ex-post)

Ewaluacja TEAMTYCZNA (thematic)

8. Kryteria ewaluacyjne

• Trafność (relevance, adequacy):Czy to w ogóle należało robić ?

• Efektywność (efficiency):Czy można było zrobić to samo mniejszym kosztem lub zrobić więcej przy tych samych kosztach? (Stosunek korzyści do kosztów).

• Skuteczność (effectiveness):Czy wykonanie zaplanowanych działań doprowadziło do osiągnięcia zamierzonego celu?

Kryteria ewaluacyjne – c.d.• Użyteczność (utility):

Czy efekty projektu są (do czegokolwiek) przydatne? (Inaczej mówiąc: na co to komu?)

• Oddziaływanie (impact):Czy to ma dalsze konsekwencje (pozytywne lub negatywne)? Czy wartość wszystkich efektów jest większa niż wartość samych bezpośrednich produktów?

• Trwałość efektów (sustainability):Czy efekty będą miały znaczenie również w przyszłości (po zakończeniu projektu lub programu)?

9. Ewaluacja projektu„Fizyka wobec wyzwań XXI wieku”

DZIAŁANIA W RAMACH PROJEKTU:

1. Zarządzanie Projektem

2. Promocja i rekrutacja

3. Kurs „Ochrona radiologiczna i radiometria w medycynie”

4. Otwarcie specjalności „Neuroinformatyka” (NI)i „Fizyka medyczna” (FM)

5. Otwarcie specjalności „Optyka okularowa” (OO)

6. Otwarcie specjalności „Biofizyka molekularna” (BM)i „Projektowanie molekularne i bioinformatyka” (PM)

Ewaluacja projektu„Fizyka wobec wyzwań XXI wieku” - c.d.

DZIAŁANIA W RAMACH PROJEKTU - c.d.:

7. Organizacja zajęć w języku angielskim na kierunku Fizyka

8. Wizyty studyjne

9. Staże zagraniczne

10. Ewaluacja

11. Konferencja podsumowująca

Ewaluacja projektu„Fizyka wobec wyzwań XXI wieku” - c.d.

BADANIA NA POTRZEBY EWALUACJI DOTYCZĄCE KIERUNKU „ZASTOSOWANIA FIZYKI W BIOLOGII I MEDYCYNIE”

• Badanie CAWI (z użyciem poczty elektronicznej) postaw i motywacji studentów na początku studiów.

• Kontakt bieżący (bezpośredni, telefoniczny i pocztą elektroniczną) ze studentami, pracownikami biurai kadrą projektu.

• Indywidualne wywiady pogłębione (IDI) z pracownikami biura projektu, asystentami Kierownika Projektu, Kierownikiem Projektu i wykładowcami.

Ewaluacja projektu„Fizyka wobec wyzwań XXI wieku” - c.d.

BADANIA NA POTRZEBY EWALUACJI (…) - c.d.

• Wywiady grupowe ze studentami kierunku(co semestr).

• Analiza wyników ankiet USOS dotyczących satysfakcji z zajęć.

• Badanie ankietowe wśród maturzystów(w 2011 i w 2014 roku)

• Badanie CAWI (z użyciem poczty elektronicznej) postaw i motywacji studentów na końcu studiów.

Ewaluacja projektu„Fizyka wobec wyzwań XXI wieku” - c.d.

Kontakt w sprawach dotyczących ewaluacji:

• Jerzy Radziwiłł, Kierownik Badania, tel.: 602-325-505, poczta jerzy.radziwill@millwardbrown.com

• Luiza Wiślicz-Iwańczyk, Specjalista ds. Promocji, Informacji i Monitoringu, Hoża 69, p. 22,tel.: (22) 55-32-393, poczta luiza.wislicz@fuw.edu.pl

• Adam Babiński, Kierownik Projektu, Hoża 69, p. 322, tel.: (22) 55-32-374, poczta adam.babinski@fuw.edu.pl

• Strona www projektu: http://fizykaxxi.fuw.edu.pl oraz http://fizykaxxi.fuw.edu.pl/ewaluacja

DZIĘKUJĘ ZA UWAGĘ

Studentów kierunku „Zastosowania Fizykiw Biologii i w Medycynie” zapraszam teraz na wywiad grupowy dotyczący wszelkich kwestii

związanych ze studiami na tym kierunku.