B04 Ewaluacja

Łódzka AkademiaPO KL

EwaluacjaB04

Urząd Marszałkowski w ŁodziDepartament ds. PO Kapitał Ludzki

Instytucja Pośrednicząca

Osoba prowadząca:Justyna Bodek

Plan prezentacji Cel prowadzenia ewaluacji

Definicja ewaluacji

Standardy ewaluacji

Ewaluacja a monitorowanie, audyt, kontrola

Rodzaje ewaluacji

Etapy procesu ewaluacji

Triangulacja

Zakończenie ewaluacji

2

Badanie jakości projektu

Poprawa skuteczności i efektywności projektu

Wspomaganie procesu podejmowania decyzji

Identyfikacja słabych i mocnych stron projektu

Wskazanie kierunków rozwoju

Sygnalizowanie problemów

Oszacowanie możliwości i ograniczeń

Określanie stopnia zgodności realizacji projektu z założeniami

Badanie potrzeb

Zwiększanie profesjonalizmu świadczonych usług

Cele ewaluacji

3

Definicje ewaluacji

Zgodnie z Wytycznymi w zakresie ewaluacji programów operacyjnych na lata 2007-2013:

osąd (ocena) wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów

dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz osiągniętych efektów

oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii.

4

Monitorowaniepozwala ocenić prawidłowość przebiegu danego projektu; dostarcza informacji na temat osiągniętych celów i rezultatów w stosunku do poniesionych nakładów; ma charakter systematyczny

AudytSprawdzenie zgodności wykorzystywanych środków oraz zasobów, głównie finansowych, z obowiązującym prawem oraz standardami; ma charakter kompleksowy

Kontrolaporównanie stanu faktycznego z wymaganym, weryfikacja kwestii prawnych oraz finansowych; może dotyczyć systemu zarządzania oraz struktur organizacyjnych; może mieć charakter wycinkowy

Ewaluacja a monitorowanie, audyt, kontrola

5

Definicje ewaluacji c.d.

Ewaluacja

Zbieranie, analiza oraz interpretacja

danych nt. znaczenia i wartości

tego, co podlega badaniu, przy

zwróceniu uwagi na zagadnienia istotne

dla zainteresowanych

Opisywanie przebiegu oraz

wyników badanych działań ze strony

pozytywnej i negatywnej, wyjaśnienie związków pomiędzy

nakładami i rezultatami,

porównywanie rezultatów ze

wstępnymi założeniami

Okresowa ocena efektywności, skuteczności, oddziaływania,

trwałości i zgodności projektu

w kontekście założonych celów

6

Definicja c.d.Ewaluacja w projekcie polega na:

sprawdzeniu, czy w wyniku podjętych działań osiągnięto rezultaty, które zostały założone na etapie planowania oraz czy te rezultaty przełożyły się na realizacje celów projektu.

ZAPAMIETAJ!

Działania ewaluacyjne powinny zostać zaplanowane już na etapie tworzenia projektu.

Zaplanuj odpowiedni budżet na badania ewaluacyjne.

Jeśli planujesz zlecić działanie ewaluacyjne zewnętrznemu podmiotowi, weź pod uwagę standardy ewaluacji.

7

Standardy ewaluacji

Standardy Ewaluacji zostały opracowane przez Polskie Towarzystwo Ewaluacyjne w 2008r.

Określają zasady współpracy pomiędzy podmiotami zaangażowanymi w proces ewaluacji, określają ich wzajemne prawa i obowiązki.

Opracowanie dokumentu było możliwe dzięki współpracy przedstawicieli administracji publicznej, organizacji pozarządowych, pracowników firm realizujących badania ewaluacyjne, instytucji naukowych i niezależnych konsultantów.

Zasady ujęte w Standardach mogą znaleźć zastosowanie zarówno w sektorze publicznym jak i prywatnym.

8

Rodzaje ewaluacji

Kryterium wykonawcy:

Ewaluacja zewnętrzna(przeprowadzana przez niezależnego wykonawcę)

Ewaluacja wewnętrzna(przeprowadzana przez osoby bezpośrednio lub pośrednio związane z podmiotem realizującym projekt)

9

Rodzaje ewaluacji

Kryterium czasu realizacji:

Ewaluacja ex-ante (przed realizacją projektu)

Ewaluacja mid-term (mniej więcej w połowie realizacji projektu)

Ewaluacja ex-post (po zakończeniu realizacji projektu)

Ewaluacja on-going(w trakcie trwania projektu)

10

Kryterium czasu realizacji

Ewaluacja ex-ante

Przeprowadzana przed

wdrażaniem projektu; ma na celu poprawę

jakości projektu będącego w

trakcie opracowania

Ocenia projekt pod kątem potrzeb,

planowanych celów oraz

sposobów ich realizacji

Bada kontekst społeczny,

gospodarczy, prawny

Bada stan wyjściowy

w kontekście ewaluacji ex-post;

identyfikuje ewentualne trudności

Określa potrzeby

i oczekiwania grupy

docelowej

11


Ewaluacja mid-term

Przeprowadzana w połowie realizacji

projektu; oparta na danych

dostarczonych przez proces

monitorowania

Ocenia i analizuje

osiągnięte do tej pory efekty

i rezultaty

Ocenia po raz pierwszy jakość

realizacji projektu

Ocenia założone cele

i wskaźniki podczas etapu programowania

Może doprowadzić

do modyfikacji realizacji

projektu oraz aktualizacji przyjętych założeń

12


Ewaluacja ex-post

Przeprowadzana po zakończeniu

realizacji projektu; stanowi

całościowe podsumowanie danego projektu

Ocenia poziom

osiągniętych celów

Ocenia skuteczność i efektywność projektu oraz jego trafność i użyteczność

Bada długotrwałe

efekty projektu oraz ich trwałość

Stanowi źródło informacji

niezbędne przy planowaniu kolejnych projektów

13


Ewaluacja ex-post projektu powinna zostać przeprowadzona wtedy, gdy widoczne są efekty realizacji projektu.

Często przyjmuje postać audytu, który ma na celu sprawdzenie, czy wszystko zostało wykonane zgodnie z założeniami wniosku.

Celem ewaluacji ex-post jest całościowa ocena projektu.

14


Ewaluacja on-going

Ma charakter uzupełniający do

wszystkich pozostałych typów

ewaluacji; przeprowadzana

niezależnie od nich

Ma na celu zgłębić problemy

pojawiające się często

w trakcie prowadzenia innych typów

ewaluacji

Dotyczy głównie zarządzania

realizacją projektu

Ma na celu zbadanie efektów

realizowanego projektu z innymi

projektami podobnego typu realizowanymi w

tym samym czasie

15

1. Planowanie ewaluacji(analiza potrzeb, określenie zakresu ewaluacji)

2. Projektowanie ewaluacji(określenie koncepcji badania)

3. Zbieranie i analiza danych(prace badawcze)

4. Raportowanie(konsultacje oraz dyskusja nt. wyników ewaluacji)

5. Wykorzystywanie wyników ewaluacji(udoskonalanie projektu na podstawie rekomendacji zawartych w raporcie)


16

Planując ewaluację projektu należy odpowiedzieć na kilka pytań:

Po co projekt ma zostać oceniony?

Jakie są granice oceny?

Co ma zostać ocenione, a co nie?

Czy projekt da się ocenić?

Jak ocenić projekt?

Kto będzie przeprowadzał badanie?

Kiedy ewaluacja będzie prowadzona?

Jakie środki zostały przeznaczone na ewaluację?

Dla kogo będzie przeznaczony raport ewaluacyjny?


17

Projektowanie ewaluacji:

Opis przedmiotu ewaluacji(precyzyjne określenie zakresu ewaluacji)

Sformułowanie pytań kluczowych(pytania, na które odpowiedzi udzieli przeprowadzone badanie ewaluacyjne)

Określenie kryteriów ewaluacji(mają charakter wartościujący, standardy wg których projekt będzie oceniany)

Dobór metod i próby badawczej(określenie sposobu zbierania danych oraz osób, które będą w stanie dostarczyć najwięcej informacji na temat przedmiotu badania ewaluacyjnego)

Określenie formatu raportu(określeniu sposobu zaprezentowania wyników badania ewaluacyjnego oraz grupy docelowej)


18

W początkowej fazie realizacji procesu ewaluacji należy dokładnie określić co zostanie poddane ewaluacji.

Każdy projekt ma swoje ramy czasowe; określonych odbiorców; zadania i cele do osiągnięcia; obszar na którym jest wdrażany – każdy z tych elementów wyznacza przedmiot ewaluacji.

ZAPAMIETAJ!

W procesie ewaluacji nie da się zbadać wszystkiego.Zdobyte dane powinny jednak wiarygodnie świadczyć o realizacji projektu.

Przedmiot ewaluacji

19

Planując ewaluację należy zastanowić się:

czy wystarczy nam środków finansowych, aby objąć badaniem cały projekt?

czy efekty ewaluacji będą współmierne do poniesionych na jej przeprowadzenie wydatków?

Jeśli odpowiedź po powyższe pytania będą negatywne należy zastanowić się, czy przedmiotem ewaluacji nie powinien być element projektu np.:

- system zarządzania

- współpraca między partnerami

- jakość szkoleń

- stopień osiągnięcia celów

Przedmiot ewaluacji

20

Cel określenia kryteriów ewaluacji:

Wskazują co w ramach ewaluacji będzie podlegało ocenie

Ewaluator zawsze ocenia projekt pod kątem konkretnych kryteriów i stopnia ich spełnienia

Kryteria ewaluacji

21

Kryteria ewaluacji

KRYTERIA

TRAFNOŚĆ

UŻYTECZNOŚĆ

EFEKTYWNOŚĆ

SKUTECZNOŚĆ

TRWAŁOŚĆ

22

Trafność (relevance)pozwala ocenić, w jakim stopniu przyjęte cele projektu odpowiadają zidentyfikowanym problemom w obszarze objętym projektem i/lub realnym potrzebom beneficjentów (zastosowanie: ewaluacja ex-ante, mid-term i on-going)

Efektywność (efficiency)pozwala ocenić stosunek poniesionych nakładów (finansowych, czasowych, ludzkich) do uzyskanych wyników i rezultatów (zastosowanie: ewaluacja ex-ante, mid-term, on-going, ex-post)

Skuteczność (effectiveness)pozwala ocenić stopień osiągniętych celów projektu zdefiniowanych na etapie programowania (zastosowanie: ewaluacja ex-ante, mid-term, on-going, ex-post)

Kryteria ewaluacji c.d.

23

Użyteczność (utility)pozwala ocenić, w jakim stopniu realizacja projektu przyczyniła się do rozwiązania problemu i/lub przyniosła korzyść beneficjentom (zastosowanie: ewaluacja on-going, ex-post)

Trwałość (sustainability)pozwala ocenić, czy pozytywne efekty projektu na poziomie celu mogą trwać po zakończeniu finansowania zewnętrznego oraz czy możliwe jest utrzymanie się wpływu projektu w dłuższym okresie czasu na procesy rozwojowe na poziomie sektora, regionu czy kraju(zastosowanie: ewaluacja ex-post)

Kryteria ewaluacji c.d.

24

Dobrze sformułowane pytania kluczowe to połowa sukcesu!

Ogólne pytania, na które odpowiedź ma przynieść badanie ewaluacyjne, następnie należy przełożyć na pytania badawcze, wskaźniki i pytania do respondentów.

W celu poprawnego sformułowania pytań należy wypisać wszystkie interesujące nas kwestie np.:

- czy projekt dotarł do odbiorców

- czy zwiększył ich wiedzę

- czy projekt wpłynął na zachowania odbiorców

- jaka jest ocena projektu przez uczestników

- co należy poprawić w kolejnych edycjach

Pytania kluczowe

25

Pytania kluczowe

Odpowiedzi dostarczą wyniki

badania ewaluacyjnego

Powinny zostać sformułowane

w sposób ogólny

Stanowią filar badania

ewaluacyjnego

Nie są to pytania, które wprost będą zadane osobom

objętym ewaluacją

26

Po sformułowaniu pytań kluczowych należy zastanowić się:

czy jesteśmy w stanie na nie odpowiedzieć

jakie dane muszą zostać zebrane

kto może udzielić odpowiedzi na pytania i jak dotrzeć do tych osób

ile to kosztuje

Następnie, w celu porównania osiągniętych rezultatów należy znaleźć punkt odniesienia, czyli np. podobny projekt, który był realizowany wcześniej lub na innym obszarze (benchmarking).

Pytania kluczowe

27

Kolejnym krokiem projektowania procesu ewaluacji powinno być określenie grup, które zostaną poddane badaniom.

Najważniejszą grupę stanowią odbiorcy projektu oraz osoby realizujące projekt.

ZAPAMIETAJ!

W celu uzyskania bardziej wiarygodnych odpowiedzi należy zapewnić respondentom anonimowość!

Dobór respondentów

28 28

Znając już respondentów badania ewaluacyjnego należy określić metody zbierania danych do badania ewaluacyjnego.

Metodologia ewaluacji powinna zostać dostosowana do zamierzeń badawczych, a także do celów projektu.

Różne metody służą do zbierania różnych danych, np.

- jeśli trzeba poznać opinię dużych społeczności lokalnych można zastosować badania sondażowe

- jeśli trzeba zgłębić dane zagadnienie należy zastosować metody jakościowe, np. wywiady

Metodologia

29

Metody badań ewaluacyjnych

ILOŚCIOWE

dotyczą informacji liczbowych; pozwalają poznać zależności pomiędzy występującymi zmiennymi; podlegają analizie statycznej, np. liczba odbiorców projektu.

JAKOŚCIOWE

dotyczą opisu, poznania i zrozumienia badanych zjawisk; niezbędne dla właściwej interpretacji informacji liczbowych; taki charakter badań kładzie nacisk na procesy i znaczenia, które nie podlegają rygorom pomiaru w znaczeniu ilościowym, np. opinie

30

Metody badań ewaluacyjnych

ANALIZA DOKUMENTÓW

dotyczy badania faktów; zbierania informacji w sposób formalny; pozwala na wykorzystanie dokumentów zgromadzonych podczas planowania i realizacji projektu; należy uważać, by nie interpretować danych w zbyt ogólny sposób.

WYWIADY

dotyczy zbierania opinii od osób zaangażowanych w realizację danego projektu oraz jego uczestników; daje możliwość poruszenia szczegółowych problemów i poznania interpretacji uczestników; metoda czasochłonna, kosztowna, obejmuje niewielką ilość respondentów.

OBSERWACJA

bezpośredni udział ewaluatorów w danym projekcie; może mieć charakter jawny lub niejawny; pozwala poznać kontekst danego działania; ułatwia interpretację, może prowadzić do przyswojenia stereotypów.

KWESTIONARIUSZ

uporządkowana lista pytań zamkniętych lub otwartych na jeden lub więcej tematów; umożliwia objęcie badaniem dużej grupy osób, jest anonimowa przez co daje swobodę wypowiedzi; odpowiedzi mogą okazać się zdawkowe; techniki: ankieta pocztowa, telefoniczna, internetowa.

31

Inne metody badań ewaluacyjnych:

Analiza dostępnych danych – desk research (raporty, ekspertyzy, informacje z urzędów statystycznych)

Studium przypadku(szczegółowe studium danego zagadnienia z różnych perspektyw)

Grupy fokusowe(forma moderowanej dyskusji uwzględniająca różne poglądy uczestników)

Opinie ekspertów(ze względu na subiektywny charakter opinii nie może być jedynym źródłem informacji)

Metody badań ewaluacyjnych c.d.

32

Warto pamiętać, aby proces ewaluacji uwzględniał:

Różnorodne metody zbierania danych i analizy

Różnorodne źródła informacji

Różnorodne spojrzenia badawcze

W celu zróżnicowania metod badawczych wykorzystaj dostępne narzędzia internetowe!Triangulacja pozwala na lepsze poznanie i zrozumienie badanego projektu, uwzględnia różne punkty widzenia na daną kwestię, pozwala pogłębić wiedzę na temat zebranych danych, a także sprzyja zwiększeniu obiektywizmu prowadzonej ewaluacji.

Triangulacja

33

Do poprawnego zastosowania wybranych metod zbierania danych służą narzędzia ewaluacyjne.

Najbardziej popularnym narzędziem ewaluacyjnym jest ankieta.

Ankieta może zawierać zarówno pytania otwarte jak i zamknięte, np.:

1.Pytanie otwarte:

Proszę wyjaśnić dlaczego będą Państwo aplikować o środki w ramach PO KL w przyszłym roku?

2.Pytanie zamknięte:

Czy w przyszłym roku będą Państwo aplikować w środki w ramach PO KL?

a) tak

b) nie

c) nie wiem

Narzędzia badań ewaluacyjnych

34

Narzędzia badań ewaluacyjnych

35

Zakończenie procesu ewaluacji:

Każda ewaluacja powinna zakończyć się opracowaniem raportu ewaluacyjnego

Raport ewaluacyjny powinien zawierać wnioski i rekomendacje

Wyniki ewaluacji powinny służyć polepszeniu jakości projektów realizowanych w przyszłości

Zakończenie ewaluacji

36

Rodzaje raportów:

raport metodologicznyzawiera następujące informacje: dane nt. przedmiotu ewaluacji, cele i założenia, metodologię, wyniki, harmonogram prac, narzędzia badawcze

raport cząstkowyzawiera informacje z części badania ewaluacyjnego

raport końcowystruktura raportu obejmuje: streszczenie; spis treści, wprowadzenie, opis zastosowanej metodologii, wyniki ewaluacji, wnioski, rekomendacje, aneksy

ZAPAMIETAJ!

Ewaluacja tylko wtedy przynosi efekty, jeśli jej wyniki przekazywane są w sposób zrozumiały.

Raport ewaluacyjny

37

Rekomendacje:

powinny zostać tak opracowane, by były możliwe do zaakceptowania i zrealizowania

mogą być ogólne (odbiorca ma większą swobodę w podejmowaniu decyzji o sposobie ich wdrożenia) lub bardziej szczegółowe (określają dokładnie podmiot odpowiedzialny za ich wdrożenie oraz wskazują co powinno zostać zrobione)

powinny być realistyczne, czyli określać w jaki sposób ich wdrożenie wpłynie na realizacje projektu oraz jakie wydatki z nich wynikają

powinny wskazywać adresatów rekomendacji

Rekomendacje

38

Ćwiczenie

Podział uczestników na 4 grupy

Na podstawie otrzymanego opisu projektu proszę opracować strategię ewaluacji projektu

Czas trwania: 20 minut


39

Źródła informacjiWytyczne w zakresie ewaluacji programów operacyjnych na lata 2007-2013

Podręcznik zarządzania projektami miękkimi

K. Choromański, B. Ciężka, G. Dziarski, J. Ratajczak, A. Rudolf, T. Skierniewski oraz firma KPMG Ewaluacja – kwestie ogólne - Szkolenie dla pracowników Instytucji Zarządzającej Podstawami Wsparcia Wspólnoty, Krajowej Jednostki Oceny oraz komórek oceny w instytucjach zarządzających poszczególnymi programami operacyjnymi – Polskie Towarzystwo Ewaluacyjne, Warszawa 2005

Polskie Towarzystwo Ewaluacyjne - Standardy ewaluacji

www.pte.org.pl

40

Dziękuję za uwagę

B04 Ewaluacja

Documents

Transcript of B04 Ewaluacja