EwaluacjaProjektów

www.leonardo.org.pl

Program Leonardo da Vinci

EwaluacjaProjektówPoradnik dla wnioskodawców

Wst´p 5

Podstawowe informacje o ewaluac j i 6

1 Rola ewaluacji 6

2 Geneza ewaluacji 6

3 Podstawowe rodzaje ewaluacji 7

4 Etapy procesu ewaluacyjnego 8

5 Podstawowe metody badaƒ ewaluacyjnych 11

6 Metody oceny 13

7 Powiàzanie monitoringu i ewaluacji 14

Strategia ewaluacji projektów Leonardo da Vinci 15

1 Cele ewaluacji projektów Leonardo da Vinci 15

2 KorzyÊci z dobrze zaplanowanej i przeprowadzonej ewaluacji 19

3 Kiedy powinniÊmy prowadziç ewaluacj´ projektu? 19

4 Planowanie ewaluacji 24

5 Co ma byç przedmiotem ewaluacji? 25

6 Jak przeprowadziç ewaluacj´? 26

7 Kto ma prowadziç ewaluacj´? 27

Ewaluacja ex ante zarzàdzania projektem 29

1 Zarzàdzanie projektem 29

2 Analiza zaplanowanego sposobu zarzàdzania projektem 35

Ewaluacja szkolenia/sta˝u 36

1 Cel ewaluacji szkolenia/sta˝u 36

2 Metodologia badania ewaluacyjnego 37

3 Podsumowanie wyników badania 40

I

II

III

IV

S p i s t r e Ê c i

4

Ewaluac ja Pro jektów Programu Leonardo da Vinc i

Od redakcji

Z przyjemnoÊcià przedstawiamy Paƒstwu drugà czeÊç poradnika dla wnioskodawców p.t.

„Ewaluacja projektów programu Leonardo da Vinci”, która uzupe∏nia cz´Êç pierwszà,

poÊwi´conà poszczególnym fazom budowania partnerstwa i planowania projektu.

Mamy nadziej´, ˝e informacje zawarte w niniejszej cz´Êci poradnika pozwolà Paƒstwu

usystematyzowaç wiedz´ o najcz´Êciej stosowanych metodach ewaluacyjnych oraz sk∏onià

do Êwiadomego ich u˝ywania w procesie zarzàdzania wszystkimi rodzajami projektów

programu Leonardo da Vinci (mobilnoÊci, partnerskimi, transferu i rozwoju innowacji).

Poznajàc warsztat pracy ewaluatorów ∏atwiej b´dzie Paƒstwu przygotowaç dobry wniosek

o dofinansowanie, a potem, w przypadku zatwierdzenia projektu, na bie˝àco kontrolowaç

post´p prac i jakoÊç rezultatów. B´dà Paƒstwo mogli tak˝e lepiej zbadaç d∏ugoterminowe

efekty projektu po jego zakoƒczeniu i trafniej oceniç przydatnoÊç ju˝ istniejàcych rozwiàzaƒ

w danej dziedzinie jako punktu odniesienia dla kolejnych projektów, które Paƒstwo planujà.

˚yczymy wielu pomys∏ów na wartoÊciowe przedsi´wzi´cia i zapraszamy do kontaktu z namiwe wszystkich sprawach zwiàzanych z uczestnictwem w Programie Leonardo da Vinci.

Zespó∏ Programu Leonardo da Vinci

[email protected]

5

Kilkuletnia ocena sk∏adanych wniosków wskazuje na coraz wi´ksze zrozumienie przez

wnioskodawców zasad programu Leonardo da Vinci. JakoÊç propozycji projektów jest coraz

wy˝sza. W dalszym ciàgu jednak istniejà s∏abe punkty, do których nale˝y m.in. sposób

przedstawienia ewaluacji i monitoringu. Wynika to zapewne z niezrozumienia roli ewaluacji.

Cz´sto traktowana jest ona jako biurokratyczne utrudnienie dla promotorów, zwiàzane

z wytycznymi programu Leonardo da Vinci, a nie jak proces, który wspomaga realizacj´ projektu.

Ewaluacja jest integralnà cz´Êcià projektu. Jej podstawowym zadaniem jest u˝ytecznoÊç.

Robimy jà po to, by zmierzyç post´py w realizacji projektu i skutecznoÊç prowadzonych

dzia∏aƒ, zastanowiç si´, czy nie nale˝y dokonaç zmian w sposobie realizacji, zbadaç

efektywnoÊç wykorzystania Êrodków. Dzi´ki ewaluacji mo˝emy zidentyfikowaç osiàgni´cia

oraz s∏aboÊci projektu i wykorzystaç t´ wiedz´ w przysz∏oÊci.

Rezultaty ewaluacji mogà byç wykorzystane do poprawy organizacji i zarzàdzania,

podejmowania decyzji, poprawy planowania, upowszechnienia rezultatów i promocji

projektu, pokazania wiarygodnoÊci realizatorów projektu. Bez ewaluacji nie mo˝na zapewniç,

˝e projekt wykorzystuje przyznane fundusze z najlepszym efektem ani, ˝e spe∏nia potrzeby

beneficjentów.

Celem niniejszego opracowania jest pomoc promotorom projektów w przygotowaniu si´ do

tego zadania, poczynajàc od przedstawienia podstawowych informacji o ewaluacji, poprzez

pomoc w zaplanowaniu, przeprowadzeniu i wykorzystaniu jej wyników. Pokazana jest te˝

u˝ytecznoÊç ewaluacji w przygotowaniu i zarzàdzaniu projektem.

TreÊç poradnika opracowana zosta∏a w oparciu o dokumenty programowe LdV oraz stosowane

podstawowe zasady metodologiczne.

Ze wzgl´du na ró˝norodnoÊç projektów Leonarda da Vinci poradnik nie podaje konkretnych,

jasno okreÊlonych wytycznych i rozwiàzaƒ, ale przedstawia w miar´ elastyczny materia∏,

który nale˝y braç pod uwag´ w zale˝noÊci od specyfiki projektu. Poradnik winien byç

traktowany jako przewodnik, który promotor zaadaptuje do potrzeb swojego projektu.

Wybór metodologii zale˝y od tego, czego si´ chcemy dowiedzieç. Wszystkie dzia∏ania

powinny byç prowadzone w kontekÊcie celów projektu. OkreÊlone w wniosku zg∏oszeniowym

cele powinny wskazaç, co projekt ma osiàgnàç.

Mamy nadziej´, ˝e niniejsze opracowanie pomo˝e wnioskodawcom:

r zrozumieç cel i znaczenie ewaluacji,

r poznaç terminologi´ stosowanà w ewaluacji,

r zaplanowaç i zrealizowaç plan pracy,

r wykorzystaç odpowiednie do potrzeb projektu narz´dzia i techniki ewaluacji,

r rozwinàç praktyczne umiej´tnoÊci ewaluacji i monitoringu swojego projektu,

r wykorzystaç narz´dzia i techniki w zarzàdzaniu projektem.

Informacje podane w poradniku mogà nie byç wystarczajàce dla niektórych promotorów

i pewnie si´gnà oni po pomoc ewaluatorów zewn´trznych. Wiedza ta jednak z pewnoÊcià

pomo˝e im w zrozumieniu podstawowych zagadnieƒ ewaluacji i wyborze odpowiedniego

ewaluatora.

Wst´p

6

Podstawowe informacje o ewaluacjiIstnieje wiele definicji ewaluacji w zale˝noÊci od zakresu obj´tej nià tematyki, zastosowanej

metodologii, czy te˝ wykorzystania jej wyników. Wi´kszoÊç z nich sprowadza si´ do

stwierdzenia, ˝e ewaluacja jest systematycznym badaniem wartoÊci lub cech konkretnego

programu, projektu czy dzia∏ania, w oparciu o okreÊlone kryteria. Kryteriami najcz´Êciej

stosowanymi sà: zgodnoÊç z potrzebami (kraju, sektora, beneficjentów), skutecznoÊç,

efektywnoÊç, oddzia∏ywanie, trwa∏oÊç efektów.

Ewaluacja jest badaniem majàcym zawsze jakiÊ cel. Najogólniej jej celem jest okreÊlenie

skutecznoÊci i efektywnoÊci ewaluowanego projektu, zrozumienie, jak on funkcjonuje,

usprawnienie dzia∏aƒ. Jednym z najwa˝niejszych celów jest potrzeba zapewnienia wi´kszej

przejrzystoÊci dzia∏aƒ i zwi´kszenia odpowiedzialnoÊci podmiotów zaanga˝owanych

w programowanie i wdra˝anie projektów finansowanych ze Êrodków publicznych.

Semantycznie ewaluacja to „oszacowanie wartoÊci”. Termin ten odpowiada polskiemu s∏owu

„ocena”, jednak definicje ewaluacji programów, a tak˝e jej praktyka, podkreÊlajà jej odmiennoÊç

od oceny. Ewaluacja jest procesem, ocena jest tylko jednym z elementów tego procesu.

U˝ycie terminu „ocena” koncentruje uwag´ wy∏àcznie na jednym elemencie, przypisujàc mu

cechy ca∏ego procesu, natomiast ewaluacja nie jest pojedynczym dzia∏aniem, ale dziedzinà

wiedzy.

Ewaluacja bada program/projekt i zjawiska pojawiajàce si´ jako jego konsekwencje, ocenia

struktur´ dzia∏aƒ, ich logik´ i wartoÊç. Jest tak˝e procesem uczenia si´.

Rola ewaluac j i

Badania roli ewaluacji w ró˝nych krajach oraz jej ewolucja pokazujà, ˝e istniejà ró˝ne

podejÊcia do wykorzystania ewaluacji jako niezale˝nego narz´dzia pozwalajàcego na

popraw´ jakoÊci badanego dzia∏ania. Zasadniczà rolà ewaluacji jest wspomaganie

konkretnych odbiorców w konkretnej sytuacji, wywo∏ywanie pozytywnych zmian, podnoszenie

jakoÊci i skutecznoÊci programów publicznych.

Geneza ewaluac j i

Praktyki ewaluacyjne sà niemal tak stare jak ludzkoÊç i zwiàzane sà z rozwojem cywilizacji.

Ka˝da wprowadzana zmiana poprzedzana jest Êwiadomà lub nieÊwiadomà ocenà

ponoszonego nak∏adu pracy i uzyskiwanych efektów i porównaniem ich z korzyÊciami

wynikajàcymi z nowych dzia∏aƒ. Mo˝na wi´c powiedzieç, ˝e ewaluacja jest codziennà,

racjonalnà ludzkà czynnoÊcià, która nie wymaga argumentacji.

Ewaluacja w formie ustrukturyzowanej, jakà znamy dzisiaj, wywodzi si´ ze Stanów Zjednoczonych.

Na prze∏omie XIX i XX wieku, w dobie dynamicznego rozwoju nauk spo∏ecznych, w tym

psychologii i ekonomii, oraz rozwoju przemys∏u pojawi∏a si´ potrzeba badania skutecznoÊci

programów edukacyjnych oraz efektywnoÊci pracy. Wyniki badaƒ wykorzystywane by∏y przy

reformowaniu szkolnictwa oraz organizacji pracy w przemyÊle.

Prekursorem ewaluacji w Europie jest Wielka Brytania. Powszechnie zacz´to tam stosowaç

ewaluacj´ w latach 80. ubieg∏ego wieku. Do zapotrzebowania na badania ewaluacyjne

przyczyni∏y si´ radykalne zmiany w gospodarce wprowadzone przez Margaret Thatcher.

I .1

I .2

I

7

P od s t awowe i n f o rma c j e o ewa l u a c j i

W tym samym czasie ewaluacja pojawi∏a si´ w instytucjach i politykach wspólnotowych. Jej

celem by∏o zapewnienie przejrzystoÊci dzia∏aƒ instytucji unijnych, zapewnienie ich racjonalnoÊci,

jakoÊci, sprawnoÊci, poszanowania wartoÊci pieni´dzy podatnika. Od 2000 roku ka˝de

dzia∏anie, które ma wp∏yw na bud˝et UE, musi byç poddane ewaluacji.

W Polsce ewaluacja pojawi∏a si´ w czasie realizacji unijnych funduszy przedakcesyjnych,

g∏ównie programów PHARE. Sposób prowadzenia ewaluacji jest w zasadzie narzucony przez

Komisj´ Europejskà i jest mocno sformalizowany. Obowiàzujà jasno okreÊlone wytyczne co

do zagadnieƒ, jakie powinna poruszaç, kryteriów oraz celów, jakie ma spe∏niaç. Zasady te

dotyczà tak˝e projektów realizowanych w ramach programu Leonardo da Vinci.

Niniejszy rozdzia∏ jest próbà przedstawienia podstaw teoretycznych ewaluacji, które mogà

byç pomocne w prowadzeniu ewaluacji projektów Leonardo da Vinci. Ze wzgl´du na to, ˝e

projekty Leonardo da Vinci realizowane sà w mi´dzynarodowym partnerstwie, a w ró˝nych

krajach i programach stosowane sà ró˝ne nazwy okreÊlajàce te same elementy,

podstawowe okreÊlenia przyj´te w tym poradniku podane sà tak˝e w j´zyku angielskim, po

to by terminologia mog∏a byç jednoznacznie przez wszystkich rozumiana.

Podstawowe rodzaje ewaluac j i

Klasyfikacji rodzajów ewaluacji mo˝na dokonaç, u˝ywajàc ró˝nych kryteriów. Najcz´Êciej

stosuje si´ podzia∏ ze wzgl´du na:

1 przedmiot ewaluacji

2 cel ewaluacji

3 moment podj´cia badania

4 organizacj´ badania

1 Podzia∏ ze wzgl´du na przedmiot ewaluacji:r Ewaluacja programur Ewaluacja projektówr Ewaluacja politykir Ewaluacja tematyczna r Metaewaluacja

2 Podzia∏ ze wzgl´du na cel:r Ewaluacja formatywna

Jej celem jest ocena formy i procesu wdra˝ania. Koncentruje si´ na tym, jak poprawiç

p∏ynnoÊç wdra˝ania programu lub projektu i podnieÊç jego ostatecznà jakoÊç.

r Ewaluacja podsumowujàcaMa dokonaç ca∏oÊciowej oceny danej interwencji najcz´Êciej po jej zakoƒczeniu, to jest

okreÊliç efekty zak∏adane i uboczne.

3 Podzia∏ ze wzgl´du na moment prowadzenia ewaluacji:r Ewaluacja wst´pna (ang. ex ante) prowadzona jest przed rozpocz´ciem interwencji. Jej

celem jest stworzenie podstaw przygotowania i uzasadnienia programu. Ma zweryfikowaç

za∏o˝enia projektu, czy oczekiwane oddzia∏ywanie jest realistyczne, oszacowaç rezultaty.

I

I .3

8


r Ewaluacja Êródokresowa/Êredniookresowa (ang. mid-term evaluation) przeprowadzana

jest w po∏owie trwania danego programu. K∏adzie nacisk na ocen´ dotychczasowego

sposobu realizacji programu – g∏ównie sposobu zarzàdzania. Weryfikuje kierunek oraz

aktualnoÊç za∏o˝eƒ strategii, identyfikuje pierwsze efekty, jak równie˝ proponuje

ewentualne bie˝àce korekty.

r Ewaluacja ciàg∏a/bie˝àca (ang. on going evaluation) przeprowadzana jest w trakcie reali-

zacji programu/projektu. Ma zapewniç wsparcie dla zarzàdzania programem. Jej celem

jest dog∏´bna analiza pytaƒ, kwestii i problemów, które pojawiajà si´ w trakcie realizacji

programu, a tak˝e zaproponowanie konkretnych rozwiàzaƒ. Ma wzmacniaç relacje mi´dzy

uczestnikami programu i przyczyniaç si´ do gromadzenia doÊwiadczeƒ.

r Ewaluacja koƒcowa/pe∏na (ang. ex post evaluation) jest wykonywana po zakoƒczeniu

programu/projektu. Skupia si´ na ocenie rezultatów i d∏ugookresowych efektów programu,

w tym trwa∏oÊci uzyskanych pozytywnych zmian i zidentyfikowaniu ewentualnych efektów

ubocznych (zarówno pozytywnych, jak i negatywnych), przyczynia si´ do dyskusji na

temat racjonalnoÊci przysz∏ych analogicznych programów.

4 Podzia∏ ze wzgl´du na organizacj´ badania:r Ewaluacja wewn´trzna. Prowadzona jest przez osoby z instytucji odpowiedzialnej za

wdra˝anie analizowanego dzia∏ania.

r Ewaluacja zewn´trzna. Zlecana jest przez instytucj´ prowadzàcà projekt/program

niezale˝nym ekspertom.

Poszczególne typy ewaluacji mogà byç po∏àczone. Cz´sto np. ewaluacje wst´pne majà

charakter formatywny, zorientowane sà na decyzje. Ewaluacje koƒcowe sà podsumowujàce,

ewaluacje Êredniookresowe i bie˝àce majà charakter formatywny. Ewaluacje tematyczne sà

elementami ewaluacji Êredniookresowej lub jeszcze cz´Êciej bie˝àcej. Ewaluacje zewn´trzne

dotyczà najcz´Êciej ewaluacji koƒcowych.

Etapy procesu ewaluacyjnego

Proces ewaluacji sk∏ada si´ z nast´pujàcych etapów:

4.1 Planowanie4.2 Projektowanie4.3 Realizacja 4.4 Raportowanie4.5 Wykorzystanie wyników ewaluacji

Planowanie ewaluac j iPlanujàc ewaluacj´, nale˝y wziàç pod uwag´ nast´pujàce kwestie: r OkreÊlenie celów. Ogólne okreÊlenie, jakimi kwestiami ma si´ zajàç ewaluacja;

r Zakres ewaluacji. Co jest przedmiotem badania, jaki jest przedzia∏ czasowy,

który ma objàç ewaluacja;

r Moment badania ewaluacyjnego;

r OkreÊlenie odbiorców ewaluacji, czyli grupy osób i instytucji, do których b´dà kierowane

wyniki badania ewaluacyjnego, np. Narodowa Agencja Programu (NA), beneficjenci, lokalna

spo∏ecznoÊç, partnerzy. Kràg odbiorców uwarunkowany jest celem i rodzajem ewaluacji;

I .4

4.1

9

P od s t awowe i n f o rma c j e o ewa l u a c j i

r Identyfikacja dost´pnych danych wyjÊciowych;r Rozwiàzanie kwestii instytucjonalnych – wyznaczenie osób bezpoÊrednio

odpowiedzialnych za projekt, realizacj´ i nadzór nad ewaluacjà.

Planujàc ewaluacj´, nale˝y pami´taç, ˝e jej celem nie jest jedynie opisanie istniejàcegostanu, ale tak˝e przeprowadzenie osàdu wartoÊci na podstawie wymienionych wczeÊniejkryteriów ewaluacji.

Projektowanie ewaluacjiNa tym etapie uÊciÊlone sà decyzje z etapu planowania i powstaje konceptualizacja

badania. Polega to na sprecyzowaniu oczekiwaƒ, postawieniu szczegó∏owych pytaƒ

ewaluacyjnych oraz wymagaƒ niezb´dnych do prowadzenia ewaluacji.

Na proces ten sk∏ada si´:

r okreÊlenie, a raczej uszczegó∏owienie przedmiotu ewaluacji

r sformu∏owanie listy pytaƒ szczegó∏owych

r kodyfikowanie pytaƒ w formie zakresu zadaƒ, wymagaƒ i procedur prowadzenia dobrego

badania.

I

K r y t e r i um

TrafnoÊç(ang. Relevance)

SkutecznoÊç(ang. Effectiveness)

EfektywnoÊç(ang. Efficiency)

U˝ytecznoÊç(ang. Utility)

Op i s

Bada adekwatnoÊç celówi zastosowanych metodprogramu/projektu doproblemów, które projektmia∏ poruszyç

Bada stopieƒ realizacjizak∏adanych celów,skutecznoÊç u˝ytychmetod, zaanga˝owanychinstytucji oraz wp∏ywczynników zewn´trznychna ostateczne efekty

Bada relacje mi´dzynak∏adami, kosztami,zasobami (finansowymi,ludzkimi, administra-cyjnymi) a osiàgni´tymiefektami danejinterwencji

Jest swoistym powtórzeniemkryterium trafnoÊci.Stawia bowiem analogicznepytania, ale w innymmomencie czasowym (w trakcie lub pozakoƒczeniu realizacjiprogramu)

P r z y k ∏ a d owe p y t a n i a

Czy cele programu/projektuodpowiadajà zidentyfikowanympotrzebom? Czy obranastrategia jest spójnawewn´trznie?

Na ile zak∏adane celezosta∏y osiàgni´te?Jak silny by∏ wp∏ywczynników zewn´trznych?Jakie problemy napotka∏program?Czy wybrane instrumenty i rozwiàzania sà/by∏yodpowiednie?

Czy podobne efekty mo˝naosiàgnàç przywykorzystaniu innychinstrumentów? Czy podobneefekty mo˝na osiàgnàç przywykorzystaniu ni˝szychnak∏adów finansowych?

Czy program spe∏ni∏oczekiwania beneficjentów?Na ile zak∏adane i nieoczekiwane rezultatyby∏y satysfakcjonujàce dlabeneficjentów? Czy zrealizowana inicjatywapobudzi∏a inne dzia∏ania?

Z a s t o s owan i e

Ewaluacja wst´pna (ex ante), Êródokresowa(mid term), ciàg∏a (on going)

Ewaluacja wst´pna (ex ante), Êródokresowa(mid term), ciàg∏a (on going), koƒcowa (ex post)

Ewaluacja wst´pna (ex ante), Êródokresowa(mid term), ciàg∏a (on going), koƒcowa (ex post)

Ewaluacja ciàg∏a (on going), koƒcowa (ex post)

4.2

10


Realizacja ewaluacjiBadanie ewaluacyjne mo˝na podzieliç na 4 etapy. Przedstawia je poni˝sza tabela.

Etapy realizacji badania ewaluacyjnego

Realizacja badania koƒczy si´ sformu∏owaniem wniosków i rekomendacji.

RaportowanieRaport z ewaluacji jest podstawowà formà poinformowania o jej wynikach. JakoÊç raportu

oraz sposób jego upowszechnienia decydujà o skutecznoÊci i u˝ytecznoÊci ewaluacji, czyli o tym,

czy ewaluacja spe∏ni∏a swojà rol´, czy by∏a spe∏nieniem wymogów administracyjnych.

Struktura raportu ewaluacyjnego musi byç dostosowana do potrzeb instytucji zlecajàcej

badanie, tym niemniej mo˝na wskazaç elementy, które winny znaleêç si´ w ka˝dym raporcie.

Zestawiono je w poni˝szej tabeli.

Sta∏e elementy raportu ewaluacyjnego

E t a p

Strukturalizacja

Zbieraniedanych

Analiza

Ocena

C e l

Wybór i okreÊlenie kryteriów i elementów,które majà byç poddane ewaluacji

Zebranie materia∏ów niezb´dnych doanalizy

Interpretacja zebranych danych, oszacowanie efektów programu;Zestawienie i porównanie danych

Ocena efektów programu w odniesieniudo uprzednio sformu∏owanych pytaƒewaluacyjnych

Op i s

Wybór ten jest rozstrzygni´ty ju˝ na etapieplanowania, ale nale˝y wróciç do niego napoczàtku badania po to, by pewne rzeczyuÊciÊliç, dok∏adniej sprecyzowaç

Punktem wyjÊcia jest zebranie dokumentówdotyczàcych danego programu/projektu,(z monitoringu, dokumentów programowych,wyników wczeÊniejszych badaƒ).Pozosta∏e najcz´Êciej dane uzyskane sà z wywiadów, badaƒ ankietowych,obserwacji, studiów przypadków

Analiza w∏aÊciwa, czyli weryfikacjahipotez, analiza przyczynowo-skutkowaoraz oszacowanie efektów zarówno tychzamierzonych, jak i niezamierzonych

Analiza stopnia osiàgni´cia zak∏adanychcelów, analiza kosztów – korzyÊci, panelekspertów

4.3

4.4

Lp.

1

2

3

4

5

E l emen t

Przedmiot badaniaKontekst ewaluacji

Procedura badawcza

Wyniki badaƒ

Wnioski z ewaluacji

Rekomendacje

Ch a r a k t e r y s t y k a

Opis przedmiotu badania i okolicznoÊci towarzyszàcych badaniu

Omówienie koncepcji ewaluacji, jej zakresu i zastosowanej metodologii

Prezentacja zebranego materia∏u i kontekstu badanych problemów(informacja o zebranych danych, interpretacja danych, wyniki)

Podsumowanie badania z uwzgl´dnieniem specyfiki danego dzia∏ania,pokazujàc zarówno zalety, jak i s∏aboÊci

Przedstawienie mo˝liwych do wykonania dzia∏aƒ, wynikajàcych z doÊwiadczenia uzyskanego podczas ewaluacji

11

P o d s t awowe i n f o rma c j e o ewa l u a c j i

Grupa odbiorców ewaluacji mo˝e byç zró˝nicowana i dlatego te˝ formy raportu mogà byç bardzo ró˝ne, dostosowane do potrzeb odbiorcy. np.:

r druk,

r publikacja elektroniczna,

r prezentacja multimedialna,

r ustna prezentacja,

r seminarium.

Wykorzystanie wyników ewaluacjiDzia∏ania te powinny byç przedmiotem rozwa˝aƒ ju˝ na etapie projektowania ewaluacji.

Nale˝y pomyÊleç o strategii informacyjnej zwiàzanej z upowszechnieniem rezultatów w zale˝noÊci od potencjalnych odbiorców. Jej podstawowym elementem jest, do kogo i po

co raport ewaluacyjny ma dotrzeç. Najprostszà formà jest sporzàdzenie listy potencjalnych

odbiorców oraz podjćie decyzji o sposobie przekazania im raportu.

Podstawowe metody badaƒ ewaluacyjnych

Podczas realizacji ewaluacji najcz´Êciej stosuje si´ kilka metod badawczych. DoÊwiadczeni

ewaluatorzy uwa˝ajà, ˝e najlepsze rezultaty uzyskiwane sà przez ∏àczenie metod

iloÊciowych i jakoÊciowych. Pozwala to na uzupe∏nienie informacji zdobytych jednà metodà

– innymi. Ró˝norodnoÊç technik analizy i gromadzenia informacji, zwana triangulacjà,

pozwala lepiej poznaç i zrozumieç badany obiekt oraz pozwala na dokonywanie odniesieƒ

i porównaƒ. Triangulacja to zarówno ró˝norodnoÊç stosowanych metod, jak i wykorzystywanie

informacji z ró˝nych êróde∏, od ró˝nych grup respondentów. Pozwala to na poznanie punktu

widzenia wielu ró˝nych grup i daje szerszy materia∏ do oceny i wnioskowania. Zbierane

informacje mo˝emy podzieliç na dane pierwotne i wtórne oraz dane iloÊciowe i jakoÊciowe.

Sà to kategorie roz∏àczne, tak wić mogà istnieç na przyk∏ad iloÊciowe i jakoÊciowe dane

pierwotne.

r Dane pierwotneUzyskiwane sà bezpoÊrednio ze êród∏a ich pochodzenia i zbierane sà na potrzeby

prowadzonej ewaluacji. Nale˝à do nich wywiady, kwestionariusze, zogniskowane wywiady

grupowe, studia przypadków.

r Dane wtórneZosta∏y wczeÊniej zgromadzone i najcz´Êciej sà ju˝ przetworzone. Sà to wszystkie dane

dost´pne w chwili rozpoczćia badania (np. dokumenty programowe, raporty z wczeÊniejszych

ewaluacji, raporty z monitoringu, statystyki prowadzone przez ró˝ne urz´dy itp.).

r Dane iloÊcioweZebrane dane dotyczà informacji liczbowych. Dane iloÊciowe podlegajà analizie

statystycznej. Wnioskowanie statystyczne umo˝liwia weryfikowanie stawianych hipotez

w oparciu o posiadane dane.

r Dane jakoÊcioweDane jakoÊciowe nie sà wyra˝ane w liczbach, dotyczà opisu, poznania i zrozumienia

badanych zjawisk. Dane jakoÊciowe sà niezb´dne do w∏aÊciwej interpretacji informacji

liczbowych. JakoÊciowy charakter badaƒ k∏adzie nacisk na procesy i znaczenia, które nie

podlegajà Êcis∏ym rygorom tak jak w pomiarze iloÊciowym.

I

4.5

I .5

12


Poni˝ej przedstawione sà podstawowe metody zbierania danych i metody ich analizy, które

mogà byç zaadaptowane do ewaluacji projektów LdV. Nale˝à do nich: analiza dokumentów,

wywiady indywidualne, kwestionariusze, zogniskowane wywiady grupowe, obserwacja,

techniki grupowe.

r Analiza dokumentówWszelkiego rodzaju dokumenty wewn´trzne i zewn´trzne, wytyczne, raporty, dane

administracyjne, dostarczajà informacji na temat formalnych aspektów danego dzia∏ania.

Pozwalajà na poznanie za∏o˝eƒ danego przedsi´wzićia i osiàgni´tych wyników. Dostarczajà

informacji o planowanych lub realizowanych dzia∏aniach i ich rezultatach. Mimo ró˝no-

rodnoÊci informacji, które mo˝na uzyskaç, metoda ta stwarza ryzyko zbyt uproszczonej

interpretacji danych i pochopnych uogólnieƒ. Niektóre dane umieszczone w dokumentach

mogà byç „jednowymiarowe”, prezentujàc np. punkt widzenia realizatora projektu. Powinny

byç one weryfikowane poprzez informacje uzyskane z innych êróde∏.

r Wywiady indywidualneJest to metoda stosowana we wszystkich rodzajach i na wszystkich etapach ewaluacji. Jej

celem jest uzyskanie informacji jakoÊciowej, w szczególnoÊci opinii osób zaanga˝owanych

w dany program/projekt.

Formy wywiadu mogà byç ró˝ne, poczynajàc od nieformalnej rozmowy, poprzez wywiad

przeprowadzony w oparciu o dyspozycje do wywiadu (wywiad cz´Êciowo ustrukturyzowany)

do najbardziej formalnej formy, która polega na przygotowaniu skategoryzowanej listy

pytaƒ, a pytania zadawane sà w takiej samej formie i w takiej samej kolejnoÊci wszystkim

respondentom, (wywiad ustrukturyzowany). Wywiad taki stosuje si´, by zmniejszyç ró˝nice

w pytaniach zadawanych ró˝nym osobom, uzyskujàc przez to wi´kszà porównywalnoÊç

odpowiedzi.

Wywiad pozwala ewaluatorowi na poznanie wszystkich aspektów badanego przed-

si´wzićia. Mo˝e poruszaç skomplikowane i szczegó∏owe kwestie, a jednoczeÊnie daje

rozmówcy swobod´ wyra˝ania opinii w∏asnym j´zykiem i poruszania tematów wa˝nych

z jego punktu widzenia.

S∏abà stronà tej metody jest czasoch∏onnoÊç i wysoki koszt, a tak˝e doÊç czasoch∏onna

i doÊç skomplikowana analiza. Najcz´Êciej stosowana jest w ma∏ych projektach, obejmujàcych

niewielkà grup´ respondentów.

r KwestionariuszeMetoda ta pozwala na objćie badaniem du˝ej grupy respondentów, a jej realizacja i analiza

sà stosunkowo ∏atwe.

Metoda ta wymaga jednak bardzo starannego przygotowania wystandaryzowanego

kwestionariusza, który powinien zawieraç jasno sformu∏owane, precyzyjne i jednoznacznie

brzmiàce pytania. Im kwestionariusz jest bardziej wystandaryzowany, tym wićej jest w nim

pytaƒ zamkni´tych, na które respondenci odpowiadajà, dokonujàc wyboru spoÊród dost´pnych

odpowiedzi. Mniej wystandaryzowany kwestionariusz pozostawia respondentowi wi´kszà

swobod´ udzielania odpowiedzi, gdy˝ jest w nim wićej pytaƒ otwartych.

Wadà tej metody jest jej ma∏a elastycznoÊç. Niektóre wa˝ne kwestie mogà zostaç pomini´te,

gdy˝ w ankiecie mo˝e nie byç pytania, których dotyczà.

Metoda ta jest szczególnie przydatna w ewaluacji ex post i mid-term, gdy˝ jest wa˝nym

narz´dziem do poznania rezultatów i wp∏ywu programu/projektu.

13

P o d s t awowe i n f o rma c j e o ewa l u a c j i

r Zogniskowane wywiady grupowe (tzw. grupy fokusowe)Metoda ta ma form´ ustrukturyzowanej dyskusji, prowadzonej przez moderatora, którym

jest najcz´Êciej ewaluator. Uczestnikami dyskusji sà przedstawiciele grup zaanga˝owanych

w realizacj´ programu/projektu (realizatorzy, koordynatorzy, beneficjenci, partnerzy

spo∏eczni) w celu wzajemnej wymiany i konfrontacji opinii. Ma ona charakter uniwersalny

i mo˝e byç wykorzystywana we wszystkich rodzajach ewaluacji i na ka˝dym jej etapie.

r ObserwacjaObserwacja jest metodà zbierania danych poprzez uczestniczenie w czasie realizacji programu.

Pozwala to na lepsze zrozumienie kontekstu, w jakim realizowane sà dzia∏ania. Ewaluator poprzez

bezpoÊrednie zetknićie si´ z realizacjà programu/projektu mo˝e osobiÊcie przekonaç si´ jak

program funkcjonuje. Ewaluator mo˝e dostrzec zjawiska, które nie sà zauwa˝ane przez

uczestników projektu, lub kwestie dra˝liwe i konfliktowe, o których nie chcieliby oni mówiç.

Zjawisk tych nie mo˝na by zbadaç jedynie przy zastosowaniu ankiet i wywiadów.

r Techniki grupoweSà to techniki u˝ywane najcz´Êciej podczas szkoleƒ i spotkaƒ do zbierania informacji

zwrotnych od uczestników. Ich zaletà jest ∏atwoÊç przygotowania i ma∏a czasoch∏onnoÊç.

Metody te sà stosowane cz´sto przy prowadzeniu ewaluacji dotyczàcej przebiegu szkoleƒ.

Metody oceny

W koƒcowej fazie procesu ewaluacji stosuje si´ ró˝norodne metody, których celem jest

ocenianie efektów programu w odniesieniu do okreÊlonych kryteriów.

Najcz´Êciej stosowane to:

r Panel ekspertówMetoda ta polega na wykorzystaniu wiedzy szeregu niezale˝nych specjalistów w dziedzinie

obj´tej badaniem, którzy w oparciu o dost´pne dokumenty i dane oceniajà efekty

programu/projektu w kontekÊcie okreÊlonego kryterium ewaluacyjnego. Metoda ta jest

przydatna we wszystkich typach ewaluacji z wyjàtkiem projektów innowacyjnych.

r BenchmarkingBenchmarking jest ocenianiem efektów programu/projektu poprzez porównanie ich z

efektami podobnych dzia∏aƒ, które zosta∏y uznane i mogà s∏u˝yç jako przyk∏ad. W procesie

porównania identyfikowane sà silne i s∏abe strony programu/projektu oraz poszukiwane sà

nowe rozwiàzania, które mogà podnieÊç jakoÊç osiàganych celów. Metoda ta jest

wykorzystywana g∏ównie w ewaluacji ex-post. Mo˝na jà stosowaç tak˝e w przygotowywaniu

programów/projektów do realizacji

r Analiza SWOTAnaliza SWOT to analiza silnych (strenghts) i s∏abych (weaknesses) stron danego przedsi´-

wzićia oraz szans (opportunities) i zagro˝eƒ (threats), jakie wynikajà z czynników zewn´trznych.

Silne i s∏abe strony zostajà skonfrontowane z czynnikami, które sà poza kontrolà osób

odpowiedzialnych za realizacj´ przedsi´wzićia, a które w pozytywny (szanse) lub

negatywny (zagro˝enia) sposób mogà wp∏ywaç na wdra˝anie programu/projektu. Wa˝nà

sprawà jest wydzielenie czynników, które mogà wp∏ywaç na rozwijanie silnych stron

I

I .6

14


projektu, na eliminowanie lub ograniczanie stron s∏abych, wykorzystywanie istniejàcych

mo˝liwoÊci i pojawiajàcych si´ szans oraz unikni´cie przewidywanych zagro˝eƒ i niebezpieczeƒstw.

Zastosowanie analizy SWOT ma szczególne znaczenie w ewaluacji ex ante, gdy˝ pozwala na

lepsze zaplanowanie programu/projektu.

r Analiza kosztów i korzyÊciCelem tej analizy jest zbadanie, w jakim stopniu realizacja programu jest po˝àdana z punktu

widzenia potrzeb beneficjentów, sektora, kraju. Analizuje pozytywne i negatywne efekty

programu (tak˝e te potencjalne), przypisujàc im wartoÊç finansowà. Jest stosowana g∏ównie

w ewaluacji ex ante.

r Modele ekonometryczneModele makroekonomiczne wykorzystywane sà do oszacowania wp∏ywu pomocy na funkcjonowanie

ca∏ej gospodarki. Sà stosowane w ewaluacji ex ante i ex post du˝ych programów, obejmujàcych

swoim zasi´giem obszar regionu lub ca∏ego kraju.

Powiàzanie monitoringu i ewaluacji

Monitoring i ewaluacja stanowià powiàzanà grup´ zadaƒ i tworzà wspólny element realizacji projektu.

Monitoring jest ciàg∏ym procesem systematycznego zbierania i analizowania iloÊciowych

i jakoÊciowych informacji na temat wdra˝ania projektu w aspekcie finansowym i rzeczowym.

Ma na celu badanie zgodnoÊci realizacji projektu z jego za∏o˝eniami. Monitoring zbiera

i rejestruje „twarde” informacje, takie jak liczb´ i status beneficjentów bioràcych udzia∏

w projekcie, liczb´ modu∏ów szkoleniowych, godziny pracy personelu, stan realizacji

projektu. Monitoring nie jest jednak jednoznaczny z ewaluacjà.

Dane pochodzàce z monitoringu s∏u˝à do oceny prawid∏owoÊci realizacji projektu, wykorzystywane

sà w ewaluacji on going i do podejmowania w razie potrzeby dzia∏aƒ korygujàcych. Mogà te˝byç wykorzystane w ewaluacji koƒcowej projektu i spe∏niaç nast´pujàce zadania:

r zapewniç w∏aÊciwe i przejrzyste zarzàdzanie projektem,

r generowaç wskaêniki obrazujàce stopieƒ realizacji projektu,

r zawieraç dane finansowe zwiàzane z realizacjà projektu,

r zawieraç dane pochodzàce z ankietowania beneficjentów i innych uczestników projektu.

Mo˝na uwa˝aç, ˝e monitoring jest pierwotnym narz´dziem raportowania.

Sprawozdanie z monitoringu jest dokumentem przedstawiajàcym:

r aktualny stan i przebieg realizacji projektu,

r post´p w realizacji planu merytorycznego,

r wykorzystanie Êrodków finansowych oraz prognozy na nast´pny okres sprawozdawczy.

Zebrane dane same nie Êwiadczà o wartoÊci projektu. Muszà byç interpretowane. Mo˝na

wi´c potraktowaç monitoring jako zalà˝ek i po˝yteczny wk∏ad do ewaluacji, która ma

znacznie szerszy zakres. Ewaluacja wykorzystuje dane z monitoringu, by odpowiedzieç na

pytanie, co si´ wydarzy∏o, jak to si´ wydarzy∏o i czy osiàgni´to za∏o˝one w projekcie cele.

Ewaluacja bierze tak˝e pod uwag´ inne dzia∏ania, które nie mogà byç mierzone, liczone,

traktowane jako „twarde” fakty, np. poprawa w∏asnego wizerunku, nabranie pewnoÊci

siebie, zrozumienie kultury innego kraju itp.

I .7

15

Strategia ewaluacji projektówLeonardo da Vinci

Cele ewaluac j i pro jektów Leonardo da Vinc i

Program Leonardo da Vinci zainicjowany zosta∏ w 1994 roku, a jego druga fazarealizowana by∏a w latach 2000-2006. Obecnie realizowana, kolejna faza w ramachprogramu „Uczenie si´ przez ca∏e ˝ycie” zaplanowana jest na lata 2007-2013.

Na poczàtku programu zwracano uwag´ na jakoÊç raportu koƒcowego i sprawne

zarzàdzanie projektem. W ostatnich latach coraz cz´Êciej k∏adzie si´ nacisk na jakoÊç

projektów i ich rezultaty. Oznacza to, ˝e ewaluacja projektów sta∏a si´ wa˝nym elementem

ich realizacji. Podstawà do jej przeprowadzenia sà wytyczne zawarte w Decyzji Rady

i Parlamentu Europejskiego, ustanawiajàcej program „Uczenie si´ przez ca∏e ˝ycie”, a jej

ramy okreÊlone sà w „Zaproszeniu do sk∏adania wniosków” i „Ogólnym przewodniku dla

wnioskodawców”1. Dotyczà one zagadnieƒ, które ewaluacja powinna poruszaç, kryteriów,

jakie stosuje, oraz celów, jakie ma spe∏niaç. Wynika to z konstrukcji projektów programu

Leonardo da Vinci. KoniecznoÊç ewaluacji wynika z wytycznych, natomiast jej potrzeba

pojawia si´ z chći poznania wiedzy na temat rozwoju projektu, mo˝liwoÊci refleksji na

temat dzia∏aƒ projektu, osiàgni´ç, mo˝liwoÊci wykorzystania doÊwiadczeƒ z realizacji.

Podstawowym celem ewaluacji projektu jest potrzeba zbadania stopnia osiàgnićia celów

programu LdV, identyfikacji s∏abych stron projektu oraz wyciàgnićia wniosków na przysz∏oÊç.

Badanie ewaluacyjne powinno koncentrowaç si´ przede wszystkim na: kryteriach trafnoÊci

i spójnoÊci projektu, poprawnoÊci struktury logicznej projektu, w∏aÊciwym doborze wskaêników

pomiaru osiàgni´ç projektu.

Przedstawione w poprzednim rozdziale ogólne informacje na temat ewaluacji powinny byç

pomocnym elementem dla promotorów w opracowaniu odpowiedniej dla projektu metodologii

oraz podjćia kroków s∏u˝àcych ocenie swoich dzia∏aƒ, a tak˝e oceny wspólnych dzia∏aƒ

realizowanych w grupie partnerskiej.

Kilkuletnia ocena wniosków LdV MobilnoÊç sk∏adanych do NA pozwala na postawienie tezy,

˝e promotorzy nie przywiàzujà du˝ej wagi do zagadnienia ewaluacji, uwa˝ajàc, ˝e nie ma

ona zasadniczego znaczenia dla realizacji projektu. Niniejszy rozdzia∏ ma na celu wskazanie

na korzyÊci, które mo˝e przynieÊç ewaluacja. Zwrócono w nim uwag´ na te elementy

procesu ewaluacji, które sà najbardziej istotne dla osiàgnićia zamierzonych celów projektu,

oraz na te, które w dotychczasowych wnioskach by∏y najs∏abiej przygotowane.

Zaprezentowano tak˝e fragmenty niektórych wniosków, gdzie promotorzy w sposób jasny

i konkretny pokazali, jak bioràc pod uwag´ cele i zasady programu LdV oraz potrzeby

beneficjentów mo˝na przygotowaç dobry projekt, który jest ∏atwo „ocenny”, czyli zawiera

informacje, które mo˝na poddaç ewaluacji. Mamy nadziej´, ˝e publikacja stanie si´ tak˝e

zaczàtkiem dyskusji na temat, jak sformalizowane zasady ewaluacji mogà byç prze∏o˝one na

dzia∏ania praktyczne, wykorzystane w projektach Leonardo da Vinci.

I II I .1

1 Dokumenty te mo˝na znaleêç na stronach internetowych Narodowej Agencji Programu i Komisji EuropejskiejHttp://ec.europa.eu/education/programmes/IIp/index_en.html za wyjàtkiem formularza wniosku, który dost´pnyjest na stronach internetowych Narodowej Agencji: www.leonardo.org.pl.

Przygotowujàc ewaluacj´, nale˝y skoncentrowaç si´ na starannym opracowaniu procesu

ewaluacyjnego, nast´pnie na systematycznym Êledzeniu i ocenie prowadzonych dzia∏aƒ

i rezultatów projektu. Pozwoli to na zbadanie, czy i w jakim zakresie osiàgni´te b´dà

zaplanowane cele projektu.

Podstawowym warunkiem do takiej oceny jest jasne okreÊlenie celów projektu, pokazujàce

ich zgodnoÊç z celami programu Leonardo da Vinci i odnoszàce si´ do sformu∏owanych

priorytetów wspólnotowych i krajowych.

Cele szczegó∏owe programu Leonardo da Vinci na lata 2007-2013 okreÊlone w artykule 25.1.

Decyzji ustanawiajàcej program „Uczenie si´ przez ca∏e ˝ycie” sà nast´pujàce:

„Wspieranie uczestników kszta∏cenia i doskonalenia zawodowego w zdobywaniu

i wykorzystaniu wiedzy, umiej´tnoÊci i kwalifikacji majàcych na celu u∏atwienie

osobistego rozwoju; zwi´kszenie szans na zatrudnienie w Polsce i na europejskim

rynku pracy.

Wspieranie udoskonalenia jakoÊci i innowacyjnoÊci w systemach, instytucjach

i praktykach w dziedzinie kszta∏cenia i szkolenia zawodowego.

Zwi´kszanie atrakcyjnoÊci kszta∏cenia i szkolenia zawodowego, mobilnoÊci dla

pracodawców i uczestników indywidualnych oraz u∏atwianie mobilnoÊci pracujàcych

praktykantów”.

Cele operacyjne programu Leonardo da Vinci okreÊlone w artykule 25.2. Decyzji

ustanawiajàcej program „Uczenie si´ przez ca∏e ˝ycie” brzmià:

„Poprawa pod wzgl´dem iloÊciowym i jakoÊciowym ogólnoeuropejskiej mobilnoÊci

osób bioràcych udzia∏ w poczàtkowym etapie szkolenia i kszta∏cenia zawodowego oraz

w kszta∏ceniu ustawicznym, tak by zwi´kszyç liczb´ sta˝y w przedsi´biorstwach do co

najmniej 80.000 rocznie do koƒca okresu trwania programu.

Poprawa pod wzgl´dem iloÊciowym i jakoÊciowym wspó∏pracy pomi´dzy instytucjami

lub organizacjami oferujàcymi mo˝liwoÊci kszta∏cenia, przedsi´biorstwami, partnerami

spo∏ecznymi i innymi w∏aÊciwymi podmiotami w Europie.

U∏atwianie rozwoju innowacyjnych praktyk w dziedzinie szkolenia i kszta∏cenia

zawodowego na poziomie innym ni˝ szkolnictwo wy˝sze oraz przenoszenia ich

z jednego paƒstwa uczestniczàcego w programie do innych.

Poprawa stopnia przejrzystoÊci i uznawania kwalifikacji oraz kompetencji, w tym

nabytych w drodze kszta∏cenia pozaformalnego i nieformalnego.

Zach´canie do nauki nowo˝ytnych j´zyków obcych.

Wspieranie tworzenia innowacyjnych, opartych na nowych technologiach treÊci

nauczania, us∏ug, metodologii uczenia si´/nauczania oraz praktyk w zakresie uczenia

si´ przez ca∏e ˝ycie”.

W programie Leonardo da Vinci k∏adzie si´ du˝y nacisk na osiàganie celów jakoÊciowych,

nie tracàc z pola widzenia zaplanowanych w projekcie produktów i rezultatów. Bioràc pod

uwag´ jakoÊç wype∏nianych wniosków projektów mobilnoÊci, wydaje si´, ˝e poj´cia celów,

rezultatów i produktów wymagajà bli˝szego wyjaÊnienia. NajproÊciej wyjaÊnia to logika

16


17

S t r a t e g i a ewa l u a c j i p r o j e k t ów L e o n a r d o d a V i n c i

interwencji projektu, która ukazuje wewn´trzny zwiàzek przyczynowo-skutkowy mi´dzy

prowadzonymi w projekcie dzia∏aniami i fizycznie mierzalnymi ich rezultatami. Te z kolei

majà wp∏yw na osiàgnićie celu projektu. Osiàgnićie tego celu ma wprost przyczyniç si´ do

zdobycie celu ogólnego programu.

Mechanizm ten mo˝na przedstawiç w poni˝szy sposób:

Dzia∏ania VProdukty VRezultaty VCele projektu VCele programu

r Dzia∏ania (activities) w projekcie sà codziennoÊcià niewymagajàcà bli˝szego okreÊlenia,

nale˝y zwróciç jednak uwag´, czy mogà one doprowadziç do zamierzonego celu.

r Produkty (outputs) projektu sà to wszystkie przedmioty materialne powsta∏e w trakcie

realizacji projektu z zasobów przeznaczonych na dany projekt, tj. Êrodków finansowych oraz

zasobów ludzkich, materialnych i organizacyjnych. Produkty sà odzwierciedleniem post´pu

w realizacji danego dzia∏ania. Sà mierzone w jednostkach fizycznych (np. liczba szkoleƒ,

liczba osób, które otrzyma∏y nowe kwalifikacje).

r Rezultaty (results) sà bezpoÊrednimi efektami zrealizowanych dzia∏aƒ. Powinny byç

osiàgni´te w czasie trwania projektu i przyczyniajà si´ do osiàgnićia celów szczegó∏owych,

a poprzez nie celów ogólnych programu. Rezultaty dostarczajà informacji o zmianach, jakie

nastàpi∏y w wyniku wdro˝enia projektu. Sà mierzone w jednostkach fizycznych (lepsza

znajomoÊç j´zyka obcego, zapoznanie si´ z nowymi technologiami, opracowanie materia∏ów

dydaktycznych) lub jednostkach finansowych (zmniejszenie kosztów pracy, obni˝enie ceny

Êwiadczonej us∏ugi).

Rezultaty mogà byç zamierzone (zak∏adane w projekcie) lub niezamierzone (nieplanowane

w projekcie).

Rozró˝niamy tak˝e rezultaty twarde i mi´kkie.

r Rezultaty twarde sà to jasno zdefiniowane, policzalne korzyÊci, które osiàgnà∏ beneficjent

projektu (np. zdobycie nowych kwalifikacji, uzyskanie mi´dzynarodowego certyfikatu).

Rezultaty te sà ∏atwo rozpoznawalne i mierzalne.

r Rezultaty mi´kkie stanowià stadium przejÊciowe na drodze do osiàgnićia rezultatów

twardych. Mo˝na do nich zaliczyç: popraw´ umiej´tnoÊci, wzrost pewnoÊci siebie,

umiej´tnoÊç pracy w zespole, popraw´ umiej´tnoÊci komunikacyjnych. Istnieje du˝a

trudnoÊç w ich zdefiniowaniu oraz pomiarze, pomimo to mogà stanowiç g∏ówne rezultaty.

Pomiar ich ma szczególne znaczenie w ewaluacji projektów realizowanych w ramach

programu Leonardo da Vinci.

r Cel szczegó∏owy (specific objective) projektu to fizyczny, bezpoÊredni wp∏yw zrealizowanych

dzia∏aƒ/uzyskanych rezultatów na bezpoÊrednich beneficjentów, osiàgany po zakoƒczeniu

realizacji projektu. Miarà (wskaênikiem) osiàgnićia celu projektu jest informacja

o zmianach, jakie nastàpi∏y w wyniku wdro˝enia projektu u bezpoÊrednich beneficjentów

pomocy. Wskaêniki osiàgnićia celu szczegó∏owego mierzy si´ przewa˝nie jako wyraz

zmiany stanu negatywnego na lepszy w porównaniu ze stanem bazowym np. w %.

r Przez cele ogólne (overall objectives) projektu rozumie si´ d∏ugofalowe konsekwencje

zrealizowanego przedsi´wzićia dla bezpoÊrednich adresatów po zakoƒczeniu projektu,

a tak˝e poÊrednie konsekwencje dla innych adresatów.

Cele ogólne odnoszà si´ do konsekwencji danego projektu wykraczajàcych poza natychmiastowe

efekty dla bezpoÊrednich beneficjentów, np. wp∏yw projektu na sytuacj´ spo∏eczno-gospodarczà

I I

w pewnym okresie od zakoƒczenia jego realizacji, innowacyjnoÊç w treÊciach nauczania lub

programach praktyk, wzrost poziomu poczucia bezpieczeƒstwa, wzrost aktywnoÊci spo∏eczno-

ekonomicznej.

Wp∏yw (outcome, impact) jest efektem zrealizowanego projektu w d∏u˝szej perspektywie

czasowej. Szacowanie wp∏ywu dostarcza informacji o zmianach, jakie nastàpi∏y wskutek

wdro˝enia projektu. Wp∏yw odnosi si´ równie˝ do rezultatów i osiàgnićia celów ca∏ego programu.

Dobre zrozumienie celów programu Leonardo da Vinci obrazuje wniosek projektu

zaakceptowanego w przesz∏oÊci do realizacji:

„Projekt realizuje jeden z celów Europejskiej Strategii Zatrudnienia, jakim jest

równoÊç szans w zakresie dost´pu do pracy. Cz∏onkostwo Polski w Unii Europejskiej

stawia przed naszym paƒstwem znaczàce wyzwania modernizacyjne. Sà one na-

st´pstwem koniecznoÊci przyjćia dorobku prawnego wspólnoty i wysokich

standardów realizacyjnych. Zgodnie z obowiàzujàcym w Polsce i Unii Europejskiej

prawem ˝ywnoÊciowym wszystkie przedsi´biorstwa dzia∏ajàce w szeroko rozumianej

bran˝y spo˝ywczej sà zobowiàzane wdro˝yç i stosowaç system Analizy i Zagro˝eƒ

Krytycznych Punktów Kontroli HACCP. Prawodawstwo wymaga tak˝e stosowania

standardów GMP (Dobrej Praktyki Produkcyjnej) oraz HGP (Dobrej Praktyki Higienicznej).

Projekt stwarza m∏odzie˝y mo˝liwoÊç zapoznania si´ z europejskimi standardami

pracy w krajach, w których obowiàzujà one ju˝ od wielu lat. Niweluje jednoczeÊnie

przeszkody zwiàzane z mobilnoÊcià zawodowà, którymi sà s∏aba znajomoÊç j´zyków

obcych i brak przejrzystoÊci kwalifikacji. Projekt odpowiada równie˝ na potrzeby

krajowe zawarte w strategii województwa, a zwiàzane z podniesieniem poziomu

jakoÊci i efektywnoÊci kszta∏cenia”.

Cele innego projektu zosta∏y zdefiniowane w nast´pujàcy sposób:

„Wprowadzenie innowacji w zakresie nauczania j´zyka obcego dla potrzeb

zawodowych na kierunku…

Udoskonalenie procesu nauczania pod kàtem przydatnoÊci dla absolwentów

podejmujàcych prac´ w ró˝nych krajach UE.

Wymiana doÊwiadczeƒ w zakresie programu nauczania, metodyki nauczania,

rozk∏adu materia∏u wniesie nowe spojrzenie na programy j´zykowe realizowane

w naszym kraju.

W projekcie wezmà udzia∏ lektorzy j´zyka angielskiego prowadzàcy zajćia na

kierunku... G∏ówny cel to rozwój zawodowy beneficjentów poprzez poznanie nowych

metod kszta∏cenia nowych technik nauczania na ww. kierunku. Istnieje potrzeba

dopasowania sposobu prowadzenia lektoratów na tym kierunku do tendencji

ogólnoeuropejskich: nauczania j´zyka obcego dla konkretnych zawodów w celu

podniesienia konkurencyjnoÊci naszych absolwentów na mi´dzynarodowym rynku

pracy oraz zwi´kszenia ich mobilnoÊci. Oczekuje si´, ˝e wymiana doÊwiadczeƒ

lektorów j´zyków zaowocuje wprowadzeniem nowych metod na lektoratach wszystkich

tych uczelni, pozwoli te˝ na nawiàzanie kontaktów mi´dzy ich wyk∏adowcami

i m∏odzie˝à, poznawanie i przenikanie si´ ró˝nych kultur.

18


19


Z dostosowania metod nauczania na uczelni w kraju do europejskich standardów

skorzysta m∏odzie˝ na niej studiujàca – w du˝ym procencie osoby z ma∏ych

miejscowoÊci i zaniedbanych kulturowo obszarów. Zwi´kszy to ich szanse na

pomyÊlnà karier´ zawodowà.

Porównanie procesu kszta∏cenia i programów przyczyni si´ do wykreowania nowych

pomys∏ów.

Analiza programów nauczania pozwoli na nawiàzanie wspó∏pracy i realizacj´

wymiany studentów i nauczycieli, w tym do projektów badawczych”.

KorzyÊci z dobrze zaplanowanej i przeprowadzonej ewaluacji

Osiàgnićie za∏o˝onych celów projektu nie jest zadaniem ∏atwym. Idea programu zak∏ada, ˝e

ka˝dy projekt powinien przyczyniç si´ do podniesienia jakoÊci szkolenia i kszta∏cenia

zawodowego w Europie. Mo˝liwe jest to poprzez uzyskanie wysokiej jakoÊci rezultatów

projektu. Systematyczna, dobrze zaplanowana i prowadzona ewaluacja jest wa˝nym

narz´dziem pomagajàcym w:

r zaplanowaniu projektu,

r w monitorowaniu projektu (przez Promotora i NA),

r w identyfikacji s∏abych i mocnych stron projektu, zarówno w zakresie organizacji,

jak i rezultatów projektu,

r w opracowaniu raportów okresowych i koƒcowego,

r w wykorzystaniu rezultatów oraz uniknićiu b∏´dów przy realizacji przysz∏ych projektów,

r w zaplanowaniu strategii upowszechnienia rezultatów.

Ewaluacja mo˝e byç prowadzona w bardzo ró˝norodny sposób, w zale˝noÊci od rodzaju

projektu, okreÊlonego celu, czasu, zakresu badania. Nie ma jednej gotowej recepty dla

wszystkich ewaluacji. Ka˝dy projekt jest inny, niepowtarzalny, a wić i ewaluacja wymaga

indywidualnego podejÊcia. Tym niemniej muszà byç spe∏nione podstawowe zasady

odnoszàce si´ do wszystkich typów ewaluacji. Nale˝à do nich: planowanie ewaluacji,

zbieranie i analiza danych oraz ich interpretacja w celu okreÊlenia osiàgni´ç projektu lub

jego s∏abych punktów.

Promotor zanim podejmie decyzje o ewaluacji, powinien rozwa˝yç nast´pujàce kwestie:

r Dlaczego i kiedy musi byç prowadzona ewaluacja?

(To powinno byç rozwa˝one, zanim partnerzy projektu zdecydujà si´ na wspó∏prac´)

r Co ma byç przedmiotem ewaluacji? Proces, program, wybrany obszar?

r W jaki sposób i przez kogo b´dzie przeprowadzona ewaluacja?

Kiedy powinniÊmy prowadziç ewaluacj´ projektu?

Ewaluacja projektów Leonardo da Vinci powinna odbywaç si´ przed rozpoczćiem dzia∏aƒ

(ex ante) w trakcie realizacji projektu (ocena bie˝àca – on going) i po zakoƒczeniu (ex post).

Z za∏o˝enia ewaluacja ex ante prowadzona jest przez Narodowà Agencj´ Programu i ma na

celu selekcj´ wybranych do realizacji projektów.

I I

I I .2

I I .3

By mieç pewnoÊç, ˝e wniosek zostanie zaakceptowany do realizacji, promotorzy powinni

rozpoczàç planowanie ewaluacji niemal równoczeÊnie z podj´ciem prac nad realizacjà projektu.

Prowadzona przez promotora ewaluacja ex ante mo˝e pomóc w planowaniu i projektowaniu

wniosku i mo˝e ustaliç etapy ewaluacji w czasie trwania ca∏ego cyklu projektu. Powinna byç

zakoƒczona przed z∏o˝eniem wniosku do Narodowej Agencji Programu.

Nale˝y pami´taç, ˝e wniosek nadajàcy si´ do oceny powinien jasno i konkretnie odnosiç si´

do potrzeb, na które odpowiada program. Cele projektu muszà byç zasadne, realistyczne

i spójne ze wszystkimi elementami projektu. Promotor musi przekonaç NA, ˝e jest w stanie

ten projekt zrealizowaç. Dokumentami pomocnymi b´dà wytyczne zawarte we wniosku oraz

„Przewodniku dla wnioskodawców”. Nale˝y bardzo uwa˝nie przeÊledziç kryteria jakoÊciowe

zawarte we wniosku i w oparciu o nie oceniç jakoÊç przygotowanej propozycji. Mo˝na to

zrobiç, wykorzystujàc np. analiz´ SWOT lub list´ kontrolnà do oceny jakoÊci projektu. W obu

przypadkach oprócz klasycznych wymiarów ewaluacji takich jak trafnoÊç, skutecznoÊç,

efektywnoÊç, u˝ytecznoÊç, trwa∏oÊç nale˝y koncentrowaç si´ na procesie, ocenie metod

realizacji dzia∏aƒ, mo˝liwoÊci w∏àczenia zaproponowanych dzia∏aƒ do polityki regionalnej

lub krajowej, sposobie upowszechnienia dobrych praktyk. Mo˝na tu kierowaç si´

wskazówkami odnoszàcymi si´ do ewaluacji ex post, zadajàc sobie pytanie, czy tak

zaplanowane dzia∏ania przyniosà zamierzone rezultaty i czy wniosek zawiera konkretne

informacje b´dàce podstawà do oceny. Cennà pomocà jest przeczytanie i ocena wniosku

przez osoby, które b´dà zaanga˝owane w realizacj´ projektu, ale nie bra∏y czynnego udzia∏u

w jego przygotowaniu.

Ewaluacja bie˝àca ma na celu Êledzenie rozwoju poszczególnych etapów projektu

i pomoc w jego lepszej realizacji. Polega na systematycznej ocenie poszczególnych faz projektu

lub okreÊlonych zadaƒ. Pozornie zajmuje ona du˝o czasu, ale nale˝y pami´taç, ˝e jeÊli jest

prowadzona systematycznie, daje gotowy materia∏ do ewaluacji koƒcowej. Materia∏ do ewaluacji

∏atwiej jest zebraç „na goràco”, gdy˝ pod koniec projektu o wielu rzeczach si´ nie pami´ta.

Prowadzàc ewaluacj´ bie˝àcà projektu, nale˝y wziàç pod uwag´ nast´pujàce aspekty:

1 Zarzàdzanie projektem, jego struktur´ i planowanie,

2 T∏o projektu i sytuacj´ wyjÊciowà,

3 Zadeklarowane cele projektu,

4 Sposób osiàgni´cia za∏o˝onych celów,

5 Feedback – informacje zwrotne na temat poszczególnych etapów

realizacji projektu.

1 Zarzàdzanie projektem, jego struktura i planowanie

Zarzàdzanie i struktura projektu to podstawowy aspekt, który winien byç poddawany ocenie

wst´pnej, bie˝àcej i koƒcowej. Powinna ona dotyczyç nast´pujàcych elementów:

r Planowanie poszczególnych etapów,

r Etapy procesu zarzàdzania, ∏àcznie z „pakietami roboczymi”,

r Zaplanowany harmonogram,

r Podzia∏ zadaƒ,

20


21

r Podzia∏ odpowiedzialnoÊci,

r Monitorowanie post´pów:

a. wykonanie zadaƒ,

b. wykonanie bud˝etu,

r Upowszechnianie informacji.

Podstawowe pytania ewaluacyjne, jakie mo˝na postawiç, to:

r Czy zaplanowany sposób zarzàdzania i struktura projektu sprawdzajà si´ w dzia∏aniu?

r Czy sà efektywne?

r Czy sà ekonomicznie uzasadnione?

Sposób zarzàdzania ma zasadniczy wp∏yw na skutecznoÊç i efektywnoÊç projektu,

dlatego zagadnienie to b´dzie szerzej omówione w dalszej cz´Êci opracowania.

2 T∏o projektu i sytuacja wyjÊciowaZ punktu widzenia ewaluacji opis sytuacji wyjÊciowej jest materia∏em bazowym, w oparciuo który mo˝na zmierzyç rezultaty projektu. Powinna ona byç jasno i przekonywajàcoopisana w propozycji projektu, bàdê w momencie jego rozpoczynania, po to by póêniejmo˝na by∏o okreÊliç osiàgni´cia projektu.

Z punktu widzenia ewaluacji wa˝ne pytania dotyczà takich kwestii jak:

r W jaki sposób okreÊlono sytuacj´ wyjÊciowà?r Czy wszyscy partnerzy projektu byli z nià zapoznani?r Jakie aspekty projektu by∏y brane pod uwag´ w opisie sytuacji wyjÊciowej (grupy

docelowe, treÊci szkolenia, innowacyjne metody szkolenia)?

W jednym ze zrealizowanych ju˝ projektów w taki sposób opisano sytuacj´ wyjÊciowà, a tak˝e potrzeby beneficjentów:

„M∏odzie˝ koƒczàca nauk´ w szkole zalicza si´ do grup defaworyzowanych na rynkupracy. Wià˝e si´ to z niewielkà iloÊcià doÊwiadczenia zawodowego m∏odychpracowników wchodzàcych na rynek pracy oraz brakiem funduszy na dokszta∏caniezawodowe. Pracodawcy ˝àdajà bowiem okazania si´ doÊwiadczeniem w bran˝y,cz´sto nawet w bran˝ach zbli˝onych. Z tego faktu wynika zalecenie o potrzebiewzmocnienia kszta∏cenia praktycznego w okresie nauki szkolnej oraz wykorzystaniafunduszy unijnych na dzia∏alnoÊç edukacyjnà przez ca∏e ˝ycie. Programy nauczania,zw∏aszcza w szko∏ach samorzàdowych oraz paƒstwowych zawierajà niewielkie iloÊcizaj´ç praktycznych: zaj´cia warsztatowe w jednym roku nauki oraz cztero-tygodniowà praktyk´. Wi´ksza iloÊç zaj´ç praktycznych nie mo˝e byç brana poduwag´ ze wzgl´dów programowo-finansowych. W tej sytuacji bardzo dobrymwyjÊciem jest uczestnictwo uczniów w sta˝ach zagranicznych, przede wszystkim zaÊw projekcie Leonardo da Vinci. Uczeƒ zyskuje tu dodatkowà praktyk´, co jest jegowartoÊcià dodanà i zwi´ksza szans´ na uzyskanie zatrudnienia, gdy˝ w wi´kszymstopniu spe∏nia oczekiwania potencjalnego pracodawcy. Wdra˝a si´ te˝ dokszta∏cenia przez ca∏e ˝ycie. Uzyskuje równie˝ wiele innych korzyÊci, takich jak:europejski wymiar swojego kszta∏cenia, trening w zakresie stosowania zawodowegoj´zyka obcego, certyfikat Europass-Mobility. Powy˝sze korzyÊci chocia˝ w pewnymstopniu poprawià sytuacj´ m∏odego pracownika na rynku pracy i zwi´kszà jegoszanse na zdobycie zatrudnienia”.

I I S t r a t e g i a ewa l u a c j i p r o j e k t ów L e o n a r d o d a V i n c i

3 Zadeklarowane cele projektuW propozycji wniosku cele projektu w wyraêny sposób muszà si´ odnosiç do celów

i priorytetów programu Leonardo da Vinci oraz okreÊlonych priorytetów narodowych. Im bardziej

konkretnie sà te cele opisane, tym projekt jest ∏atwiejszy do ewaluacji.

Ewaluacja bie˝àca powinna polegaç nie tylko na Êledzeniu realizacji okreÊlonych dzia∏aƒ,

ale przede wszystkim na tym, czy te dzia∏ania zmierzajà do osiàgnićia zamierzonych celów.

Takie podejÊcie zwi´ksza szanse na to, ˝e projekt b´dzie w sposób skuteczny zmierza∏

w okreÊlonym kierunku. Ewaluacja bie˝àca pozwala na wychwycenie niekorzystnych sytuacji

i dokonanie zmian w projekcie, jeÊli nie zmierza on do uzyskania za∏o˝onych rezultatów.

OczywiÊcie w niektórych przypadkach wymaga to zmiany umowy z Narodowà Agencjà

Programu. By móc to uczyniç, nale˝y mieç poparte faktami uzasadnienie. Najcz´Êciej

dyskwalifikowane wnioski to te, w których zaznaczono kilka celów projektu, które w rzeczywistoÊci

nie sà adekwatne do potrzeb beneficjentów oraz w ogóle nie ma do nich odniesienia w treÊci

wniosku. O wartoÊci wniosku nie Êwiadczy liczba okreÊlonych celów.

Pytania ewaluacyjne dotyczàce celów projektu mogà dotyczyç np. tego:

r Czy cele projektu przedstawione we wniosku opisane by∏y w sposób jasny, pozwalajàcy

na okreÊlenie dzia∏aƒ, poprzez które mogà byç osiàgni´te?

r Czy wszyscy partnerzy projektu jednakowo rozumieli cele projektu?

r Czy realizujàc projekt, partnerzy brali pod uwag´ odpowiednie kryteria jakoÊci,

warunkujàce osiàgnićie zamierzonych celów?

r Jakie sugestie lub po˝yteczne wnioski mo˝na wykorzystaç w przysz∏oÊci przy okreÊlaniu

celów projektu?

4 Sposób osiàgnićia za∏o˝onych celów

Po opisaniu sytuacji wyjÊciowej i celów projektu nale˝y rozwa˝yç, w jaki sposób mo˝na

doprowadziç do zamierzonych zmian. OczywiÊcie jest to przedstawione w propozycji wniosku,

ewaluacja bie˝àca ma jednak za zadanie systematyczne badanie, czy zaplanowane dzia∏ania

i metody sà stosowane, czy sprawdzajà si´ w praktyce, jakie mo˝na podjàç dzia∏ania

usprawniajàce.

Pomocne w tym mogà byç poni˝sze przyk∏adowe pytania ewaluacyjne:

r Na jakim etapie realizacji jest projekt?

r Czy etap ten jest realizowany w zaplanowanym czasie?

r Jak metody pracy przedstawione we wniosku realizowane sà w praktyce?

r Czy zaplanowane dzia∏ania sà odpowiednie do osiàgnićia celów projektu? JeÊli nie,

to dlaczego i jakie zmiany powinny byç dokonane?

r Którzy partnerzy sà w∏àczeni w realizacj´ projektu?

r Jakie by∏y ich role i zadania w projekcie? Czy opisane by∏y w sposób dok∏adny

i przejrzysty?

r Czy wype∏niali w∏aÊciwie swoje zadania?

r JeÊli nie, kto si´ nie wywiàzywa∏ ze swoich zobowiàzaƒ i dlaczego?

r Czy zadania, których si´ podj´li, by∏y odpowiednie do ich kompetencji?

r Czy by∏y realistyczne?

r Jaki by∏ stosunek partnerów do ich zaanga˝owania w projekcie?

r Jaka by∏a atmosfera w grupie partnerskiej?

r Czy komunikacja pomi´dzy wszystkimi uczestnikami projektu by∏a efektywna?

r JeÊli nie, to dlaczego?

22


23


r Czy bariery j´zykowe utrudnia∏y komunikacj´ mi´dzy uczestnikami projektu?

r Jakie rozwiàzania zastosowano, by pokonaç bariery j´zykowe?

r Jak mo˝na ulepszyç prac´, by uzyskaç lepsze efekty?

Poni˝ej przedstawiony jest przyk∏ad ewaluacji bie˝àcej badajàcej sposób osiàgania

zamierzonych celów projektu. Zgodnie z wytycznymi w formularzu wniosku przedstawiono

procedur´ oraz metody ewaluacji.

„Za ewaluacj´ projektu odpowiedzialni b´dà: mened˝er projektu oraz przedsta-

wiciele instytucji przyjmujàcych. Pozwoli to na zidentyfikowanie i ocen´ celów

przedsi´wzićia, sposobu jego realizacji oraz zamierzenia na przysz∏oÊç. Umo˝liwi to

zidentyfikowanie ewentualnej koniecznoÊci modyfikacji w przyj´tym programie

sta˝u oraz zwi´kszy efektywnoÊç realizacji priorytetów projektu.

Ewaluacja skoncentrowana b´dzie na jakoÊciowym oszacowaniu realizacji przy-

j´tych celów projektu.

Bie˝àca ocena przedsi´wzićia b´dzie polega∏a na kontroli nast´pujàcych obszarów:

r rekrutacja beneficjentów,

r przygotowanie j´zykowo-kulturowo-pedagogiczne,

r organizacja sta˝u,

r zgodnoÊç przebiegu sta˝u z przyj´tym programem,

r post´py beneficjentów,

r realizacja i osiàganie za∏o˝onych celów,

r wydatki finansowe,

r promocja i upowszechnianie rezultatów.

Podstawowymi metodami i narz´dziami ewaluacyjnymi b´dà: raporty beneficjentów

i opiekunów, spotkania ewaluacyjne podczas realizacji sta˝u, obserwacje, ankiety

dla beneficjentów i ich rodziców.

Ankiety przygotowane zostanà przez mened˝era i koordynatora projektu.

Podczas realizacji sta˝u Promotor b´dzie utrzymywa∏ sta∏à ∏àcznoÊç z Partnerami za

poÊrednictwem poczty elektronicznej oraz ∏àczy telefonicznych”.

Jakkolwiek zaprezentowana strategia nie jest modelowa, pozwala jednak przypuszczaç, ˝e

by∏a odpowiednia dla potrzeb opisanego projektu i spe∏ni∏a swoje za∏o˝enia.

5 Feedback – informacje zwrotne na temat poszczególnych etapów realizacjiprojektu

W projektach partnerskich, jakimi sà projekty Leonardo da Vinci, dzielenie si´ uzyskanymi

informacjami, obserwacjami, sugestiami i problemami na temat przebiegu realizacji

projektu jest niezb´dne, gdy˝ przyczynia si´ do lepszej jakoÊci produktów i osiàgnićia

rezultatów projektu. Ma du˝y wp∏yw na zwi´kszenie zaanga˝owania partnerów w realizacj´

projektu lub wprowadzenie w nim zmian.

Zebrane informacje sà bardzo dobrym tematem na spotkania wykonawców projektu. Nie

zawsze proponuje si´ na nich wprowadzenie zmian, ale dyskusja nad przebiegiem projektu

jest wyrazem odpowiedzialnoÊci za jego realizacj´.

I I

Oto przyk∏adowe pytania ewaluacyjne:

r Czy przewidziano w propozycji wniosku spotkania informacyjne nt. realizacji

poszczególnych etapów projektu?

r Czy odnosi∏y si´ one do procesu i programu merytorycznego, czy tylko do jednego elementu?

r Czy odby∏o si´ do tej pory jakieÊ spotkanie? JeÊli tak, jakà mia∏o form´, i kto bra∏ w nim

udzia∏?

r Czy w wyniku tego wprowadzono jakieÊ zmiany?

r Czy by∏y one konstruktywne?

r Czy w wyraêny sposób prowadzà do poprawy zarówno sposobu realizacji projektu,

jak i rezultatów?

r Czy i w jaki sposób spotkanie informacyjne wp∏yn´∏o na wspó∏prac´ partnerów?

Ewaluacja ex post – po zakoƒczeniu projektuEwaluacja koƒcowa projektu w du˝ej mierze powinna wykorzystywaç wyniki ewaluacji

bie˝àcej, gdy˝ zawierajà one szereg odpowiedzi na pytania ewaluacyjne stawiane w ewaluacji

koƒcowej. Pozwolà one na przeprowadzenie ewaluacji koƒcowej w stosunkowo szybkim

czasie. Odpowiedzi na zadane na wczeÊniejszych etapach projektu pytania dotyczy∏y

g∏ównie przebiegu realizacji projektu, udzia∏u partnerów i sposobu osiàgania zamierzonych celów.

Prowadzàc ewaluacj´ koƒcowà, nale˝y poÊwićiç tak˝e uwag´ rezultatom wynikajàcym

z realizacji programu szkoleniowego.

Celem ewaluacji koƒcowej jest wyciàgnićie wniosków na temat zaplanowania, realizacji

i stopnia osiàgnićia za∏o˝onych rezultatów projektu w Êwietle zaplanowanych celów. Sà

one podstawà do opracowania raportu koƒcowego i materia∏ów informacyjnych na temat

rezultatów projektu oraz stopnia osiàgnićia zamierzonych celów. Przeprowadzenie tylko

ewaluacji koƒcowej nie spe∏nia wszystkich celów ewaluacji projektu Leonardo da Vinci, gdy˝

nie ma ona wp∏ywu na popraw´ jakoÊci realizowanego projektu, a wnioski i rekomendacje

nie zawsze mogà byç wykorzystane w przysz∏oÊci.

Planowanie ewaluacji

Przyst´pujàc do planowania ewaluacji, nale˝y wziàç pod uwag´ nast´pujàce kwestie wynikajàce

z samej definicji i roli ewaluacji:

r PrzydatnoÊç ewaluacji, rozumianà jako jej u˝ytecznoÊç dla beneficjentów projektu;

r WykonalnoÊç ewaluacji, uwzgl´dniajàcà ramy czasowe oraz ograniczenia finansowe,

a tak˝e wynikajàcy z nich zakres i szczegó∏owoÊç prowadzonych analiz;

r EtycznoÊç realizacji badania, odnoszàcà si´ przede wszystkim do sposobu uzyskiwania

i wykorzystywania informacji oraz obiektywizmu ewaluatora;

r PoprawnoÊç metodologiczna – prowadzenie badania wed∏ug przyj´tych zasad, które

zapewnià wysokà jakoÊç i wiarygodnoÊç uzyskanych wyników.

Ogólne zasady planowania ewaluacji zosta∏y omówione w poprzednim rozdziale.

Jedno z pierwszych pytaƒ, które nale˝y zadaç sobie przy planowaniu ewaluacji, brzmi:

po co jà przeprowadzamy? Odpowiedê na nie pozwoli na okreÊlenie celów ewaluacji.

Odbiorcami ewaluacji projektu sà przede wszystkim sami jego realizatorzy. Wyniki ewaluacji

b´dà te˝ interesowaç Narodowà Agencj´ Programu, inne instytucje i organizacje. Raport

z ewaluacji b´dzie te˝ cennym êród∏em informacji w ewaluacjach prowadzonych przez NA.

24


I I .4

25


Co ma byç przedmiotem ewaluacji? Decyzja, co ma byç poddane ewaluacji, w du˝ej mierze zale˝y od charakteru i rozmiaru

projektu. Wybór przedmiotu ewaluacji zale˝y od problemów, które powinny zostaç zbadane.

Ka˝dy projekt powinien posiadaç w∏asnà, dostosowanà do potrzeb strategi´ ewaluacji.

Projekty mobilnoÊci Leonardo da Vinci zazwyczaj nie majà z∏o˝onego charakteru i z zasady

wszystkie aspekty zwiàzane z ich realizacjà mogà byç obj´te ewaluacjà. Gdy nie jest to

mo˝liwe, nale˝y skupiç si´ na ewaluacji wybranego obszaru (np. osiàgnićie za∏o˝onych

celów). Dwa najwa˝niejsze elementy projektu, które winny byç uwzgl´dnione w ka˝dej

ewaluacji, to:

r Produkty (output) – co zosta∏o zrobione;

r Proces (process) – w jaki sposób to osiàgni´to.

Ewaluacja tych dwóch elementów pozwoli na pe∏ne zrozumienie projektu i jego osiàgni´ç

lub niepowodzeƒ.

Tak jak wspomniano powy˝ej, promotor decyduje o wyborze obszarów ewaluacji. Pomocne

w tym mogà byç kryteria, którymi kieruje si´ Narodowa Agencja Programu przy ocenie

wniosków. Odzwierciedlajà one struktur´ i format formularza wniosku, w którym jest wiele

rad i wskazówek. Skupienie uwagi na najistotniejszych kwestiach zawartych w formularzu

b´dzie podstawà do sformu∏owania pytaƒ badawczych. Formu∏ujàc pytanie badawcze,

nale˝y zadaç sobie pytanie, co wykonaliÊmy i w jaki sposób? Sformu∏owanie okreÊlonych

pytaƒ pociàga za sobà koniecznoÊç doboru odpowiednich metod badawczych. Zale˝à one

w du˝ej mierze od potrzeb konkretnego projektu i w taki sposób nale˝y patrzeç na metodologi´.

W wielu wnioskach ma∏ych projektów przedstawiona jest niemal akademicka metodologia

prowadzenia ewaluacji, ale z takiego wniosku mo˝na sàdziç, ˝e promotor nie poÊwići∏

ewaluacji wiele troski, po prostu przepisa∏ podrćznikowe zasady, które nie by∏y dostosowane

do potrzeb projektu. Cz´sto ewaluacj´ planujà firmy konsultingowe, które nie znajà specyfiki

projektu. Pomimo ˝e metodologia jest bardzo poprawna, ewaluacja taka nie b´dzie u˝yteczna.

Taki projekt nie uzyska pozytywnej oceny.

Poni˝ej przedstawiony jest przyk∏ad ewaluacji uwzgl´dniajàcej najwa˝niejsze elementy projektu:

„Ewaluacja projektu odbywaç si´ b´dzie na wszystkich jego etapach, a poprowadzà

jà osoby wyznaczone z beneficjentów oraz opiekunów obydwu organizacji. Tak

szeroka reprezentacja zajmujàca si´ dzia∏aniem oraz d∏ugi czas jej trwania podyktowane

sà wa˝noÊcià kwestii ewaluacji i jej du˝ego wp∏ywu na jakoÊç koƒcowego efektu

prac. Ca∏oÊç prac koordynowa∏ b´dzie promotor projektu. Ocenie ewaluacyjnej

podlega∏y b´dà nast´pujàce elementy: jakoÊç i efekty przygotowania beneficjentów

do sta˝u, trafnoÊç procesu upowszechniania projektu, zgodnoÊç tematyki sta˝u

z uprzednio zawartà umowà, przyrost wiedzy beneficjentów, wartoÊç dodana, jakoÊç

i ocena zaj´ç, organizacja transportu i warunków pobytu na sta˝u. Sposób prowadzenia

ewaluacji uzale˝niony b´dzie od rodzaju ewaluowanej cechy. B´dzie to zatem

kontrola przeprowadzonych dzia∏aƒ przygotowania pedagogicznego, kulturowego

i j´zykowego, zbieranie trwa∏ych efektów (wycinki gazet, taÊmy z nagraniami)

procesu upowszechniania, porównanie tematyki faktycznie odbytych zaj´ç z tematykà

okreÊlonà umowà, rozmowa z beneficjentami na tematy merytoryczne sta˝u,

I II I .5

okreÊlenie tematów, które zostanà przez uczniów wskazane jako zupe∏na nowoÊç.

Uczestnicy zostanà zobligowani do wype∏nienia kwestionariusza ankiety, w której

opiszà swe ogólne wra˝enia z pobytu na sta˝u, organizacj´ partnera, korzyÊci, jakie

wynieÊli z uczestnictwa, oraz w∏asne propozycje zmian i ulepszeƒ. Rezultaty oceny

ewaluacyjnej b´dà wykorzystane przy organizacji nast´pnych wyjazdów sta˝owych”.

Jak przeprowadziç ewaluacj´?

Po okreÊleniu celu ewaluacji i jej zakresu mo˝na rozpoczàç kolejne etapy, których w∏aÊciwe

zrealizowanie gwarantuje jej jakoÊç i u˝ytecznoÊç. Etapy te, jak ju˝ podano we wczeÊniejszym

rozdziale, to:

r projektowanie, czyli sformu∏owanie koncepcji badania,

r gromadzenie i analiza danych,

r ocena.

Wybór metod nale˝y do promotora, ale w du˝ej mierze zale˝y od rodzaju sformu∏owanych

pytaƒ ewaluacyjnych. Podane w poradniku podstawowe informacje metodologiczne powinny

byç pomocne w dokonaniu tego wyboru.

Nale˝y tak˝e pami´taç o obowiàzujàcych kryteriach, którymi (jak ju˝ opisano) sà:

r TrafnoÊçocena stopnia, w jakim przyj´te cele projektu odpowiadajà rzeczywistym potrzebom

i oczekiwaniom beneficjentów;

r EfektywnoÊçr ocena, czy poszczególni partnerzy wykonujà zadania zgodne z ich rolà i kompetencjami

oraz czy robià to we w∏aÊciwy sposób;

r ocena, czy realizowane dzia∏ania sà prowadzone w optymalny sposób, tzn. czy ich

koszty (finansowe, czasowe) równowa˝à korzyÊci z nich p∏ynàce;

r SkutecznoÊçr ocena roli poszczególnych partnerów w osiàganiu za∏o˝onych celów projektu;

r ocena stopnia, w jakim zosta∏y osiàgni´te cele projektu, zdefiniowane na etapie

planowania;

r Oddzia∏ywanie/wp∏ywocena, czy i w jakim stopniu realizacja projektu b´dzie mog∏a oddzia∏ywaç na otoczenie

i wywo∏ywaç w nim zmiany;

r Trwa∏oÊç efektówr ocena, czy zapoczàtkowana wspó∏praca stron b´dzie kontynuowana po zakoƒczeniu

realizacji projektu;

r diagnoza, czy udzia∏ w projekcie przyniesie beneficjentom rezultat w postaci trwa∏ej

zmiany.

26


I I .6

27


Kto ma prowadziç ewaluacj´?

W projektach Leonardo da Vinci stosowane sà zarówno ewaluacje wewn´trzne, jak i ewaluacje

zewn´trzne.

Wi´kszoÊç ewaluacji prowadzona jest przez promotorów projektów lub partnerów, cz´sto

przy pomocy ewaluatorów zewn´trznych.

Decyzja o tym, kto ma prowadziç ewaluacj´, powinna byç oparta na analizie szeregu

czynników, takich jak: kompetencje realizatorów projektu w zakresie prowadzenia ewaluacji,

z∏o˝onoÊç projektu, Êrodki finansowe.

Je˝eli promotor zdecyduje si´ na prowadzenie ewaluacji wewn´trznej, to powinien

wyznaczyç do tego zespó∏, który b´dzie mia∏ odpowiedni czas i Êrodki do przeprowadzenia

ewaluacji. Osoby te powinny znaç podstawowe metody badawcze i umieç Êledziç post´py

projektu w stosunku do wyznaczonych celów, a tak˝e prezentowaç je w odpowiedniej

formie. Wa˝ne jest, by ewaluatorzy nie zarzàdzali projektem, gdy˝ pozwoli to na wi´kszà

obiektywnoÊç i niezale˝noÊç ewaluacji. Jest to proste w du˝ych organizacjach czy placówkach

edukacyjnych. Oddzielenie tych ról w ma∏ych organizacjach cz´sto nie jest mo˝liwe.

W takich wypadkach nale˝y rozwa˝yç mo˝liwoÊç zlecenia ewaluacji osobie z zewnàtrz lub

powierzenia takiej osobie tej cz´Êci zadaƒ, które sà trudne dla realizatorów projektu np.

analiza i interpretacja danych. Za ewaluacjà wewn´trznà w projektach Leonardo da Vinci

przemawia w du˝ej mierze fakt, ˝e z beneficjentami w czasie sta˝u przebywajà opiekunowie,

którzy mogà Êledziç na bie˝àco post´py projektu i obserwowaç osiàgane rezultaty, a tak˝e

w przysz∏oÊci – majàc kontakt z beneficjentami – Êledziç korzyÊci, jakie przyniós∏ im projekt.

Przeprowadzenie ewaluacji w wielu przypadkach powierzane jest partnerom projektu lub

organizacjom poÊredniczàcym. Majà oni cz´sto doÊwiadczenie w ewaluacji projektów LdV

i mogà jà wykonaç poprawnie, w takich wypadkach niezb´dna jest jednak Êcis∏a wspó∏praca

promotora projektu, który zna potrzeby beneficjentów i jest najbardziej zainteresowany

wykorzystaniem wyników ewaluacji. Cz´sto ewaluacje prowadzone przez organizacje

poÊredniczàce sà poprawne, ale bardzo schematyczne, nie dajàce wielu korzyÊci i konkretnych

wniosków oraz rekomendacji.

Niezale˝nie od tego, czy ewaluacj´ prowadzi organizacja promotora, czy nawet bardziej

znajàcego metody i techniki ewaluacji partnera projektu, ewaluacja taka zawsze obarczona

jest ryzykiem subiektywizmu. Ewaluacja partnerska, przy dobrym podziale zadaƒ i komunikacji

mi´dzy partnerami, powinna przynieÊç zadowalajàce rezultaty. Dobrym rozwiàzaniem jest

powo∏anie grupy doradczej, sk∏adajàcej si´ z partnerów spo∏ecznych i bran˝y, którzy

zapewnià wi´kszy obiektywizm i cz´sto lepszy poziom ewaluacji. OczywiÊcie pomoc w zakresie

ewaluacji oraz w innych sprawach zwiàzanych z realizacjà projektu zawsze mo˝na uzyskaç

w Narodowej Agencji Programu.

Je˝eli promotor decyduje si´ na zaanga˝owanie ewaluatora zewn´trznego, to powinien

przede wszystkim poznaç jego kompetencje i doÊwiadczenie w ewaluacji projektów,

a tak˝e przekazaç wszystkie informacje na temat projektu, tak by ewaluator móg∏ zrozumieç

cele projektu i dokonaç ewaluacji, która spe∏ni zak∏adanà w projekcie rol´. Dotyczy to

okreÊlenia celu ewaluacji i jej zakresu, czasu przeprowadzenia (wst´pna, bie˝àca,

koƒcowa), wyboru najlepszych metod uzyskania informacji, oczekiwanych rezultatów.

Nale˝y tak˝e ustaliç z ewaluatorem, jakie dokumenty informacyjne zostanà mu przekazywane,

kto b´dzie w∏àczony w proces ewaluacji, kto b´dzie odbiorcà wyników badania

ewaluacyjnego.

I II I .7

Sucho brzmiàce fakty na temat ewaluacji, a zw∏aszcza technik i metod badawczych,

nabierajà rumieƒców w trakcie jej starannego realizowania i dostosowywania do potrzeb

planowanego projektu. W trakcie jednej z dyskusji nad strategià ewaluacji projektów

porównano projekt do edukacyjnej wycieczki autokarem, której plan i program nakreÊli∏ na

mapie kierownik wycieczki, zaznaczajàc na niej wszystkie wa˝ne punkty oraz zadania

i czynnoÊci, które w czasie podró˝y wykonywaç b´dà zarówno uczestnicy, jak i opiekunowie.

Ewaluacjà okreÊlono spotkanie informacyjne (ewaluacja ex ante), na którym rodzice uczestników

zadawali pytania, czy ta wycieczka jest dobrze przygotowana, jakie sà warunki uczestnictwa,

jaki jest stopieƒ trudnoÊci, jak zapewniono warunki bezpieczeƒstwa, czy kierowca jest

odpowiednio doÊwiadczony, ilu b´dzie opiekunów i wreszcie jakie korzyÊci przyniesie

uczniom ta wycieczka i ile to b´dzie kosztowaç. Po powrocie powtórne zebranie pozwoli na

„ewaluacj´ koƒcowà” przy udziale wszystkich zaanga˝owanych stron i wyciàgni´cie

wniosków. Patrzàc na ewaluacj´ w ten sposób, w∏àczajàc w nià wszystkich uczestników

projektu, pokazujàc jej u˝ytecznoÊç, mo˝na jà potraktowaç jako przygod´ edukacyjnà.

28


29

Ewaluacja ex ante zarzàdzania projektemEwaluacja jest nieroz∏àcznà cz´Êcià procesu zarzàdzania projektem. Prowadzonapowinna byç na wszystkich etapach zarzàdzania projektem. Na ka˝dym z nich spe∏niajednak innà funkcj´. Celem ewaluacji ex ante zarzàdzania projektem jest optymalizacja sprawnoÊci i jakoÊcidzia∏ania poprzez weryfikacj´ zaplanowanego sposobu wdra˝ania projektu na ka˝dymetapie jego realizacji. W wi´kszoÊci zg∏oszonych wniosków projektów programuLeonardo da Vinci mo˝na zauwa˝yç przekonanie, ˝e do sukcesu projektu wystarczàwiedza techniczna i pe∏ne zaanga˝owanie bli˝ej nieokreÊlonych realizatorów. Choçzarzàdzanie intuicyjne mo˝e wydawaç si´ proste, nie jest to najbardziej efektywnepodejÊcie do zarzàdzania projektami. Dzieje si´ tak dlatego, ˝e projektów cz´sto niemo˝na zaplanowaç i zrealizowaç „na ostatnià chwil´”. Prowadziç to mo˝e do nie-potrzebnego stresu, licznych zmian, konfliktów i wi´kszego prawdopodobieƒstwaniepowodzenia.JeÊli projekt jest niewielki i prosty, mo˝na post´powaç bardzo nieformalnie i planowaçintuicyjnie. PodejÊcie ad hoc jest cz´sto odpowiednie. Plan mo˝e byç wyra˝ony jakoprosta lista dzia∏aƒ. Gdy uczestnicy projektu sà nieliczni i dobrze si´ znajà,komunikacja oraz kontrola sà ∏atwe, nie potrzeba formalnych kontraktów i uzgodnieƒ.Projekty takie mogà byç z sukcesem realizowane przez osoby majàce niewielkiedoÊwiadczenie w zarzàdzaniu projektami. Im projekt jest wi´kszy, bardziej skomplikowany, tym wi´ksza jest potrzeba formalnoÊci.FormalnoÊç powoduje dyscyplin´, czyli pisemne umowy, regularnà, oficjalnà komunikacj´,wyraêny podzia∏ zadaƒ i odpowiedzialnoÊci. Zarzàdzajàc du˝ym projektem, nale˝yprzewidzieç odpowiednià iloÊç czasu na koordynacj´ i kontrol´. Bez wzgl´du na to, czy projekt jest ma∏y czy z∏o˝ony, nale˝y pami´taç, ˝e jest to pracawykonywana z myÊlà o realizacji celu w ograniczonym czasie i przy okreÊlonychkosztach. Warto wić zadbaç o to, by przed z∏o˝eniem do Narodowej Agencji Programuwniosek móg∏ byç oceniony w oparciu o okreÊlone kryteria programu i okreÊlonezasady oraz techniki planowania projektu. Sposób zarzàdzania jest jednym z kluczowychelementów projektu i dlatego nale˝y poÊwićiç mu wićej uwagi.

Zarzàdzanie projektem

Projektem zarzàdza si´ od momentu zapoczàtkowania – kiedy ktoÊ og∏asza ide´, która

pewnego dnia mo˝e staç si´ projektem – do momentu zamknićia, czyli zakoƒczenia projektu.

Zarzàdzanie projektem to stosowanie okreÊlonych zasad oraz technik do planowania

i kontrolowania prac nad projektem. Nie ma gotowych recept, których przestrzeganie

gwarantowa∏oby dobry wynik. Potrzebna jest umiej´tnoÊç dostosowywania stopnia i stylu

zarzàdzania do specyfiki projektu i bie˝àcej sytuacji. Celem niniejszego rozdzia∏u nie jest

przedstawienie sposobu i konkretnych narz´dzi do zarzàdzania projektami. PoÊwićona

temu by∏a poprzednia publikacja FRSE. Celem niniejszego opracowania jest zwrócenie uwagi

na metody zarzàdzania projektem z punktu widzenia ewaluacji i opisanie podstawowych zasad,

które warto zastosowaç, aby przedstawiony wniosek móg∏ byç pozytywnie oceniony.

I I I

I I I .1

Wi´kszoÊcià projektów Leonardo da Vinci zarzàdzajà osoby w pewnym sensie

„przypadkowe,” które zdecydowa∏y si´ na realizacj´ projektu obok innej dzia∏alnoÊci

podstawowej. Najcz´Êciej promotorzy czy koordynatorzy projektu majà doÊwiadczenie

w realizacji projektów edukacyjnych, sà z natury dobrymi koordynatorami i majà du˝e

zdolnoÊci komunikacyjne. Bardzo cz´sto wykonujà Êwietnà prac´, mimo ˝e nie zostali

przeszkoleni w dziedzinie zarzàdzania projektami. Wynika to stàd, ˝e prawid∏owe zarzàdzanie

jest w du˝ej mierze pochodnà zdrowego rozsàdku. Nale˝y sàdziç, ˝e wyniki ich pracy by∏yby

lepsze, gdyby posiadali tak˝e wiedz´ w zakresie zarzàdzania projektami.

Czym jest zarzàdzanie projektem? Jest to zastosowanie szerokiej gamy umiej´tnoÊci do prawid∏owego zainicjowania,

zaplanowania, realizacji, kontrolowania i zamkni´cia projektu.

Podstawowe umiej´tnoÊci zarzàdzania to opisywanie i uzgadnianie celów i wymagaƒ

projektu, tworzenie planu, harmonogramu i szacowanie. Do tego dochodzi radzenie sobie

z ryzykiem i niepewnoÊcià, zarzàdzanie jakoÊcià, komunikacja, zarzàdzanie w∏asnym czasem

i wspó∏praca z innymi. Przy tym wszystkim nale˝y pami´taç, ˝e osiàgni´cie rezultatów

i za∏o˝onych celów musi si´ odbyç w ograniczonym czasie i przy okreÊlonych kosztach.

W niniejszej publikacji termin rezultat oznacza bezpoÊredni i natychmiastowy efekt

zrealizowanych dzia∏aƒ. Rezultaty dostarczajà informacji o zmianach, jakie nastàpi∏y

w wyniku wdro˝enia projektu. W uzasadnieniu projektu podstawowà wartoÊç projektu

stanowi przedstawienie sposobu wykorzystania rezultatu.

Aby umieÊciç projekt i zarzàdzanie projektem w praktycznym kontekÊcie, warto spojrzeç na

nie z perspektywy systemowej. Perspektywa ta zak∏ada, ˝e wszystko odbywa si´ w systemie

wp∏ywajàcych na siebie nawzajem ludzi, organizacji, obiektów i procesów. Zmiana dzia∏ania

w jednym punkcie projektu mo˝e wp∏ywaç na inne jego cz´Êci. Specyfika projektów

Leonardo da Vinci, zw∏aszcza realizowanych z nieznanym partnerem, powoduje szereg

niewiadomych, które mogà wp∏ywaç na efekty. Im lepiej mo˝na przewidzieç efekt zmian, tym

wi´kszà zyskuje si´ kontrol´ nad prowadzeniem projektu w okreÊlonym kierunku. Nikt

jednak nie mo˝e przewidzieç wp∏ywu jakiegoÊ dzia∏ania ze stuprocentowà dok∏adnoÊcià.

Kluczowe zasady zarzàdzania projektamiW projektach Leonardo da Vinci kluczowym, jeÊli nie najwa˝niejszym, czynnikiem sukcesu

jest efektywna komunikacja pomi´dzy wszystkimi uczestnikami projektu. Komunikacja

wp∏ywa na wszystkie aspekty zarzàdzania. Ka˝dy projekt wymaga Êwiadomie zaplanowanego

procesu komunikacji z jasno zdefiniowanymi oczekiwaniami, rolami i obowiàzkami.

Proste fakty bywajà zniekszta∏cane lub przeoczane, dopóki nie spowodujà powa˝nych

konfliktów albo b∏´dów. Ci, którzy zak∏adajà, ˝e osiàgni´to porozumienie w kwestii definicji

celów, programu merytorycznego, odpowiedzialnoÊci albo w innych wa˝nych sprawach,

mogà si´ póêniej przekonaç, ˝e zgoda by∏a tylko pozorna. Bardzo cz´sto przyczynà tego sà

bariery j´zykowe.

Komunikacja pozostaje niezwykle istotna podczas planowania projektu, kiedy negocjuje si´

z partnerami i szczegó∏owo opisuje zarówno oczekiwany rezultat, jak i metod´ realizacji

projektu. Komunikacja w fazie wst´pnej i fazie planowania skupia si´ na tym, dlaczego

nale˝y zrealizowaç projekt, jaki b´dzie jego wp∏yw, kto b´dzie w niego zaanga˝owany, jaki

b´dzie podzia∏ w∏adzy i odpowiedzialnoÊci, jak b´dà zorganizowani uczestnicy, jakich

procedur b´dà przestrzegaç, ile b´dzie kosztowa∏ projekt, jak d∏ugo b´dzie realizowany oraz

jaki jest poziom ryzyka i niepewnoÊci.

30


31

Ewa l u a c j a e x a n t e z a r z à d z a n i a p r o j e k t em

Znaczna cz´Êç komunikacji ma charakter nieformalny i ustny, ale materia∏y pisemne sà

niezb´dne do dokumentowania problemów, wniosków i planów dzia∏ania. Zebrania powinny

byç dobrze zaplanowane, a ich wyniki udokumentowane. Pisemna dokumentacja powinna

byç ograniczona do minimum, ale kluczowe informacje muszà byç okreÊlone na piÊmie.

W projekcie mo˝na u˝ywaç zarówno poczty e-mail i nieformalnych pism, jak i formalnej

dokumentacji w postaci standardowych formularzy i szablonów. IloÊç i forma dokumentacji

zale˝à od wymogów formalnych programu, natury projektu i jego Êrodowiska.

Podczas realizacji i monitorowania projektu oraz aktualizowania planu nale˝y gromadziç,

podsumowywaç i rozpowszechniaç dane, które z odpowiednià szczegó∏owoÊcià informujà

o post´pach projektu (albo o braku post´pów). Dok∏adnoÊç i rzetelnoÊç tych informacji majà

kluczowe znaczenie dla osób, które prowadzà ewaluacj´ projektu i kierujà projektem.

Kiedy projekt jest zamykany, komunikacja pozwala si´ upewniç, ˝e rezultat jest do

przyjćia. Komunikacja w fazie zamykania gwarantuje te˝, ˝e odpowiedzialnoÊç za rezultat

b´dzie przypisana w∏aÊciwym osobom i ˝e nabyta wiedza zostanie przekazana wszystkim

zainteresowanym stronom.

Podstawy powodzenia projektówIstnieje sta∏y zbiór zasad, które stanowià fundament udanych projektów. Stosuje si´ je

w fazie inicjowania, planowania, realizacji, kontrolowania i zamykania projektu. Poszcze-

gólne zasady wzajemnie si´ przenikajà.

Centralnym elementem tej strategii jest zasada realistycznego podejÊcia, które zale˝y od

efektywnego planowania. Pozwala to na efektywniejsze kszta∏towanie oczekiwaƒ.

Przygotowujàc wniosek, nale˝y opracowaç „realistyczny” plan, którego mo˝na b´dzie

u˝ywaç jako miernika post´pów i zmian projektu. Nierealistyczne planowanie prowadzi do

niemo˝noÊci wype∏nienia zobowiàzaƒ. Dobry plan pozwala oceniç, czy cele projektu da si´

zrealizowaç w terminie i bez przekraczania kosztów przy dost´pnych zasobach oraz

zak∏adanym sposobie realizacji projektu.

Kolejne podstawowe zasady, z których wywodzà si´ wszystkie inne, to obiektywnoÊç oraz

zarzàdzanie sytuacyjne. Sta∏e ulepszanie dotyczy zarzàdzania projektami tak jak ka˝dego

innego dzia∏ania, poniewa˝ pozwala eliminowaç niedociàgnićia i w praktyczny sposób

dà˝yç do perfekcji.

Efektywne planowaniePlanowanie jest najbardziej centralnym i krytycznym aspektem zarzàdzania projektem.

Przygotowuje scen´, na której b´dzie si´ rozgrywa∏ projekt. Podczas planowania komunikacja,

wspó∏praca i budowanie zespo∏u ∏àczà si´ z zarzàdzaniem ryzykiem i niepewnoÊcià. Gotowy plan

b´dzie punktem odniesienia, s∏u˝àcym do kierowania projektem, monitorowania jego

realizacji oraz ewaluacji. Planowanie zaczyna si´ w momencie podjćia decyzji o realizacji

projektu i przystàpienia do opracowania wniosku.

Zdarzajà si´ wnioski, w których pomija si´ plan projektu lub przedstawia w bardzo

lakonicznej formie, nienadajàcej si´ do oceny. Planowanie jest cz´Êcià prawdziwej pracy.

Plan powinien zawieraç definicj´ rezultatu, okreÊlaç sposób realizacji projektu oraz

szacunkowy koszt, czas i zasoby.

I I I

Planowanie sk∏ada si´ z nast´pujàcych etapów:

r Identyfikacja celów i wymagaƒ

r OkreÊlenie standardów i procedur u˝ywanych w projekcie

r Identyfikacja i opis dzia∏aƒ

r Szacowanie i przydzia∏ pracy

r Optymalizacja

r Aktualizowanie planu

Rozdzia∏ ten nie opisuje, jak wykonuje si´ ka˝dy z tych etapów planowania. Przedstawiatylko kluczowe zasady planowania, wa˝ne z punktu widzenia ewaluacji projektu.Etapy planowania nie sà realizowane w prostej sekwencji. Na rezultat ka˝dego etapuwp∏ywajà rezultaty poprzednich etapów. Dzia∏a to równie˝ w drugà stron´. Na przyk∏ad,choç trzeba oszacowaç iloÊç pracy, aby utworzyç harmonogram, to tworzenieharmonogramu i przydzielanie zasobów mo˝e wymusiç zmiany w szacunkach i celach.Optymalizowanie planu mo˝e wymagaç korekty celów i wymagaƒ. Ju˝ na etapie tworzeniaplanu pracy b´dzie wiadomo, ˝e niektóre zaznaczone we wniosku cele projektu sàprzewidziane zbyt szeroko i nie b´dà mog∏y byç zrealizowane, gdy˝ nie przewidzianookreÊlonych dla ich realizacji wymagaƒ. Np. je˝eli jednym z celów projektu jest„poprawa pod wzgl´dem iloÊciowym i jakoÊciowym wspó∏pracy pomi´dzy instytucjamilub organizacjami oferujàcymi mo˝liwoÊci kszta∏cenia, przedsi´biorstwami, partneramispo∏ecznymi i innymi w∏aÊciwymi podmiotami w Europie”, a uczestnikami sta˝uzagranicznego sà uczniowie, którzy jadà bez opiekunów merytorycznych sta˝u, trudnob´dzie osiàgnàç zak∏adany cel. Byç mo˝e po analizie nale˝y z niego zrezygnowaç lubzaplanowaç odpowiednie dzia∏ania.

r Identyfikacja celów i wymagaƒ Planowanie zaczyna si´ od jasnej definicji celów i wymagaƒ, z którymi zgodzà si´wszystkie zaanga˝owane osoby. Trzeba pogodziç si´ z tym, ˝e cz´sto nie da si´ zdefiniowaçwymagaƒ w taki sposób, aby nie zmieni∏y si´ one w trakcie projektu. To jedna z przyczyn, dla których tak istotne jest akceptowanie i kontrolowanie zmian.

r OkreÊlenie standardów i procedur u˝ywanych w projekcieChodzi tu o upewnienie si´, ˝e standardy i procedury sà przystosowane do potrzebprojektu i zaakceptowane przez grup´ partnerskà. Nale˝y unikaç biurokracji, a jednoczeÊnienarzuciç elastycznà i praktycznà struktur´. Partnerzy, aby uniknàç nieporozumieƒi konfliktów podczas projektu. muszà uzgodniç mi´dzy sobà metody komunikacji,

przydzia∏u pracy, rozwiàzywania problemów, uwzgl´dniania zmian i kontroli jakoÊci.

r Identyfikacja i opis dzia∏aƒ oraz ich rezultatówG∏ównà zasadà jest tu zidentyfikowanie wszystkich prac na ró˝nych poziomachszczegó∏owoÊci i opisanie ich w kategoriach serii rezultatów czy te˝ wyników.Najcz´Êciej jest to lista zadaƒ, która okreÊla najwa˝niejsze prace, a nast´pnie dzieli jena czynnoÊci, zadania i etapy. JeÊli zaplanowane rezultaty sà konkretne, to mo˝na oceniç ich kompletnoÊç orazprawid∏owoÊç. Subiektywne opinie wnioskodawcy na temat tego, czy jakieÊ zadanieb´dzie wykonane czy nie, nie dajà podstaw do oceny projektu.

32


33


r Szacowanie i przydzia∏ pracyRealizm w planowaniu projektu polega na szacowaniu prac w taki sposób, aby istnia∏odu˝e prawdopodobieƒstwo, ˝e rezultat zostanie osiàgni´ty w wyznaczonym terminie i przy wykorzystaniu posiadanych zasobów.Planowanie wymaga realistycznej oceny, czy rzeczywiÊcie wszystkie zaplanowanedzia∏ania b´dà byç mog∏y zrealizowane we w∏aÊciwy sposób i w odpowiednim czasie.Nie nale˝y zak∏adaç, ˝e osoby przyjmujàce beneficjentów, które majà swojà podstawowàprac´, poÊwi´cà ca∏y swój czas naszemu projektowi. Dlatego zw∏aszcza w projektachmobilnoÊci nale˝y zwróciç szczególnà uwag´ na dobre zaplanowanie i nadzórmerytoryczny nad przebiegiem sta˝u. Firmy poÊredniczàce, których g∏ównà dzia∏alnoÊciàjest organizacja sta˝y, dbajà o technicznà stron´ sta˝u, pomijajàc inne elementy, któremajà du˝y wp∏yw na osiàgni´cie zaplanowanych celów. Cz´sto nie majà odpowiedniegoprzygotowania merytorycznego, by podjàç niektóre obowiàzki.

Planowanie nie koƒczy si´, dopóki projekt nie zostanie sfinalizowany. Plan powiniendok∏adnie odzwierciedlaç prac´, która musi byç wykonana. Jest to punkt odniesienia,dzi´ki któremu mo˝na ustaliç, czy projekt spe∏nia oczekiwania i co trzeba zrobiç, abywszystko toczy∏o si´ zwyk∏ym torem.

Zarzàdzanie relacjamiLudzie stanowià najbardziej krytyczny element projektu i najtrudniej si´ nimi zarzàdza. Relacje mi´dzyludzkie sà skomplikowane. W projektach bywajà jeszcze bardziejz∏o˝one, bo uczestnicy projektu wspó∏pracujà ze sobà tylko tymczasowo. Relacjekomplikujà si´, kiedy uczestnicy projektu pochodzà z ró˝nych organizacji i ró˝nych kultur. W projektach Leonardo da Vinci w coraz wi´kszym stopniu zarówno promotorzy, jaki partnerzy majà umiej´tnoÊci i doÊwiadczenia dostosowane do potrzeb projektu. Wewnioskach, gdzie partnerzy ju˝ realizowali wspólnie projekty, widaç jasno zdefiniowanerole, obowiàzki i odpowiedzialnoÊç. Wyznaczenie i uzgodnienie ról oraz obowiàzkówpozwala zredukowaç niepewnoÊç, koniecznoÊç przeróbek i prawdopodobieƒstwoprzeoczenia niektórych spraw. Ma to szczególne znaczenie, gdy partner nie jest znanyi niesprawdzony we wspó∏pracy.Ludêmi nale˝y zarzàdzaç za pomocà „umów”. Umowa nie musi byç legalnie wià˝àca,ale powinna byç sporzàdzona na piÊmie. W zale˝noÊci od potrzeb projektu mo˝e to byçwiadomoÊç e-mail albo formalny dokument okreÊlajàcy role i obowiàzki. Umowastwierdza, co ma byç wykonane, w jakim terminie, przez kogo i na jakich warunkach.Osobista odpowiedzialnoÊç oznacza, ˝e kiedy praca zostanie przydzielona, jej wykonywaniejest raportowane w sposób jasny i regularnie, nic nie pozostaje ukryte. Je˝eli zaistniejàjakieÊ problemy, pozwoli to na obiektywnà analizà przyczyn i ich skutków. Przyk∏ademtakiej umowy, poza tymi, które sà formalnie wymagane w programie, mo˝e byç umowaz opiekunami beneficjentów. Umowa, taka opisana w formularzu wniosku, jest podstawàdo oceny sposobu opieki nad beneficjentamii jednoczeÊnie informacjà dla beneficjentówdajàcà im wi´ksze poczucie bezpieczeƒstwa w odmiennych Êrodowiskowo warunkach.Ludzie majà ró˝ne osobowoÊci. Konflikty interpersonalne mo˝na ∏agodziç za pomocàotwartej komunikacji przez ca∏y czas trwania projektu. Dla beneficjentów niezwyklewa˝ne do kszta∏towania relacji w mi´dzynarodowym Êrodowisku jest dobrze zaplanowanei zrealizowane przygotowanie kulturowe, j´zykowe i pedagogiczne. AdekwatnoÊç i jakoÊç tegoprzygotowania majà du˝e znaczenie z punktu widzenia ewaluacji.

I I I

Kszta∏towanie oczekiwaƒSukces projektu cz´sto definiuje si´ jako stopieƒ, w jakim zosta∏y spe∏nioneoczekiwania wszystkich uczestników projektu. Ka˝dy powinien wiedzieç, czego ma si´ spodziewaç po projekcie. Co ma byç osiàgni´te,kiedy i za ile. Im wi´cej otwartej i szczerej komunikacji dotyczàcej rzeczywistychpotrzeb uczestników projektu oraz prawdopodobieƒstwa ich zaspokojenia, tym lepiej.Wniosek powinien byç przygotowany z takà szczegó∏owoÊcià, aby mo˝na by∏o oceniç,jakie rezultaty spe∏nià wyznaczone cele i czy wykonawcy i beneficjenci projektu dobrzerozumiejà cele projektu i programu.

Rozpoznanie i zaakceptowanie niepewnoÊci — zarzàdzanie ryzykiemNie mo˝na przewidzieç rezultatów projektu ze stuprocentowà dok∏adnoÊcià. JeÊlichcemy zwi´kszyç prawdopodobieƒstwo sukcesu naszych projektów, musimy oceniçstopieƒ niepewnoÊci i odpowiednio si´ do tego przygotowaç.Efektywne planowanie projektu uwzgl´dnia ryzyko i niepewnoÊç. Oznacza to, ˝e w planie trzeba uwzgl´dniç zdarzenia, które mogà zak∏óciç projekt, przeanalizowaçprawdopodobieƒstwo ich wystàpienia, przewidzieç ich wp∏yw i zdefiniowaç odpowiedniereakcje. Projekty majà charakter dynamiczny, wi´c z ryzykiem trzeba sobie radziç przezca∏y czas trwania projektu. Dobrym punktem wyjÊcia jest stale aktualizowana listakontrolna spraw, które cz´sto si´ udajà.Dobre planowanie powinno przewidzieç rezerwy na szacowanie, monitorowanie i wprowadzanie oczekiwanych zmian. Zawsze konieczne sà jakieÊ zmiany. Wszystkiezmiany winny byç kontrolowane. Ka˝da zmiana musi zostaç udokumentowana,uzasadniona i zaakceptowana przez upowa˝nionà osob´. Zasady te powinny byçustalone w ramach ustaleƒ obowiàzków i odpowiedzialnoÊci partnerów. W niektórychwypadkach zmiany muszà byç zaakceptowane przez Narodowà Agencj´ Programu.

Sta∏e ulepszanie zarzàdzania projektamiProces zarzàdzania projektami, podobnie jak wszystkie inne procesy zarzàdzania,powinien byç stale ulepszany.Organizacje „uczà si´” podobnie jak ludzie. Zarzàdzanie projektem wià˝e si´ z procesemedukacyjnym. Ka˝dy wykonany projekt to okazja do nauczenia si´, jak mo˝naefektywniej zrealizowaç nast´pny projekt. Nale˝y regularnie oceniaç realizacj´ dzia∏aƒpodczas trwania projektu oraz po jego zakoƒczeniu. Trzeba publikowaç wyniki, abyinformowaç innych o pu∏apkach i o zalecanych praktykach. Realistyczny plan upowszechnieniaprojektu jest wa˝nym elementem ewaluacji.

34


35


Analiza zaplanowanego sposobu zarzàdzania projektem

Przedstawione powy˝ej aspekty zarzàdzania projektem powinny byç pomocne dodokonania oceny sporzàdzonego wniosku oraz omówienia i uzgodnienia z partneramipotrzeby i mo˝liwoÊci wprowadzenia zmian.Ocen´ t´ mo˝na zrobiç, wykorzystujàc np. analiz´ SWOT lub list´ kontrolnà do ocenyjakoÊci projektu. Lista kontrolna mo˝e byç zbudowana na podstawie poszczególnychsekcji formularza wniosku zg∏oszeniowego. Lista uzgodnionych zmian powinna byçdostarczona ka˝demu z partnerów. Po akceptacji zmian przez partnerów nale˝ydokonaç korekty sposobu zarzàdzania. Poni˝ej podane sà przyk∏adowe pytania, na które nale˝y znaleêç odpowiedzi, dokonujàcoceny ex ante:

r Czy przedstawiony sposób zarzàdzania projektem jest dobrze przemyÊlany?

r Czy definiuje g∏ówne decyzje, informacje i odpowiedzialnoÊci na ka˝dym etapie?

r Czy poÊwi´cono w nim dostatecznie du˝o troski sprawom zarzàdzania?

r Czy etapy projektu sà progresywne ?

r Czy kierownik projektu ma odpowiednie doÊwiadczenie w zarzàdzaniu projektem?

r Czy zespó∏ posiada odpowiednie kompetencje do realizacji projektu?

r Czy cele projektu sà jednakowo rozumiane przez zespó∏ realizujàcy projekt?

r Czy struktura zadaniowa jest dostosowana do potrzeb projektu?

r Czy istnieje odpowiednio opracowany plan pracy?

r Czy istnieje harmonogram zadaƒ?

r Czy bud˝et projektu wype∏niono starannie?

r Czy kalkulacja bud˝etowa odzwierciedla koszty przewidzianych w ramach

projektu dzia∏aƒ?

r Czy przewidywane rezultaty projektu sà w∏aÊciwie opisane?

r Czy plan upowszechniania rezultatów projektu jest konkretny i skierowany

do w∏aÊciwych odbiorców?

Materia∏em, w oparciu o który promotor mo˝e opracowaç odpowiednie dla projektupytania ewaluacyjne oraz kontrolnà list´ jakoÊci projektu, mo˝e te˝ byç formularzwniosku zg∏oszeniowego dla konkretnej akcji programu LdV.

I I II I I .2

Ewaluacja szkolenia/sta˝u

Cel ewaluacji szkolenia/sta˝u

Ewaluacja projektu szkoleniowego jest procesem mierzenia zmian, jakie zasz∏y od poczàtku

realizacji szkolenia a˝ do skutecznego zastosowania nowo pozyskanej wiedzy i umiej´tnoÊci.

Realizacja szkolenia czy sta˝u jest kluczowym elementem programu Leonardo da Vinci.

Ewaluacja tego elementu projektu pozwoli na uzyskanie odpowiedzi, czy projekt osiàgnà∏

zamierzone cele. W projektach Leonardo da Vinci wiedza ta mo˝e byç wykorzystana w

zale˝noÊci od rodzaju projektu w dalszej nauce szkolnej,w karierze zawodowej i spo∏ecznej

uczestników, w miejscu pracy.

Celem ewaluacji szkoleƒ/sta˝u b´dzie zbadanie:

r czy efektywnie zarzàdzano przyznanymi Êrodkami na realizacj´ programu

szkolenia/sta˝u,

r czy dany program szkoleniowy zakoƒczy∏ si´ sukcesem,

r jakie sà osiàgnićia programu szkoleniowego,

r jaki jest poziom satysfakcji uczestników szkolenia,

r jakie sà osiàgnićia uczestników w obszarze nowo nabytej wiedzy i umiej´tnoÊci,

r jak oceniono organizacj´ szkolenia/sta˝u,

r jak uczestnicy planujà wykorzystaç zdobytà wiedz´ i doÊwiadczenia.

Ju˝ na etapie projektowania i planowania dzia∏aƒ szkoleniowych nale˝y równolegle myÊleç

o sposobie oceny spodziewanych rezultatów.

Proces ewaluacji musi si´ rozpoczàç, zanim jeszcze zacznie si´ szkolenie/sta˝. Musi byç

powiàzany z analizà potrzeb szkoleniowych beneficjentów, bran˝y czy regionu. Promotor

okreÊlajàc potrzeby szkoleniowe beneficjentów oraz formu∏ujàc cele szkoleniowe projektu,

powinien jednoczeÊnie zastanowiç si´, w jaki sposób mo˝na b´dzie oceniç stopieƒ realizacji

programu szkoleniowego i osiàgnićia za∏o˝onych celów. W wielu wnioskach podane sà

ogólne informacje, co beneficjenci osiàgnà w wyniku realizacji sta˝u, ale nie ma ˝adnych

konkretnych informacji, w jaki sposób to osiàgnà i jak b´dzie dokonana ocena rezultatów

szkolenia/sta˝u.

Istotnà sprawà jest, by zarówno w proces planowania, jak i realizacji szkolenia zaanga˝owani byli wszyscy uczestnicy projektu:r promotor/koordynator

r partnerzy merytoryczni, w tym organizacje bran˝owe

r partnerzy poÊredniczàcy

r uczestnicy szkolenia.

Je˝eli partnerem projektu jest organizacja poÊredniczàca, to udzia∏ partnera merytorycznego

w planowaniu i realizacji projektu jest niezb´dny.

Planowanie szkoleƒ na zasadach partnerskich przyczyni si´ znacznie do:

r trafniejszego doboru programów szkoleniowych,

r zaanga˝owania i przychylnoÊci osób kluczowych dla sukcesu przedsi´wzićia,

r podwy˝szenia wiarygodnoÊci dzia∏aƒ promotorów przy jednoczesnym odcià˝eniu ich

z cz´Êci pracy.

36

IV .1IV

37

Ewa l u a c j a s z k o l e n i a / s t a ˝ u

Metodologia badania ewaluacyjnego

Planowanie, projektowanie i przeprowadzenie ewaluacji powinno si´ rozpoczynaç od oceny

celów projektu oraz dzia∏aƒ s∏u˝àcych do ich realizacji, wynikajàcych z tego obszarów

kompetencji i odpowiedzialnoÊci ka˝dego uczestnika projektu.

Warto przypomnieç, ˝e cel szkolenia jest jasno sprecyzowanym stanem odzwierciedlajàcym

potrzeby beneficjentów i innych partnerów w kontekÊcie europejskim, krajowym, regionalnym

lub bran˝owym.

Proponowanym podejÊciem mo˝e byç zastosowanie zasady SMART:

S (sprecyzowany) – ka˝dy cel musi byç jasno okreÊlony

M (mierzalny) – stopieƒ realizacji ka˝dego z wyznaczonych celów musi byç mo˝liwy

do zmierzenia

A (ambitny) – dla osiàgni´cia wyznaczonych celów musi byç poniesiony pewien wysi∏ek

R (realny) – cele muszà byç mo˝liwe do zrealizowania

T (terminowy) – realizacja celów musi byç okreÊlona w czasie.

Efektywna ewaluacja powinna zbadaç nast´pujàce kwestie:

r Do jakiego stopnia zidentyfikowane potrzeby i cele projektu zosta∏y osiàgni´te?

r Do jakiego stopnia cele beneficjentów zosta∏y osiàgni´te?

r Czego szczególnie nauczyli si´ beneficjenci, bàdê o jakie elementy wzbogacili swojà

wiedz´?

r Jak majà zamiar wykorzystaç t´ wiedz´ po zakoƒczeniu szkolenia/sta˝u?

r Kto jest odpowiedzialny za uznanie rezultatów szkolenia (walidacja, certyfikacja)?

r Jak zaplanowane jest upowszechnienie rezultatów szkolenia/sta˝u?

Przewa˝ajàca wi´kszoÊç systemów ewaluacji szkoleƒ bazuje na modelu stworzonym przez

D. Kirkpatricka i jego syna J. Kirkpatricka. Model ten umo˝liwia przeprowadzenie

sekwencyjnej ewaluacji szkoleƒ w jej ró˝nych aspektach. Wyznaczajà go cztery poziomy czy

inaczej mówiàc obszary ewaluacji. Ka˝dy kolejny poziom dostarcza wi´cej informacji ni˝

poprzedni, jest jednak bardziej pracoch∏onny i skomplikowany. Model ten znajduje tak˝e

zastosowanie w ewaluacji projektów Leonardo da Vinci. Jednak nie wszystkie poziomy mogà

mieç zastosowanie w ewaluacji projektów mobilnoÊciowych. Zale˝y to od celów projektu,

czasu jego trwania i mo˝liwoÊci realizacji przez promotorów.

Poni˝ej przedstawiono zastosowanie poszczególnych poziomów ewaluacji szkoleƒ.

r Poziom I. Ocena reakcjiCelem ewaluacji na tym poziomie jest zbadanie reakcji uczestników na program. Poziom

oceny reakcji s∏u˝y sprawdzeniu stopnia zadowolenia uczestników szkolenia.

Jest to pierwszy krok do oceny efektywnoÊci szkolenia poprzez zbadanie, czy uczestnicy

wyra˝ajà si´ o nim pozytywnie. Niezadowolenie uczestników z przebiegu szkolenia (program,

warunki, osoby prowadzàce szkolenie, atmosfera i styl prowadzenia zaj´ç) przek∏ada si´

zwykle na ich motywacj´ do uczenia si´ oraz odbiór przekazywanej wiedzy i umiej´tnoÊci.

Najcz´Êciej stosowanym narz´dziem do oceny reakcji sà ankiety wype∏niane na zakoƒczenie

szkolenia. Ka˝da organizacja tworzy w∏asny formularz oceny.

IVIV .2

Aby mieç jak najpe∏niejszà ocen´ reakcji uczestników, nale˝y:

r okreÊliç, czego chcemy si´ dowiedzieç (np. reakcje dotyczàce programu szkolenia,

przebiegu praktyk itp.),

r zaprojektowaç ankiet´ tak, aby mo˝na by∏o zliczaç reakcje,

r uzyskaç od uczestników pisemne komentarze i opinie,

r ustaliç akceptowalny poziom Êredniej oceny,

r dokonaç pomiaru reakcji i w razie nieosiàgni´cia akceptowalnego poziomu podjàç

odpowiednie dzia∏ania,

r w razie potrzeby poinformowaç zainteresowane osoby o odnotowanych reakcjach.

Pomiar reakcji jest wa˝ny, gdy˝ zainteresowanie, uwaga oraz motywacja uczestników sà

bezpoÊrednio zwiàzane z procesem przyswajania wiedzy.

Ewaluacja programu szkoleniowego na poziomie I daje mo˝liwoÊç wniesienia ewentualnych

poprawek i niezb´dnych modyfikacji do programu.

Ocena na podstawie ankiety ewaluacyjnej powinna odpowiedzieç na pytanie: W jaki sposób

mo˝na dany program szkoleniowy udoskonaliç? Pomocne w tym mogà byç pytania szczegó∏owe

takie jak:

1 W jakim stopniu treÊç programu szkoleniowego odpowiada potrzebom jego uczestników?

2 Czy szkolenie/sta˝ prowadzi kadra wykwalifikowana do prowadzenia tego typu zaj´ç?

3 Czy podczas szkolenia wykorzystywane sà najefektywniejsze metody podtrzymywania

zainteresowania, kszta∏towania w∏aÊciwych postaw, przekazywania wiedzy oraz

doskonalenia umiej´tnoÊci?

4 Czy miejsce, w którym jest organizowane szkolenie, jest odpowiednie?

5 Czy plan zaj´ç odpowiada uczestnikom projektu?

6 Czy program szkoleniowy by∏ dobrze koordynowany?

7 Co jeszcze mo˝na zrobiç w celu zwi´kszenia efektywnoÊci programu szkoleniowego?

Dok∏adna analiza odpowiedzi uzyskanych na powy˝sze pytania umo˝liwi zidentyfikowanie

sposobów oraz Êrodków prowadzàcych do podniesienia efektywnoÊci ocenianego programu.

Ocena poziomu I podejmowana jest zazwyczaj z chwilà ukoƒczenia danego szkolenia po

wype∏nieniu przez uczestnika ankiety oceny. W niektórych przypadkach badanie takie ma

zastosowanie w ewaluacji bie˝àcej projektu.

Trzeba pami´taç, ˝e ta cz´Êç ewaluacji odnosi si´ wy∏àcznie do opinii beneficjenta na temat

atmosfery szkolenia, roli prowadzàcych szkolenie/sta˝ i oceny ich wiedzy. OczywiÊcie,

pozytywna ocena szkolenia przez uczestnika warunkuje poprawne przyswojenie wiedzy

i dalsze jej wykorzystanie w praktyce.

r Poziom II. Ocena wiedzyTen poziom badania ma okreÊliç, jakà wiedz´, umiej´tnoÊci i postawy zdobyli uczestnicy

szkolenia/sta˝u.

Ocena procesu uczenia si´ jest trudniejsza i bardziej pracoch∏onna ni˝ ocena reakcji. Jej

przeprowadzenie jest istotne, zw∏aszcza w kontekÊcie oceny poziomu III (oceny zmiany

zachowaƒ), czyli wykorzystania nabytej wiedzy i umiej´tnoÊci w praktyce.

Ocena procesu uczenia si´ zwiàzana jest z odpowiedzià na nast´pujàce pytania:

r Jaka wiedza zosta∏a przyswojona?

r Jakie umiej´tnoÊci zosta∏y nabyte lub usprawnione?

r Które postawy zosta∏y zmienione?

38


39


Aby dokonaç oceny procesu uczenia si´, mo˝na:

r stworzyç grup´ kontrolnà (jeÊli to celowe), która nie bra∏a udzia∏u w szkoleniu; – po porównaniu tej grupy z grupà uczestniczàcà w szkoleniu/sta˝u mo˝na zauwa˝yç

ró˝nic´ pokazujàcà efekty projektu;r oceniç wiedz´, umiej´tnoÊci i/lub postawy zarówno przed, jak i po szkoleniu/sta˝u

– ró˝nice wskazujà na osiàgni´te efekty uczenia si´;r dla pomiaru poziomu wiedzy i postaw mo˝na zastosowaç test pisemny;r w celu pomiaru umiej´tnoÊci mo˝na przeprowadziç test wykonania, czyli poprosiç

uczestnika o wykonanie zadania adekwatnego do przekazanej wiedzy i dokonaçobserwacji nabytych umiej´tnoÊci;

r wykorzystaç wyniki przeprowadzonej oceny w celu podj´cia odpowiednich dzia∏aƒ np. dla zaproponowanie innych form szkolenia.

Dane powinny byç zebrane od jak najwi´kszej liczby uczestników, poniewa˝ tylko pe∏neinformacje dajà mo˝liwoÊç poprawnego wnioskowania na temat efektów programuszkoleniowego. Zwykle przyjmuje si´, ˝e testy wiedzy powinny byç wykonane przed i poszkoleniu, ale w uzasadnionych przypadkach mo˝na ograniczyç si´ do post-testów. Dotyczyto zw∏aszcza projektów innowacyjnych, nowych zagadnieƒ.Na tym etapie nale˝y tak˝e uwzgl´dniç doÊwiadczenie osób prowadzàcych szkolenia/sta˝ i poprosiç ich o ocen´ wiedzy i umiej´tnoÊci, które nabyli uczestnicy. Wyniki ewaluacji efektów szkolenia na poziomie II powinny zostaç podsumowane i uwzgl´dnionena spotkaniach informacyjnych partnerów projektu. Bardzo wa˝ne jest równie˝, aby informacja zwrotna o wynikach dotar∏a do badanychuczestników szkoleƒ. Pomaga ona korygowaç b∏´dy i wzmocniç dodatkowo skutecznoÊçewentualnych dalszych projektów.

r Poziom III. Ocena zachowaƒTrzeci etap procesu ewaluacji szkoleƒ analizuje stopieƒ wykorzystania w praktyce po-zyskanej wiedzy i umiej´tnoÊci. Jest on bardziej skomplikowany ni˝ ocena poziomu I i II z kilku powodów:

r uczestnicy szkolenia nie sà w stanie zmieniç swojego zachowania, dopóki nie pojawi si´mo˝liwoÊç wykorzystania tego, czego si´ nauczyli,

r nie zawsze mo˝na dok∏adnie okreÊliç moment, w którym wystàpi zmiana zachowania,r uczestnik szkolenia mo˝e spróbowaç zastosowaç nabytà wiedz´ i umiej´tnoÊci,

ale mo˝e stwierdziç, ˝e nie ma warunków do jej zastosowania.

Inaczej wi´c b´dzie przebiega∏o badanie uczestników sta˝u, którzy sà uczniami, a inaczejosób pracujàcych lub poszukujàcych pracy.

Aby przeprowadziç ocen´ zachowaƒ, warto zastosowaç nast´pujàce zasady:

r stworzyç grup´ kontrolnà (jeÊli to celowe),r poczekaç na moment pojawienia si´ zmian w zachowaniu – ocen´ zachowaƒ powinno

si´ przeprowadzaç po kilku tygodniach (nawet miesiàcach), od momentu kiedyuczestnicy zacznà stosowaç nowe metody,

r w miar´ mo˝liwoÊci dokonaç oceny zachowaƒ przed i po szkoleniu,r przes∏aç ankiety lub przeprowadziç wywiady z uczestnikami szkolenia,

ich prze∏o˝onymi i innymi osobami, które majà okazj´ obserwowaç ich zachowaniar powtarzaç proces oceny zachowaƒ w odpowiednich odst´pach czasu – widaç wtedy,

jak g∏´boko i trwale dokonujà si´ zmiany zachowaƒ,r porównaç poniesione koszty z uzyskanymi korzyÊciami.

IV

W praktyce podstawowym narz´dziem do badania zachowaƒ sà ankiety. Du˝à popularnoÊcià

cieszà si´ obserwacje w rzeczywistych warunkach. Jest to dobra metoda w projektach

Leonardo da Vinci, gdy opiekunowie beneficjentów, mogà kontynuowaç badanie np. w czasie

dalszej nauki szkolnej lub miejscu pracy. Inne bardziej z∏o˝one techniki badawcze to na

przyk∏ad organizowanie grup fokusowych.

Zmiana w zachowaniu nie jest ostatecznym rezultatem. Jest ona raczej Êrodkiem prowadzàcym

do celu, do wyników, które majà szans´ zaistnieç dzi´ki nowemu zachowaniu.

r Poziom IV. Ocena wynikówOkreÊlenie osiàgnićia oczekiwanych celów dzi´ki szkoleniu/sta˝owi to najtrudniejszy etap

ze wszystkich poziomów oceny efektywnoÊci. Nie zawsze znajduje zastosowanie w ewaluacji

projektów Leonardo da Vinci. Przyk∏adem jest projekt dla absolwentów wy˝szej uczelni,

z którymi kontakt kilka miesićy po ukoƒczeniu sta˝u jest bardzo trudny. W programie mo˝e

nie byç Êrodków finansowych lub kadrowych na przeprowadzenie takiego badania.

Oceniajàc szkolenie na poziomie IV, oczekujemy odpowiedzi na pytania typu: Ilu uczestników

szkolenia znalaz∏o zatrudnienie?; O ile zwi´kszy∏a si´ liczba konsumentów w restauracji

dzi´ki przeszkoleniu pracowników?

Niestety, bardzo trudno jednoznacznie oceniç, czy pozytywne zmiany sà wynikiem szkolenia czy

innych czynników. Rzadko udaje si´ wskazaç, które wyniki sà bezpoÊrednim efektem

szkolenia. Poniewa˝ jednak wymierne wyniki sà bardzo wa˝ne, aby oceniç je jak najdok∏adniej,

warto stosowaç si´ do nast´pujàcych wskazówek:

r wykorzystaç grup´ kontrolnà (jeÊli to celowe). Zastosowanie grupy kontrolnej na tym

poziome jest wyjàtkowo uzasadnione, gdy˝ podlega ona tym samym ewentualnym

bodêcom zak∏ócajàcym w szkole lub Êrodowisku pracy, co grupa przeszkolona

r poczekaç na pojawienie si´ wyników;

r w miar´ mo˝liwoÊci dokonaç oceny przed szkoleniem i po szkoleniu;

r powtarzaç proces oceny w odpowiednich odst´pach czasu;

r porównaç koszty z korzyÊciami.

Okres realizacji projektów Leonardo da Vinci stwarza mo˝liwoÊç oceny efektów szkolenia

kilka miesićy od jego zakoƒczenia, warto wić tak zaplanowaç projekt, by móc wykonaç

badanie na wszystkich mo˝liwych etapach. W praktyce bardzo rzadko si´ to udaje. Ewaluacje

na tym poziomie prawie nie sà mo˝liwe do realizacji w placówkach edukacyjnych, czasami

sà robione przez ró˝ne organizacje np. hufce pracy. Mo˝liwe sà tak˝e do realizacji

w zak∏adach pracy i w urz´dach np. pracy. Etap ten brany jest te˝ pod uwag´ w ewaluacjach

prowadzonych przez Narodowà Agencj´ Programu.

Podsumowanie wyników badania

Ocena efektywnoÊci szkoleƒ na wszystkich czterech poziomach koƒczy etap zbierania

danych na potrzeby ewaluacji wg modelu D. Kirkpatricka2. Otrzymane dane powinny zostaç

poddane rzetelnej ocenie, na podstawie której opracowane b´dà wnioski i rekomendacje.

Realizacja tego zadania sprawia najwi´ksze trudnoÊci promotorom projektów Leonardo da

Vinci, gdy˝ nie zawsze posiadajà wystarczajàcà wiedz´ metodologicznà do przeprowadzenia

badania. Podany w poprzednich rozdzia∏ach zarys metodologii badania ewaluacyjnego

powinien daç wystarczajàcà wiedz´ do ewaluacji ma∏ych projektów, wi´ksze projekty

40


IV .3

2 D.L. Kirkpatrick „Ocena efektywnoÊci szkoleƒ”, Studio Emka2001

41


wymagajà zaanga˝owania osób o wi´kszym doÊwiadczeniu badawczym. W praktyce

najwi´kszà trudnoÊç sprawia ustalenie, na których poziomach mo˝liwa jest i uzasadniona

do realizacji ocena efektywnoÊci szkoleƒ. Zale˝y to od specyfiki szkolenia/sta˝u, zdefiniowanych

potrzeb i celów. Je˝eli celem projektu jest np. poznanie przez beneficjentów nowych

rozwiàzaƒ organizacyjnych, wystarczajàce jest badanie na poziomie II. JeÊli jednak celem

projektu jest np. umiej´tnoÊç pracy w zespole, poprawa zdolnoÊci komunikacyjnych czy

wzrost aspiracji zawodowych, by zmierzyç stopieƒ osiàgni´cia tego celu, niezb´dne jest

badanie na poziomie III lub IV. Tak wi´c, planujàc i realizujàc projekt, nale˝y mieç ca∏y czas

na uwadze jego logik´ i spójnoÊç oraz – o ile to mo˝liwe – wykorzystywaç doÊwiadczenia

z poprzednich projektów.

Dane o wynikach ewaluacji, wnioski i rekomendacje dotyczàce realizacji szkoleƒ powinny

byç cz´Êcià ewaluacji ca∏ego projektu i s∏u˝yç promotorowi oraz pozosta∏ym partnerom.

IV

Publikacja sfinansowana z funduszy

Komisji Europejskiej w ramach

Programu „Uczenie si´ przez ca∏e ˝ycie”

W y d a w c a :

Fundacja Rozwoju Systemu Edukacji

Narodowa Agencja Programu

„Uczenie si´ przez ca∏e ˝ycie”

Program Leonardo da Vinci

ul. Mokotowska 43

00-551 Warszawa

tel: 022-622 37 12

fax: 022-622 37 10

www.leonardo.org.pl

T e k s t

El˝bieta Bednarek

Z e s p ó ∏ R e d a k c y j n y

Anna At∏asZast´pca Dyrektora Programu „Uczenie si´ przez ca∏e ˝ycie”

Agnieszka Paw∏owiec

ISBN 978-83-87716-04-2/2

EwaluacjaProjektów

Documents

Transcript of EwaluacjaProjektów