Ewaluacja w krajach V4+4

Przegląd praktyk

Badanie zrealizowane na zlecenie

Krajowej Jednostki Ewaluacji, Ministerstwo Rozwoju

Karol Olejniczak, Tomasz Kupiec,

Dominika Wojtowicz, Weronika Felcis

Cele i pytania

Spojrzenie na praktykę ewaluacji

polityki spójności z perspektywy teorii

brokeringu wiedzy.

1. W jakim kontekście JE funkcjonują?

2. Jakie aktywności podejmują?

3. Co wspiera, co utrudnia działanie?

4. Co zmienić by poprawić efekty?

Metodyka badania

ZAKRES: Czechy, Polska, Słowacja, Węgry + Bułgaria, Chorwacja, Rumunia, Słowenia

PODSTAWOWE ŹRÓDŁA DANYCH i METODY:

• Wywiady w każdym z krajów z centralną JE, „wiodącą” JE, ekspertem zewnętrznym (n=28)

• Ankieta z JE polityki spójności w 8 krajach (zwrot = 93%)

• Ankiety z potencjalnymi użytkownikami wiedzy wskazanymi przez JE (n= 228)

1. KONTEKST

FUNKCJONOWANIA

Historia praktyki ewaluacji

Brak krajowej kultury i praktyki ewaluacji przed przystąpieniem do UE

Przystąpienie do UE (2004, 07, 13)

Obowiązek ewaluacji programów polityki spójności - zewnętrzny impuls

Powstanie i rozwój krajowych systemów ewaluacji

Oczekiwanie rozwoju kultury i dyfuzji praktyki do innych polityk publicznych

Skala systemu polityki spójności

Polska

Rumunia

Czechy Węgry

Słowacja

Chorwacja

Bułgaria

Słowenia 0

5

10

15

20

25

0 20 40 60 80 100

Liczba Programów operacyjnych

Wkład UE w politykę spójności (mld €)

Polska

Rumunia

Czechy Węgry

Słowacja

Chorwacja

Bułgaria

Słowenia 1

2

4

8

16

32

1 2 4 8 16 32 64 128

Liczba Programów operacyjnych

Wkład UE w politykę spójności (mld €)

Skala systemu polityki spójności

Warianty struktury sys. ewaluacji

JK/E

JE

JE

JE JE

JE

JE

JE

JK/E

JE

JE

JE JE

JE JK

JE

JE

JE JE

JE

JE

JE

JE JE

JE JE

JE JE JE

Polska Czechy, Słowacja

Chorwacja

Bułgaria

Rumunia Węgry, Słowenia

Decentralizacja vs. liczba programów

Polska

Rumunia

Czechy Węgry Słowacja

Chorwacja

Bułgaria

Słowenia

0

5

10

15

20

25 Liczba Programów

operacyjnych

centralizacja decentralizacja

2.

FUNKCJONOWANIE

JEDNOSTEK

Ewaluacja a inne zadania

15%

64%

67%

29%

25%

100%

100%

100%

100%

85%

36%

33%

71%

75%

0% 20% 40% 60% 80% 100%

BG

HR

HU

SI

SK

CZ

RO

pozostali

PL

Ewaluacja jedynym zadaniem jednostki

Jednostka ma też inne zadania

44%

47%

36%

28%

25%

8%

0% 20% 40% 60% 80% 100%

PL

32%

53%

47%

13%

32%

16%

0% 20% 40% 60% 80% 100%

Inne analizy

Monitoring

Programowanie

Wdrażanie

Infopromo

Inne

Pozostali

Inne zadania jednostek

44%

47%

36%

28%

25%

8%

0% 20% 40% 60% 80% 100%

PL

40%

60%

60%

20%

80%

40%

0% 20% 40% 60% 80% 100%

Inne analizy

Monitoring

Programowanie

Wdrażanie

Infopromo

Inne

BG

Inne zadania jednostek

44%

47%

36%

28%

25%

8%

0% 20% 40% 60% 80% 100%

PL

33%

33%

0% 20% 40% 60% 80% 100%

Inne analizy

Monitoring

Programowanie

Wdrażanie

Infopromo

Inne

RO

Inne zadania jednostek

Czas przeznaczony na ewaluację

75

20

10

23

50

90

75

71

50

33

16

13

46

56

0 20 40 60 80 100

RO

HU

CZ

SI

SK

HR

BG

pozostali

PL

średnia

mediana

%

Brokering wiedzy

Identyfikacja potrzeb

Zdobywanie wiedzy

Rozpowszechnianie wiedzy

• Obserwacja procesu wdrażania programu

• Zlecanie badań zewnętrznych

• Przetwarzanie i interpretacja danych monitoringowych

• Wysyłka mailowa raportów i publikacja online

• Organizacja prezentacji wyników

Bardzo podobne aktywności we wszystkich krajach

Odbiorcy wiedzy

0% 25% 50% 75% 100% 0% 25% 50% 75% 100%

Kierownicy innych jednostek

Kierownicy departamentów

Liderzy polityczni

Inne instytucje w systemie PS

Instytucje UE

Instytucje innych polityk pub.

Media i opinia publiczna

Bardzo często Często

PL Pozostali

Odbiorcy wiedzy

0% 25% 50% 75% 100%

PL SK

0% 25% 50% 75% 100%

Kierownicy innych jednostek

Kierownicy departamentów

Liderzy polityczni

Inne instytucje w systemie PS

Instytucje UE

Instytucje innych polityk pub.

Media i opinia publiczna

Bardzo często Często

Odbiorcy wiedzy

0% 25% 50% 75% 100%

PL CZ

0% 25% 50% 75% 100%

Kierownicy innych jednostek

Kierownicy departamentów

Liderzy polityczni

Inne instytucje w systemie PS

Instytucje UE

Instytucje innych polityk pub.

Media i opinia publiczna

Bardzo często Często

32%

28%

25%

29%

22%

18%

0% 25% 50% 75% 100%

Procesy

Efekty

Mechanizmy

36%

51%

36%

28%

23%

15%

0% 20% 40% 60% 80% 100%

Procesy

Efekty

Mechanizmy

Produkowana wiedza

39%

36%

31%

36%

47%

44%

0% 20% 40% 60% 80% 100%

32%

21%

24%

37%

37%

37%

0% 20% 40% 60% 80% 100%

bardzo często często

Zdaniem producentów Zdaniem odbiorców

PL

Pozostali

Produkcja wiedzy vs potrzeby

39%

49%

41%

20%

29%

31%

0% 20% 40% 60% 80% 100%

Potrzebuję wiedzy o

36%

51%

36%

28%

23%

15%

0% 20% 40% 60% 80% 100%

Procesy

Efekty

Mechanizmy

Otrzymuję wiedzę o

35%

33%

36%

36%

46%

47%

0% 20% 40% 60% 80% 100%

32%

28%

25%

29%

22%

18%

0% 20% 40% 60% 80% 100%

Procesy

Efekty

Mechanizmy

tak zdecydowanie tak

PL

Pozostali

Skąd użytkownicy czerpią wiedzę

1. Własne doświadczenie

2. Monitoring rzeczowy

3. Kontrole projektów

9. Ewaluacja

1. Własne doświadczenie

2. Kontakt z beneficjentami

3. Monitoring rzeczowy

4. Ewaluacja

1. Własne doświadczenie

2. Monitoring finansowy

3. Monitoring rzeczowy

6. Ewaluacja

1. Własne doświadczenie

2. Monitoring finansowy

3. Monitoring rzeczowy

4. Ewaluacja

1. Własne doświadczenie

2. Kontakt z beneficjentami

3. Monitoring rzeczowy

3. Ewaluacja

1. Własne doświadczenie

2. Kontakt z beneficjentami

3. Monitoring rzeczowy

4. Ewaluacja / M.fin

PL

Inni

Procesy Efekty Mechanizmy

3. CZYNNIKI

WARUNKUJĄCE

DZIAŁANIE

Czynniki warunkujące

działanie JE - zasoby własne

Pracownicy

Kompetencje

Budżet Czas

Narzędzia Procedury

Pozycja

Pracownicy

Kompetencje

Budżet Czas

Narzędzia

Procedury

Pozycja

SILNIE

ŚREDNIO NEGATYWNIE POZYTYWNIE

Polska

Pozostali

Czynniki warunkujące

działanie JE - zewnętrzne

Wykonawcy

Styl decyzyjny

Użyteczność Wiarygodność

Regulacje K

Regulacje UE

Wykonawcy Styl

decyzyjny Użyteczność Wiarygodność

Regulacje K

Regulacje UE

SILNIE

ŚREDNIO NEGATYWNIE POZYTYWNIE

Polska

Pozostali

4. CO MOŻNA

ZMIENIĆ

USER-PURPOSE

MATRIX

DECISIONS

JOURNEY

LEARNING

AGENDA

STRATEGIA UTILE -

TRANSFORMACJA JE W

BROKERÓW WIEDZY

CO-DESIGN OF

SOLUTIONS

COMMUNICATIO

N STRATEGY

STEP 1 STEP 2 STEP 3 STEP 4 STEP 5

USER-

ORIENTED

TIMELY

INTERESTIN

G

LEARNING

TO ACTION

EASY

Rozliczalność z efektów

C

Wyjaśnianie co działa I dlaczego

D

B

Rozliczalność z wydatkowania

A

Wspieranie płynnego wdrażania

WIEDZA STRATEGICZNA

WIEDZA OPERACYJNA

ZEWNĘTRZNA

ROZLICZALNOŚĆ

WEWNĘTRZNE

UCZENIE SIĘ

Mapa drogi użytkownika

Źródło: http://www.modernisation.gouv.fr

Mapa procesu decyzyjnego /

zarządzania programem

identyfikacja etapów procesu i

‘punktów decyzyjnych’

dla każdego punktu:

Określenie profilu odbiorcy (motywacje,

emocje, preferowane kanały komunikacji,

preferowane źródła informacji)

Identyfikacja sieci interesariuszy

Learning agenda

Wyartykułowanie czego i kiedy muszę się

nauczyć / dowiedzieć

Plan zorganizowany wokół problemów /

kwestii, nie badań

Właścicielem planu odbiorca, nie JE

Uwzględnione wszystkie źródła informacji

Propozycja: zacząć od łatwych kwestii i

łatwych odbiorców

Ko-projektowanie rozwiązań

Inspiracja: projektowanie usług

1. Warsztat analiza wyników ewaluacji -

identyfikacja kluczowych problemów

2. Warsztat kreatywny - identyfikacja

rozwiązań

3. Dopracowanie rozwiązań i sposobów

testowania

4. Testowanie - gra, eksperyment

Strategia komunikacji

Koncentracja na łatwości przyswojenia wiedzy.

1. Kanały komunikacji

• Mapowanie platform, w których nasi użytkownicy

uczestniczą

• Mapowanie aktorów, z którymi wchodzą w

interakcje

2. Formy i metody komunikacji

• Krótko i prosto

• Wizualizacja i ‘”storytelling”

Ewaluacja w krajach V4+4

Przegląd praktyk

Badanie zrealizowane na zlecenie

Krajowej Jednostki Ewaluacji, Ministerstwo Rozwoju

Karol Olejniczak, Tomasz Kupiec,

Dominika Wojtowicz, Weronika Felcis