Ewaluacja w polityce społecznej

Kryteria ewaluacji – skutecznośćDr hab. Ryszard Szarfenberg

Instytut Polityki Społecznej UW

rszarf.ips.uw.edu.pl/ewalps/dzienne/

Rok akademicki 2018/2019

użyteczność i trwałość

koszty do skuteczności

wydajność

oszczędność

trafność skuteczność

Polityka, program, projekt

PotrzebySytuacja społeczno-

ekonomiczna

Cele Nakłady Działania Produkty

Otoczenie

Wyniki ostateczne

Wyniki pośrednie

C. Pollitt, G. Bouckaert, Public Management Reform: A Comparative Analysis – New Public Management, Governance, and the Neo-Weberian State, 2013, s. 16

Logika projektu z uwzględnieniem kryteriów ewaluacji

Ewaluacja projektu pod względem kryteriów:‒ Trafności (7)‒ Oszczędności (8)‒ Wydajności (9)‒ Kosztów do

skuteczności (10)‒ Użyteczności i

trwałości (11)‒ Skuteczności (12)

Wpływ otoczenia na wyniki

Wpływ interwencji na wyniki pośrednie

Wpływ wyników pośrednich na ostateczne

Wpływ wyników pośrednich i ostatecznych na sytuację społeczno-ekonomiczną

Zestawienie typowych kryteriów ewaluacji

• Skuteczność: jaki był wpływ produktów projektu na jego wyniki? Na ile wyniki projektu odpowiadają jego celom?

• Efektywność: w jakim stopniu nakłady były proporcjonalne do produktów, wyniku?

• Oszczędność – jak najmniejsze nakłady przy ustalonych produktach

• Wydajność – jak największe produkty przy ustalonych kosztach

• Koszty-skuteczność – jak najlepszy stosunek kosztów do wyników

• Trafność: w jakim stopniu cele programu odpowiadają potrzebom jego adresatów?

• Użyteczność: na ile rezultaty i wpływ programu zaspokajają potrzeby jego adresatów?

• Trwałość: jak długo będą trwać pozytywne skutki programu po jego zakończeniu?

Skuteczność projektu w kontekście celów, produktów i wyników projektu

• Podstawowe elementy skuteczności projektu• Cele – co chcemy osiągnąć• Produkt – za pomocą czego chcemy to osiągnąć• Wynik – to co zostało w rzeczywistości osiągnięte

• Przykład projektu jabłka dla studentów• Cel – zmniejszyć zachorowalność studentów• Produkt – dostarczenie studentom jabłek• Wynik – zmiana lub brak zmiany zachorowalności studentów związana z

dostarczeniem jabłek studentom• Pytanie o skuteczność: jaki wpływ miało dostarczenie jabłek (produkt

projektu) na zachorowalność studentów?

Cztery rodzaje celów polityk, programów, projektów

Czy to mamy?

Czy chcemy to mieć?

Tak Nie

Tak

Nie

M. Q. Patton, Utilization-Focused

Evaluation, 2008, s. 236

Cel: zachować Cel: usunąć

Cel: osiągnąć Cel: unikać

Przykładowa interpretacja: jeżeli polityka czy projekt mają rozwiązywać jakiś problem, to celem jest usuwanie lub zmniejszanie tego, co mamy, a czego nie chcemy mieć

Cele projektu w stosunku do usługi, czy w stosunku do wyników?

Cele w stosunku do usługi Cele w stosunku do wyników

Udzielać dobrze skoordynowanych usług zdrowotnych dla nastolatek w ciąży

Nastolatki w ciąży rodzą zdrowe dzieci, którymi potem właściwie się opiekują

Poprawić jakość usług z zakresu ochrony dzieci

Dzieci są bezpieczne, nie są wykorzystywane ani zaniedbywane

Udzielać usług edukacyjnych wysokiej jakościUczniowie mają odpowiednią wiedzę i

umiejętności

Pomagać rodzicom w decyzjach dotyczących pracy i życia rodzinnego

Dzieci rodziców, którzy chcą pracować mają odpowiednią opiekę

M. Q. Patton, Utilization-Focused Evaluation, 2008, s. 242Bardziej poprawne jest ustalanie celów projektów w stosunku do wyników, a nie do usług. Wyniki są tym co chcemy ostatecznie osiągnąć

Wyniki projektu jako rodzaj zmiany

Rodzaj zmiany Przykład

Zmiana warunkówDziecko z rodziny zastępczej bezpiecznie wraca do rodziny biologicznej

Zmiana statusu Bezrobotny stał się zatrudniony

Zmiana zachowania Wagarowicze zaczynają regularnie chodzić do szkoły

Zmiana funkcjonowaniaZwiększenie poziomu samoobsługi; punktualność w przychodzeniu do pracy

Zmiana postawy Większa wiara w siebie

Zmiana wiedzy Zrozumienie potrzeb dzieci w różnych stadiach rozwoju

Zmiana umiejętności Poprawa płynności czytania

Utrzymanie Osoba starsza bezpiecznie pozostaje w domu

Zapobieganie Młodzież nie zażywa narkotyków

M. Q. Patton, Utilization-Focused Evaluation,, 2008, s. 245

Skutki projektu

• Ocenianie projektów po skutkach• Mamy zamierzenia i plany

• Podejmujemy działania, które mają rozmaite skutki

• Skutki projektu, wybrane rodzaje:• Zamierzone, niezamierzone

• Przewidywane, nieprzewidywane

• Oceniane pozytywnie (korzyści, nabytki), oceniane negatywnie (koszty, ubytki)

• W krótkim, średnim i długim okresie

• Bezpośrednie, pośrednie

• Interesujące są skutki podobne do zamierzonych, ale niebędące wynikiem naszego projektu

Dziewięć możliwych ocen skuteczności projektu społecznego

Wpływ na pozostałe cele

Wpływ na cel zasadniczy Brak skutków ubocznych Pozytywne skutki uboczne Negatywne skutki uboczne

Skuteczność dodatnia -

osiągnięcie celu

zasadniczego

(1) Skuteczność prosta (działanie

zgodne z planem)

(2) Skuteczność plus korzyść (cel

osiągnięty przy jednoczesnym

wzmocnieniu innych celów)

(3) Skuteczność plus strata (cel

osiągnięty przy jednoczesnym

poświęceniu części innych celów)

Nieskuteczność -

brak skutku

(4) Nieskuteczność prosta

(np. „same słowa i zero czynów”

w ramach projektu)

(5) Nieskuteczność plus korzyść

(główny cel nieosiągnięty przy

jednoczesnym uzyskaniu

pozytywnych skutków ubocznych)

(6) Nieskuteczność plus strata

(główny cel nieosiągnięty przy

dodatkowych negatywnych

skutkach ubocznych)

Skuteczność ujemna

(przeciwskuteczność) -

efekty odwrotne do

zamierzonych

(7) Przeciwskuteczność prosta

(wynik odwrotny do

zamierzonego)

(8) Przeciwskuteczność plus

korzyść (wynik odwrotny w

przypadku celu zasadniczego przy

jednoczesnym uzyskaniu

pozytywnych skutków ubocznych)

(9) Przeciwskuteczność plus strata

(efekt odwrotny w przypadku celu

zasadniczego przy jednoczesnym

wystąpieniu negatywnych

skutków ubocznych)

Za: C. Demmke, T. Moilanen, Efektywność dobrego rządzenia i etyki w administracji centralnej: ocena wyników reform w kontekście kryzysu finansowego, 2011

Wyniki projektu w sensie brutto i netto

P.H. Rossi, M.W. Lipsey, H.E. Freeman, Evaluation: A Systematic

Approach, 2004, s. 207

Przed

projektem

W trakcie

projektu

Po projekcie

Zm

ian

a

po

zio

mu

wyn

ikó

wPoziom wyników po projekcie

Stan przed projektem

Wyniki

A

B

C

Czas

Wyniki brutto: A

Wyniki netto (wpływ projektu): B

Wyniki bez projektu: C = A - B

Co by było, gdyby nie zrealizowano projektu? Myślenie kontrfaktyczne