Ewaluacja w polityce społecznej -...

Ewaluacja w polityce społecznej

Modele, metody i techniki ewaluacji

Dr hab. Ryszard Szarfenberg

rszarf.ips.uw.edu.pl/ewalps/

http://www.ips.uw.edu.pl/rszarf/ewalps/



Model ewaluacji Pytania Kryteria ewaluacyjne

1. Modele rezultatów

Model osiągania celów W jakim stopniu zostały

osiągnięte cele?

Wyprowadzone na podstawie

celów

Model efektów Jakie są skutki programu? Otwarte, wszystkie konsekwencje

programu powinny zostać

uwzględnione przy ocenie

2. Model wyjaśniania procesu Czy podejmowane działania są

odpowiednie? Czy są problemy z

realizacją programu?

Proces analizuje się od pomysłu

do decyzji i realizacji oraz reakcji

grup docelowych

3. Model systemowy Jakie rezultaty osiąga całościowo

ujęty program?

Zrealizowane nakłady, procesy,

struktury i wyniki ocenione w

stosunku do zaplanowanych lub

porównawczo

4. Model teorii programu Co się sprawdza, dla kogo i w

jakim kontekście? Czy można

określić błędy w teorii programu?

Zrekonstruowana teoria

programu jest oceniana poprzez

analizę danych empirycznych

Sześć modeli ewaluacji

Hansen, 2005, s. 449

Sześć modeli ewaluacji cd. Model ewaluacji Pytania Kryteria ewaluacyjne

5. Modele ekonomiczne

Koszty-efektywność Czy produktywność jest

satysfakcjonująca?

Produkt mierzony w stosunku

do wydatków

Koszty-skuteczność Czy skuteczność jest

satysfakcjonująca?

Efekt mierzony w stosunku do

wydatków

Koszty-korzyści (w dłuższym

okresie)

Czy użyteczność jest

satysfakcjonująca?

Użyteczność mierzona w

stosunku do wydatków

6. Modele aktora

Ukierunkowane na klienta Czy klienci są zadowoleni?

Czy ich potrzeby są

zaspokojone?

Sformułowane przez klienta

Ukierunkowane na

interesariuszy

Czy interesariusze są

zadowoleni? Czy ich potrzeby

są zaspokojone?

Sformułowane przez

interesariuszy

Model oceny przez

środowisko (peer review)

Czy profesjonalna jakość jest

na odpowiednim poziomie?

Sformułowane przez osoby z

danego środowiska

Hansen, 2005, s. 449

Jak wybrać model ewaluacji?

• Kryterium 1: wybór modelu zależy od celu ewaluacji

• Kryterium 2: wybór modelu zależy od cech ewaluowanego programu

• Kryterium 3: wybór modelu zależy od problemu, który ma rozwiązywać ewaluowany program

Kryterium celu ewaluacji Projekt ewaluacji Cel ewaluacji

Kontrola nad programem Uczenie się

Model ewaluacji Model ukierunkowany na

rezultaty

Model wyjaśniania procesu

Organizacja Odgórna Autoewaluacja lub zewnętrzny

ekspert/konsultant

Kryteria Wyprowadzone z celów na

wyższym poziomie hierarchii

organizacji

Wyprowadzone na podstawie

życzeń interesariuszy

Metoda Przede wszystkim ilościowy

pomiar efektów

Przede wszystkim badania

jakościowe procesu

Upowszechnianie

rezultatów ewaluacji

W górę hierarchii

organizacynej

Poprzez interakcje z wieloma

zainteresowanymi stronami

Zastosowania Sankcje i decyzje kontrolne

wydawane przez

zwierzchników

Zwiększenie wiedzy i

świadomości lokalny rozwój

organizacyjny

Hansen, 2005, s. 452

Kryterium cech ewaluowanego programu

Cele programu Wiedza o teorii programu

Doskonała Niedoskonała

Jasne, mierzalne,

ograniczone w czasie,

niekwestionowane

Model ekonomiczny Model osiągania celów

Niejasne, niemierzalne, bez

ograniczenia czasowego,

kontrowersyjne

Ewaluacja porównawcza Ewaluacja porównawcza

Ewaluacja porównawcza – benchmarking:

- na podstawie porównania do wyznaczonego poziomu wyników (standard)

- na podstawie porównania ze średnimi wynikami wielu podobnych programów

- na podstawie porównania z programami uznawanymi za „najlepsze praktyki”

Hansen, 2005, s. 453

Kryterium cech cd.

Model w stosunku do

państwa Kontekst organizacyjny Model ewaluacji

Suwerenny Demokracja

parlamentarna Model osiągania celów

Autonomiczny Profesje (m.in.

społeczne)

Model oceny

środowiskowej

Negocjacyjny

Zainteresowane strony

(np. partnerzy

społeczni)

Model interesariuszy

Odpowiedni do potrzeb

(responsive)

Klienci (np. publicznych

szkół, szpitali, ośrodków

pomocy)

Model ukierunkowany

na klienta

Hansen, 2005, s. 454

Podejścia

ewaluacyjne

z informacją

o metodach

Olejniczak, Teoria…, s. 33

Metody - zbliżenie • Jakie dane są potrzebne do ewaluacji programu społecznego?

– O celach programu

– O planach programu

– O działaniach programu

– O wynikach programu

• Jak uzyskać te dane? Metody uzyskiwania danych, np. lektura dokumentów programu, obserwacja, ankieta, wywiad, dyskusja

• Jak analizować uzyskane dane? Metody analizy danych, np. opisowe, klasyfikacyjne, przyczynowe

• Jak na podstawie uzyskanych danych i wniosków z ich analizy ocenić jakość i wartość programu? Metody ewaluacji, np. skale ocen jakości, agregowanie ocen cząstkowych

Uzyskanie danych

Od źródeł danych do oceny Źródła danych

Dane

Wyniki analizy danych, np. opis, klasyfikacja,

wyjaśnienie

Określenie jakości i wartości programu

Analiza przedewaluacyjna

danych

Analiza ewaluacyjna

Metody uzyskiwania

danych

Metody analizy danych

Metody analizy

ewaluacyjnej

Typowe badania

naukowe

Proces

badawczy

E. Babbie, Badania

społeczne w praktyce, s. 128

Etapy procesu badawczego

F. Sztabiński, Podstawowe techniki badań

socjologicznych w ewaluacji

Rodzaje danych • Nominalne, porządkowe, przedziałowe,

interwałowe

• Ilościowe (liczby), jakościowe (teksty, zdjęcia, zapisy rozmów, filmy)

• Subiektywne (opinie badanych), obiektywne (niezależne od opinii badanych)

• Przekrojowe, panelowe (wzdłużne, szeregi czasowe)

• Pierwotne, wtórne (przetworzone)

• Wywołane (zebrane w badaniu), zastane (dane z innych badań)

Pomiar i dane nominalne,

porządkowe, interwałowe i

ilorazowe

E. Babbie, Badania

społeczne w

praktyce, s. 158

Techniki zdobywania danych empirycznych

J. Lutyński, za: L. A. Gruszczyński,

Kwestionariusze w socjologii



Metody uzyskiwania danych

Metody uzyskiwania danych - wywiad

M. Theiss, Metody zbierania

danych - wywiady socjologiczne

Wywiad grupowy a wywiad fokusowy

Wywiad grupowy opisuje …

sytuację, w której odpowiedzi

na postawione przez badacza

pytania udziela kilku-

kilkunastoosobowa grupa

respondentów. Może mieć on

różne formy – grupą

respondentów mogą być

członkowie gospodarstwa

domowego, kilkuosobowa

grupa pracowników instytucji

lub kilkunastoosobowa grupa

odbiorców określonego

programu

Szczególnym typem wywiadu grupowego jest wywiad

zogniskowany (fokusowy). … wyróżnikiem jest specyficzny

dobór respondentów i forma prowadzenia tego typu badania.

Specyfika doboru respondentów polega na zgromadzeniu w

badaniu fokusowym stosunkowo niewielkiej (ok. 4-12, zwykle

7-8 osobowej) grupy rozmówców, których łączy określone

wspólne doświadczenie, będące przedmiotem rozmowy…

Poszukiwanie w wywiadzie fokusowym „obszaru zgody”

między respondentami to coś więcej, niż np. liczenie, ile osób

zgadza się z danym stanowiskiem. Przesłanką dla realizacji

wywiadu grupowego tego typu jest raczej próba

„uwspólnienia perspektywy” – znalezienia wspólnego języka

lub definicji sytuacji, np. opisującej określony problem

lokalny, czy funkcjonowanie programu. Celem takiego

wywiadu może być więc przykładowo odpowiedź na pytania:

jak dana grupa odbiorców postrzega korzyści z programu, jak

wypowiada się o programie, jak postrzega jego rolę dla

społeczności lokalnej, itp.

M. Theiss, Metody zbierania

danych - wywiady socjologiczne

Wywiad kwestionariuszowy a wywiad pogłębiony

Wywiad kwestionariuszowy Wywiad pogłębiony Charakter badania

Ilościowy – celem badania jest ustalenie skali zjawiska

Jakościowy – celem badania jest ustalenie charakteru zjawiska

Dobór respondentów

Szczególnie wskazana – reprezentatywna próba losowa lub

badania całościowe lub dobór celowy ze względu na określone

kryterium

Zwykle dobór celowy lub nielosowy, podyktowany

dostępnością określonych respondentów

Narzędzie Kwestionariusz (zbiór pytań o ściśle ustalonej kolejności, obejmujący

pytania zamknięte – z odpowiedziami do wyboru)

Scenariusz wywiadu (zespół pytań – wątków do poruszenia, o

częściowo dowolnej kolejności)

Elastyczność narzędzia

Bardzo mała – wszystkim respondentom zadaje się

identyczne pytania

Bardzo duża – scenariusz jest dostosowywany do naturalnego

przebiegu rozmowy

M. Theiss…

Badania sondażowe - techniki



Badania sondażowe - techniki

Strona WWW e-mail

CATI CAWI PAPI



Ankieta

audytoryjna

Ankieta

pocztowa

Rodzaje pytań kwestionariuszowych

L. A. Gruszczyński,

Kwestionariusze w

socjologii , s. 84-86

Rodzaje pytań kwestionariuszowych cd.

L. A. Gruszczyński,

Kwestionariusze w

socjologii , s. 84-86

Zalety i wady pytań otwartych i zamkniętych

A. N. Oppenheim,

Kwestionariusze,

wywiady, pomiary

postaw, s. 137

Wybrane zasady formułowania pytań

F. Sztabiński w: Ewaluacja wobec wyzwań

stojących przed sektorem finansów publicznych

Wybrane zasady formułowania pytań cd.



Podstawowe źródła błędów

1. niedostosowanie pytania do sytuacji Respondenta,

2. trudność pytania dla Respondenta,

3. niejasność pytania dla Respondenta,

4. drażliwość pytania dla Respondenta oraz

5. sugestia zawarta w pytaniu



Badania ilościowe a jakościowe

D. Silverman, Prowadzenie

badań jakościowych, s. 151

Badania ilościowe a jakościowe – często kontrastowane cechy

Ilościowe Jakościowe

Liczby Słowa

Punkt widzenia badacza Punkt widzenia uczestników

Badacz na odległość Badacz jest blisko

Testowanie teorii Tworzenie teorii

Statyczne Proces

Standaryzowane Niestandaryzowane

Uogólnienie Kontekstowe rozumienie

Twarde wiarygodne dane Bogate, głębokie dane

Poziom makro Poziom mikro

Zachowania Znaczenie

Sztuczne warunki Warunki naturalne

A. Bryman, Social research

methods, s. 285

Metody ilościowe i jakościowe



Dane i metody ilościowe

• Źródła danych, np.:

– Urzędowe rejestry z danymi o populacji

– Wypełnione ankiety

• Metody analizy danych, np.:

– Statystyka opisowa

– Statystyczne testowanie hipotez (wnioskowanie statystyczne)

Jednostki analizy

E. Babbie…

Dobór próby Populacja 100

osób

Próba oparta na łatwej

dostępności, łatwa ale

niereprezentatywna dla

populacji

E. Babbie…

Przebadanie

wszystkich 100

osób nie jest dużym

problemem, ale

przy większych

populacjach jest to

już większy kłopot

Dobór losowy

E. Babbie…

Próba warstwowa

Populacja została uporządkowana według płci i rasy, od losowo

wybranego numeru „3” losowana jest co 10 osoba E. Babbie…

Badania eksperymentalne

Grupa docelowa losowanie losowanie

Program społeczny

Problem do rozwiązania

Potrzeba do zaspokojenia

Wpływ programu

Babbie…, s. 248,

257

PE1

PK1

PE2

PK2

d=(PE2-PE1)-(PK2-PK1)

program społeczny

Procedura 1. Gdy mamy już wybrane dwie grupy, eksperymentalną i kontrolną, w

obu grupach dokonujemy pomiaru przynajmniej wartości zmiennej zależnej - tego na co chcemy wpłynąć działaniem (czyli wykonujemy tzw. pretest)

2. Następnie grupę eksperymentalną poddajemy oddziaływaniu bodźca, czyli danego działania z zakresu programu / projektu społecznego (ma on zmienić wartość zmiennej zależnej)

3. Po odpowiednim czasie ponownie dokonujemy pomiaru wartości zmiennej zależnej w obu grupach (czyli wykonujemy tzw. posttest).

• Jeśli pretest w grupie eksperymentalnej oznaczymy PreE1, zaś w grupie kontrolnej PreK1, natomiast posttest w grupie eksperymentalnej PostE2, zaś w grupie kontrolnej PostK2, wówczas wpływ bodźca (programu) wyraża różnica (d), którą obliczamy korzystając z poniższego wzoru:

d = (PostE2 - PreE1) - (PostK2 - PreK1)

A. Kurowska, Schematy badań –

metody eksperymentalne i quasi-

eksperymentalne

Dane i metody jakościowe • Źródła danych, np.:

– Notatki z obserwacji

– Zdjęcia, filmy

– Treść dokumentów publicznych i osobistych

– Zapisane wypowiedzi, rozmowy

– Treść przeprowadzonych wywiadów swobodnych

• Metody analizy, np.:

– Analiza dyskursu

– Analiza indukcyjna

– Metoda teorii ugruntowanej

Cele badań jakościowych • Zdobycie ogólnych, wstępnych, podstawowych informacji o temacie zainteresowania

(badanie eksploracyjne)

• Generowanie / opracowywanie hipotez badawczych, które mogą być poddane dalszemu badaniu i testowane przy użyciu technik ilościowych

• Stymulowanie powstawania nowych pomysłów i konceptów kreatywnych (reklamowych)

• Diagnozowanie potencjalnych problemów związanych z nowymi produktami, usługami, programami

• Zbieranie wrażeń dotyczących produktów, programów, usług, instytucji i innych przedmiotów zainteresowania

• Zdobywanie wiedzy o tym, jak respondenci mówią o przedmiocie badania, co może ułatwić tworzenie kwestionariuszy, narzędzi do sondaży i badań ilościowych

• Interpretowanie uprzednio zebranych danych / wyników ilościowych

Prezentacja, Badania jakościowe w ewaluacji - FGI

Dane i metody ilościowe i jakościowe

Za: Impact of Economic Policies on Poverty and Income

Distribution, s. 169

Typy danych i metody w kontekście programów rozwojowych

Metody

Dane

Jakość Ilość

Ilość

Jakość

Typowe badania gospodarstw

domowych Subiektywny dobrostan

Antropologia ekonomiczna

(ekonometria uczestnicząca)

Porównania małej liczby

przypadków

Etnografia

Rapid Rural Appraisal,

Participatory Rural Appraisal

Metody mieszane

• Model 1: metody jakościowe (dane i wyniki) zastosowane w celu rozwoju narzędzi zbierania danych ilościowych

• Model 2: metody jakościowe zastosowane w celu ubarwienia metod ilościowych

• Model 3: metody jakościowe zastosowane w celu wyjaśnienia wyników metod ilościowych

• Model 4: metody ilościowe i jakościowe zastosowane równolegle w celu osiągnięcia wyników

WYNIKI

WYNIKI

WYNIKI

WYNIKI

ILOŚCIOWE JAKOŚCIOWE

JAKOŚCIOWE

ILOŚCIOWE

ILOŚCIOWE

JAKOŚCIOWE

Jakościowe metody stosowane są w celu rozwijania

ilościowych miar i instrumentów

Ilościowe metody stosowane są w celu ubarwienia badania

przede wszystkim jakościowego

Metody jakościowe stosowane są w celu wyjaśnienia wyniki analizy

ilościowej

ILOŚCIOWE JAKOŚCIOWE

Metody jakościowe i ilościowe stosowane są w równym stopniu i

równolegle

ILO

Dane &

wyniki

Interpretacja

JAK

dane &

wyniki

ILO

Pre-test

Dane &

wyniki

ILO

Post-test

Dane &

wyniki

Interwencja

JAK

proces

Interpretacja

Model triangulacji

Model zagnieżdżony

Modele równoległe metody mieszanej

J. Creswell, Mixed Methods Research: State of the Art

Modele sekwencyjne metody mieszanej

ILO

Dane &

wyniki

Interpretacja

JAK

Dane &

wyniki następstwo

JAK

Dane &

wyniki

ILO

Dane &

wyniki

Interpretacja

nadbudowa

Przed

interwencją

ILO

JAK Interwencja

Po

interwencji

ILO

Interpretacja

Model eksplorujący

Model wyjaśniający

Model sekwencyjny zagnieżdżony

J. Creswell, Mixed Methods Research: State of the Art

Modele

równoległe

(równoczesne)

Crewswell et al. An Expanded Typology for Classifying Mixed Methods Research Into Designs

Równoczesne triangulacyjne

Równoczesne zagnieżdżone

ILO

Zbieranie danych

JAK

ILO

Zbieranie danych

JAK

Zbieranie danych

ILO

ILO

Analiza danych JAK

Analiza danych

Porównanie wyników

ILO JAK

jak ilo

Analiza wyników Analiza wyników

Modele

sekwencyjne

Crewswell et al. An Expanded Typology for Classifying Mixed Methods Research Into Designs

Sekwencyjne wyjaśniające

Sekwencyjne eksploracyjne

ILO jak

JAK ilo

ILO

Zbieranie

danych

ILO

Analiza

danych

jak

Zbieranie

danych

jak

Analiza

danych

Interpretacja

całości

analizy

JAK

Zbieranie

danych

JAK

Analiza

danych

ilo

Zbieranie

danych

ilo

Analiza

danych

Interpretacja

całości

analizy

Metody stosowane w ewaluacji – ilustracja 1

K. Olejniczak…

Analiza SWOT/TOWS Analiza wzajemnych powiązań:

1. Czy dana mocna strona pozwoli nam

wykorzystać daną szansę?

2. Czy dana mocna strona pozwoli nam

zniwelować dane zagrożenie?

3. Czy dana słaba strona ogranicza

możliwość wykorzystania danej

szansy?

4. Czy dana słaba strona potęguje

ryzyko związane z danym

zagrożeniem?

Analizę można też przeprowadzić w

odwrotnym kierunku, tzn. od zewnątrz do

wewnątrz (TOWS):

1. Czy dana szansa wzmacnia daną

silną stronę?

2. Czy dana szansa pozwala zniwelować

daną słabość?

3. Czy dane zagrożenie niweluje daną

silną stronę?

4. Czy dane zagrożenie uwypukla daną

słabość? Wikipedia

(cec

hy

org

aniz

acji)

(c

echy

oto

czen

ia)

Matryca logiczna

P. Sadowski: http://www.pwsz-kalisz.edu.pl/rozklady/w8.pdf

Metaplan

Metody stosowane w ewaluacji – ilustracja 2

Sondaże

Przegląd literatury

Przegląd dokumentów

Wizytacje innych programów

Technika delficka

Obserwacje na miejscu

Studia przypadków

Metody porównawcze i

eksperymentalne

Wywiady z interesariuszami

Grupy fokusowe

Wysłuchania

Analiza kosztów

Analiza danych zastanych

Ewaluacja wolna od celów

Dokumentacja fotograficzna

Synteza, raport ostateczny

Zespoły rozwoju i oceny

alternatywnych strategii

działania

Bazy danych programu, profil

programu

Raporty zadań / spotkania

na temat doświadczeń

METODY

Kontekst Proces Wpływ Nakłady Efektywność Trwałość Przenośność

Metodologia dokonywania ocen ewaluacyjnych

Uzyskanie danych

Od źródeł danych do oceny Źródła danych

Dane

Wyniki analizy danych, np. opis, klasyfikacja,

wyjaśnienie

Określenie jakości i wartości programu

Analiza przedewaluacyjna

danych

Analiza ewaluacyjna

Metody uzyskiwania

danych

Metody analizy danych

Metody analizy

ewaluacyjnej

Kroki w analizie ewaluacyjnej 1

1. wybór kryteriów ewaluacyjnych odpowiednich dla danego przedmiotu (odpowiadamy na pytanie, jakie kryteria oceny powinien mieć dany program działań służb społecznych, pod jakimi względami mamy go ocenić?);

2. określenie ważności poszczególnych kryteriów (np. kryterium użyteczności wydaje się ważniejsze od kryterium skuteczności, ale o ile ważniejsze? Na jakiej skali mamy to oceniać?);

Kroki w analizie ewaluacyjnej cd.

3. określenie miar lub skal potrzebnych do pomiaru wyników ewaluowanego programu;

4. podział miar lub skal na przedziały i przypisanie im ocen, ustalenie progów minimalnych ocen pozytywnych;

5. po uzyskaniu ocen cząstkowych agregowanie ich do oceny łącznej z uwzględnieniem ustalonych wcześniej wag

Metoda ewaluacji – przykład ewaluacji szkolnej

Zadania ewaluacyjne Oceny cząstkowe

Wybór kryteriów ewaluacji

Określenie wagi

kryteriów

Wymiar kryteriów

Określenie wagi

wymiarów Uczeń A Uczeń B

Uczestnictwo mało

ważne

obecność mało ważna bardzo dobrze poniżej

minimum

aktywność bardzo ważna

bardzo aktywny

średnio aktywny

Wiedza średnio ważna

test wiadomości

bardzo ważny

celujący dobry

Umiejętności bardzo ważne

praca pisemna

średnio ważna

dobra bardzo dobra

zadanie praktyczne

bardzo ważna

dostateczny plus

dobry

Metoda ewaluacji – przykład ewaluacji porównawczej dwóch programów lub alternatyw

Zadania ewaluacyjne Oceny cząstkowe, opisowe

Wybór kryteriów ewaluacji

Określenie wagi

kryteriów

Wymiar kryteriów

Określenie wagi

wymiarów Program A Program B

Koszty Średnio ważne

pieniądze Średnio ważne

Umiarkowanie drogi

Bardzo drogi

czas bardzo ważny

Krótki czas Średni czas

Efektywność średnio ważna

Ilość usług do kosztu

bardzo ważny

Wysoka Średnia

Skuteczność bardzo ważna

Ilu pomógł średnio ważna

dobra bardzo dobra

Jak bardzo pomógł

bardzo ważna

dostateczny plus

dobry

Jak dobrać kryteria?

• Cele programu jako kryteria jego oceny, ale muszą być one

S – konkretne, jednoznaczne, jasne

M – mierzalne, sprawdzalne

A – akceptowalne, stosowalne, uzgodnione

R – realistyczne, do osiągnięcia

T – określone w czasie, z konkretnymi terminami

E – etyczne, ekscytujące, angażujące

R – nagradzające, poświadczone

Jakość kryteriów – prakryteria

Sześć strategii wyznaczania ważności kryteriów 1. Zebranie opinii interesariuszy (sondaż dotyczący hierarchii

ważności)

2. Oparcie się na wiedzy wybranych interesariuszy (wywiady z najlepiej poinformowanymi)

3. Przegląd literatury na temat programów danego typu

4. Wykorzystanie ocen specjalistów od danych programów (co zwykle odpowiada za sukces lub porażkę programów danego typu?)

5. Wykorzystanie informacji zgromadzonych w trakcie diagnozy potrzeb (zaspokojenie których potrzeb ma mniej lub bardziej istotne znaczenie dla powodzenia lub niepowodzenia programu?)

6. Wykorzystanie teorii programu i informacji dotyczących związków przyczynowo-skutkowych między głównymi komponentami programu a jego pośrednimi wynikami

Jedna z metod ustalania hierarchii ważności kryteriów

Szablon do zestawienia kryteriów ewaluacyjnych

Nazwa

kryterium

Krótki opis i

definicja

kryterium w

kontekście

ewaluowanego

programu

Miary i skale

do pomiaru

wyników

programu pod

względem

danego

kryterium

Informacja o

wielkości

progu

minimalnego

na danej skali,

o ile taki

przewidziano

Pozycja danego

kryterium na

wybranej skali

ważności

… … …. …. ….

… … …. …. ….

… … …. …. ….

… … …. …. ….

np. jaki poziom

kosztów jest

nieakceptowalny,

jaka skuteczność

jest

nieakceptowalna

np. skala kosztów

– skala pieniężna,

skala czasu;

skala

skuteczności –

odsetek osób,

którym program

znacząco pomógł

np. bardzo ważne,

średnio ważne,

umiarkowanie

ważne

Same wyniki programu nie są jeszcze ocenami

Opisowa informacja dotycząca wyników

Wskazówki na temat określania stopnia jakości

lub wartości

Wnioski o charakterze

ewaluacyjnym +

np. program

kosztował 1000 zł

na uczestnika,

skuteczność

wyniosła 50%

np. koszt poniżej

500 zł na

uczestnika –

bardzo tanio….,

skuteczność 30%

-

nieakceptowalna

…

np. koszt

programu

umiarkowanie

drogi,

skuteczność

dostateczna

Tabela konwersji

Ocena Wyjaśnienie

Celująca Przykład najlepszej praktyki nie pozostawiający żadnych

wątpliwości; oceny najwyższe pod każdym względem; żadnych

słabości

Bardzo dobra Bardzo dobre wyniki pod wszystkimi lub większością względów;

ogólnie bardzo dobry, ale nie będący wzorem; brak słabości, które

miałyby znaczące konsekwencje

Dobra Dobre ogólne wyniki; może mieć kilka umiarkowanych słabości, ale

żadnej poważnej

Dostateczna Wyniki zadawalające; kilka poważnych, ale nie krytycznych

słabości pod kilkoma względami

Mierna lub

niedostateczna

Nie pozostawiające wątpliwości dowody niezadawalającego

funkcjonowania; poważne słabości pod prawie wszystkimi

względami lub w przypadku najważniejszych kryteriów

E. J. Davidson, op. cit., s. 136

Jakie wyniki i pod jakim względem będą decydowały o ocenie programu?

Tabela konwersji dla ocen relatywnych

Ocena Wyjaśnienie

Najlepsza

praktyka

Alternatywa mająca najlepszy stosunek kosztów do

skuteczności

Powyżej

średniej

Znacząco lepszy stosunek kosztów do skuteczności niż

większość innych alternatyw

Średnia W przybliżeniu ma taki stosunek kosztów do skuteczności

jak większość alternatyw

Poniżej średniej Znacząco gorszy stosunek kosztów do skuteczności w

porównaniu z większością alternatyw

Najgorsza

praktyka

Bez wątpienia najgorszy stosunek kosztów do

skuteczności spośród dostępnych alternatyw

Źródło: E. J. Davidson, op. cit., s. 146.

Przykład dla wyników na skali koszty do skuteczności

WAGI

SKALA OCEN

KRYTERIA

Profil ewaluacyjny

Dostateczny

Bardzo ważne

Ważne

Mało ważne

Mierny Bardzo

dobry Dobry Celujący

Krytycznie ważne

Kryterium 2

Kryterium 3

Kryterium 4

Kryterium 1

Davidson…, s. 101

Profil ewaluacyjny Kryterium Wymiary Oceny

M DST DB BDB C

K1 (krytycznie ważne) W1K1

W2K1

W3K1

K2 (bardzo ważne) W1K2

W2K2

W3K2

K3 (umiarkowanie

ważne)

W1K3

W2K3

W3K3

K4 (pożądane) W1K4

W2K4

W3K4

Źródło: E. J. Davidson, op. cit., s. 168 (tabela uproszczona przez autora)

Oceny łączne dla poszczególnych kryteriów – przykładowe zasady konwersji

Celująca ocena łączna wydawana jest, gdy:

1) co najmniej połowa ocen cząstkowych jest równa celującej,

2) żadna z ocen cząstkowych nie jest niższa niż dobra,

3) żadna z ocen cząstkowych nie jest niższa niż dostateczna; ???

Bardzo dobra ocena łączna wydawana jest gdy:

1) co najmniej połowa ocen cząstkowych równa jest bardzo dobrej lub jest

wyższa,

2) żadna z ocen cząstkowych nie jest niższa niż dobra,

3) żadna z ocen cząstkowych nie jest niższa niż dostateczna;???

Dobra ocena łączna wydawana jest gdy:

1) co najmniej połowa ocen cząstkowych równa jest dobrej lub jest

wyższa,

2) mniej niż 35% ocen cząstkowych jest niższa niż dobra,

3) żadna z ocen cząstkowych nie jest niższa niż dostateczna.

4) ……

Ocena łączna

programu

(syntetyczna,

przykładowe

zasady)

Warunki, jakie muszą spełniać oceny cząstkowe wydane pod względem

poszczególnych kryteriów ewaluacyjnych

Wszystkie kryteria Krytycznie i bardzo

ważne kryteria

Umiarkowanie ważne i

pożądane kryteria

Najwyższa

jakość

Żadna z ocen cząstkowych nie

może być niższa niż dobra i

znacząca większość (np. 80%)

powinna być równa celującej

Ocenione jako dobre

lub wyżej

Tylko jedno może być

ocenione jako dobre, a

pozostałe mają mieć oceny

bardzo dobre lub celujące

Bardzo wysoka

jakość

Żadna z ocen cząstkowych nie

może być niższa niż dobra i

znacząca większość (np. 80%)

powinna być bardzo dobra lub

celująca

Maksymalnie jedna

ocena dobra,

wszystkie inne bardzo

dobre lub celujące

Maksymalnie dwie oceny

dostateczne, pozostałe

ocenione jako dobre lub

wyższe

Wysoka jakość Znaczna większość (np. 80%)

ocen co najmniej dobra lub

lepsza

Maksymalnie jedna

ocena dostateczna,

pozostałe dobre lub

wyższe

Nie więcej niż jedna ocena

mierna

Umiarkowana

jakość

Nie więcej niż dwie oceny

mierne

Żadnych ocen

miernych

Nie więcej niż jedna ocena

mierna

Niska jakość Jedna lub więcej ocena mierna pod względem kryteriów krytycznie i bardzo

ważnych albo więcej niż dwie oceny mierne

Macierz ewaluacyjna

Kryteria Wymiary, miary

Wagi Ocena trzech podobnych programów społecznych

A B C K1 MK1.1… WDK1.1… OC1A OC1B OC1C K2 MK2.1… WDK2.1… OC2A OC2B OC2C K3 MK3.1… WDK3.1… OC3A OC3B OC3C

Ocena łączna OŁA OŁB OŁC Ranking ewaluacyjny * *** **

W przypadku większej liczby wymiarów dla poszczególnych kryteriów –

najpierw ocena łączna dla danego kryterium, a następnie ocena łączna

dla wszystkich kryteriów, aby w końcu dokonać porównań ocen i dojść do

rankingu ewaluacyjnego

Ewaluacja wielu programów – ilościowe metody relatywne

1. Obliczenie sumy ważonej – oceny i wagi sprowadzamy do liczb i obliczamy sumy ocen pomnożonych przez wagi O1*W1+O2*W2+…OnWn = Ważona Ocena Łączna

• Metoda ta ma sens gdy: – liczba kryteriów ewaluacyjnych nie jest duża

– uwzględnione zostały progi minimalne, o ile takie ustanowiono dla niektórych kryteriów

– określenie ważności kryteriów zostało przeprowadzone w sposób nie budzący wątpliwości np. na podstawie diagnozy potrzeb

2. Porównanie sum ważonych => ranking ewaluacyjny według wielkości sum ważonych, lepsze są te programy, dla których suma jest większa

Ewaluacja wielu programów – jakościowe metody relatywne

• Wagi mają charakter nieliczbowy – symboliczny

• Skala ważności wyrażana jest w kategoriach maksymalnej możliwej wartości przypisanej najlepszemu wynikowi pod względem danego kryterium

• Każdemu ze stopni ważności (bardzo wartościowy, średnio wartościowy, umiarkowanie wartościowy) przyporządkowujemy trzy różne symbole, np. gwiazdka, trójkąt i plus

Jakościowe metody relatywne - przykład

• Ustalenie wag dla programu szkoleń

– najlepszy wynik pod względem tego, czy program szkoleń był interesujący dla uczestników może być uznany za umiarkowanie wartościowy (plus)

– najlepszy wynik pod względem dopasowania programu i treści do potrzeb uczestników - jako średnio wartościowy (trójkąt)

– najlepszy wynik pod względem kosztów dla organizacji wysyłającej pracowników na szkolenie - jako bardzo wartościowy (gwiazdka)

Jakościowe metody relatywne – tabela wyników

Kryterium

ewaluacyjne

Maksymalna

wartość, wagi

Symbol rzeczywistej wartości

Program 1 Program 2

K1 Gwiazdka Gwiazdka Trójkąt

K2 Gwiazdka Trójkąt Gwiazdka

K3 Trójkąt Trójkąt Plus

K4 Trójkąt Trójkąt Plus

K5 Plus Plus

Łącznie

Liczba gwiazdek 1 1

Liczba trójkątów 3 1

Liczba plusów 3

Osiąganie dobrych wyników dla kryteriów

K1 i K2 jest bardzo wartościowe, dla

kryteriów K3 i K4 średnio wartościowe, a

dla K5 – umiarkowanie wartościowe

Program 1 osiągnął lepszy wynik od

programu 2 pod względem kryterium

bardzo wartościowego K1 (gwiazdka

dla najlepszego, trójkąt dla

drugiego), i odwrotnie dla K2 itd..

Jeden z podstawowych wniosków

• Pytanie, czy i jaki wpływ miał program działań służb społecznych na sytuację (dobro) zamierzonych klientów ma charakter przedewaluacyjny

• Dokładny pomiar tego wpływu jest oczywiście potrzebny, ale daje jedynie podstawę do wydania oceny, co wymaga – jak widzieliśmy wyżej – metodycznego postępowania o innym charakterze (analiza ewaluacyjna)

Ewaluacja w polityce społecznej -...

Documents

Transcript of Ewaluacja w polityce społecznej -...