Metody ewaluacji programu zdrowotnego.

Metody ewaluacji programów zdrowotnych

Romuald Litwin, MPADyrektor, Dział Badań i Rozwóju (B&R)

Wrocławski Medyczny Park Naukowo-Technologiczny

Ile jest warte ludzkie życie?• Dwa sposoby oceny (monetarnej) wartości „ludzkiego życia”:

– wartość jednego roku „zdrowego życia”– wartość całego ludzkiego życia

• Bardzo różne estymatory:– $50,000/rok zdrowego życia – firmy ubezpieczeniowe– $129,000/rok zdrowego życia – Stanford University w oparciu o

analizę kosztów dializy nerek– $9.1 mln. – Fed. Agencja Ochrony Środowiska (US EPA)– $7.9 mln. – Fed. Agencja d/s Żywności i Leków (US FDA)– $6.0 mln. – Fed. Agencja d/s Transportu (US TD)– $5.0 mln. – Ohio State University w oparciu o analizę kosztów

związanych z bezpieczeństwem narodowym

Dlaczego „ewaluacja”?• Działania sektora publicznego, choć prowadzone w

warunkach rynkowych, nie mogą byc oceniane w kontekście osiagniętych zysków.

• Ewaluacja jest więc standardem współczesnego zarządzania w sektorze publicznym a jej podstawowymi celemi są podnoszenie– jakości, – spójności i – skuteczności

interwencji publicznych.• Ewaluacja ma dostarczać kryteriów, metod i środków do

oceny racjonalności działań publicznych

Przykładowe definicje ewaluacji• „Systematyczne badanie zalet /wad programu.”

(Joined Committee on Standards on Educational Evaluation)

• „Proces zmierzajacy do oceny w jakim stopniu założone cele są rzeczywiście realizowane.”

(R.W.Tyler: Basic Principles of Curriculum and Instruction)

• „Ewaluacją jest:– Ocena wartości projektu z zastosowaniem określonych kryteriów w celu

jego usprawnienia, rozwoju lub lepszego rozumienia– Zbieranie, analiza oraz interpretacja danych na temat znaczenia i wartości

projektu przy zwróceniu uwagi na zagadnienia istotne dla zainteresowanych– Ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności

projektu w kontekście założonych celów, porównywanie rezultatów projektu ze wstępnymi zamierzeniami”

(Polskie Towarzystwo Ewaluacyjne)

Czym jest ewaluacja?• Nie istnieje jednoznaczna definicja

– Brzmienie definicji wskazuje na jej zróżnicowanie ze wzgledu na cele jakim służy program (zdrowie, edukacja, bezpieczeństwo, itd.)

• Semantycznie: oszacowanie wartości – „ocena”– „ocena” to tylko jeden z elementów procesu; nie zawsze konieczny– „ewaluacja” to kompleksowa dziedzina wiedzy

• Cechy wspólne:– Systematyczność (systematic inquiry)

• rygor badawczy na metodach nauk społecznych• wnioskowanie poparte danymi

– Wielowymiarowość• bada jakość interwencji (merit quality)• efektywność interwencji (worth value)

– Ciągłość (continuity) • od działania do efektów

Funkcje ewaluacji1. Poprawa modeli planowania

– znalezienie racjonalnego uzasadnienia dla programu– zapewnienie optymalnej alokacji zasobów

2. Poprawa metod wdrażania i kontroli jakości– poprawa struktury i procedur– podnoszenie efektywności poprzez weryfikację zbieżności działań i celów

3. Wzmacnianie odpowiedzialności– poprawianie strategii informacji– upowszechnianie wiedzy na temat programu

4. Wspomaganie procesów uczenia się– wyjaśnianie czynników warunkujacych sukces lub porażkę programu– wyciąganie wniosków dla innych/podobnych programów

5. Wzmacnianie partnerstwa i poczucia współwłasności– wzmacnianie powiązań, relacji, współpracy– aktywizacja interesariuszy/graczy/uczestników

Etapyewaluacji

Zaangażowanie graczy

Opis programu

Planowanie

Pozyskanie informacji

Uzasadnienie wniosków

Raport i dyseminacja

Trafność

Efektywność

Skuteczność

Użyteczność

Kryter ia

Trwałość

Model ewaluacyjny

Trafność

Efektywność

Skuteczność

Użyteczność

Kryter ia

Trwałość

• Odniesienie celów programu do potrzeb beneficjantów/ uzytkowników

• Odniesienie efektów programu do poniesionych na jego realizację kosztów

• Odniesienie rzeczywistych efektów program do założonych celów

• Odniesienie rzeczywistych efektów program do potrzeb beneficjantów

• Określenie czy rezultaty działań przetrwają poza ramy czasowe programu

Zaangażowanie graczy• Gracze (interesariusze) - podmioty, które mogą wpływać na

program oraz pozostają pod wpływem jego oddziaływania:

Użytkownicy ewaluacji

Adresaciprogramu

Wdrażającyprogram

•Użytkownicy•Członkowie rodzin•Mieszkańcy•Lokalne organizacje•Politycy•Organizacje pożytku publicznego

•Instytucje wdrażajace•Kadra zarządzająca•Administratorzy•Liderzy koalicji lokalnych•Sponsorzy projektów

Ewaluacja nie może być przeprowadzona w izolacji. Przeciwnie, powinna raczej angażować najwiekszą mozliwą liczbę ‘graczy’.

Im wieksze zróżnicowanie ‘graczy’ uwikłanych w proces ewaluacji, tym większe szanse na ujecie ich unikalnej perspektywy, a więc wzbogacenie oceny; ergo, poprawę jakości programu

Codzienna interakcja

Ewaluacja


Opis programu

Planowanie




Opis programu• Sposób w jaki program zostanie opisany wobec graczy

wyznacza ścieżki postępowania dla całego procesu ewaluacji – nie każdy rozumie założenia w ten sam sposób

• Opis programu pozwala:– wyjaśnić/przypomnieć jakie są jego cele– wskazać na najważniejsze komponenty– ocenić czy program poddaje się modyfikacjom– określić jego stan rozwoju/funkcjonowania– wskazuje w jaki sposób program wpisuje się w otaczające go

środowisko, w wymiarach:• organizacyjnym• społecznym

• Podstawowy element umożliwiający poprawne zaplanowanie ewaluacji

Ewaluacja


Opis programu

Planowanie




7 elementów opisu programu (eksplikacja):1. Potrzeby2. Oczekiwania3. Działania4. Środki5. Model logiczny6. Kontekst7. Faza rozwoju

Opis programu: potrzeby -> środki

Ewaluacja


Opis programu

Planowanie



Raport i dyseminacjaPotrzeba Oczekiwania Działania Środki

Co trzeba wiedzieć, aby opisać problem ?

Jakie będą rezultaty działań?

Co musimy zrobić aby rozwiazać problem?

Jakiego rodzaju środki są potrzebne?

•Kogo dotyczy?•Jaka jest jego skala?•Czy się polepsza/pogorsza?

•Jakie są nasze oczekiwania?•Jakie są bezpośrednie i pośrednie oddziaływania?•Jakie są cele, misja i strategie programowe?

Jakie są konkretne strategie i działania, które musimy podjąć?

Precyzyjne określenie dostępnych środków:•czas•doświadczenie•merytoryka•informacja•Infrastruktura•pieniądze


Opis programu: model logiczny

Ewaluacja


Opis programu

Planowanie



Raport i dyseminacjaModel logiczny to rodzaj mapy, która ilustruje w jaki sposób

działania programu prowadzą do założonych celów.

Potrzeba Środki Logistyka Cele bezpośrednie

Celedalekie

Mamy problem...

...ale jeżeli......poprzez... ...przez co...

...to w rezultacie..

Duża liczba zgonów powodowanych nietrzeźwością wśród mężczyzn poniżej 21 roku życia

Wzrosną środki przeznaczone na:•policję•programy edukacyjne• reklama

•Wzmocnione kontrole drogowe•Materiały edukacyjne i szkolenia• spoty reklamowe/prasa

•Wzrośnie liczba mandatów drogowych•Poprawi sie wiedza na temat ryzyka•Zmienią się wzorce zachowań

Zmniejszy się liczba zgonów spowodowanych jazdą pod wpływem alkocholu


Opis programu: kontekst i faza

Ewaluacja


Opis programu

Planowanie



Raport i dyseminacjaKontekst opisuje wpływ czynników środowiskowych na

funkcjonowanie programu:• tło historyczne• polityka• wymiar społeczno-ekonomiczny• wymiar demograficzny• tło organizacyjne

Faza rozwoju programu wpływa na sposób w jaki bedzie on oceniany – w inny sposób zaplanowana zostanie ewaluacja nowego programu, a w inny programu kończącego się lub zakończonego.


Faza rozwoju programu

Cel ewaluacji

Planowanie Określenie planu działania

Wdrażanie Weryfikacja planu w warunkach naturalnych

Zakończenie Opis rezultatów (także niezamierzonych)

Planowanie

Ewaluacja


Opis programu

Planowanie



Raport i dyseminacjaFaza planowania skupia sie na roli poszczególnych graczy i

celach ewaluacji, najczęstrze cele ewaluacji to:• badanie skuteczności programu• zmiana procedur programowych• ocena wpływu programu na określoną populację• uzasadnienie wsparcia finansowego i politycznego

Użytkownicy informacji

(kto?)

Zastosowanie informacji

(jak?)

Cel(dlaczego?)

Pytania badawcze

(co dokładnie?)

Struktura(w jaki sposób?)

Metody(ilość vs jakość ?)

Umowy(co potem?)

Planowanie: przykład

Ewaluacja


Opis programu

Planowanie



Raport i dyseminacjaCele

programuPytanie badawcze

Strategiaintervencyjna

Celebezpośrednie

Celedalekie

zwiększenie sankcji prawnych za jazdę pod wpływem alkoholu

czy sankcje prawne i obecność patroli ograniczą liczbę kierowców po alkoholu?

Zwiekszenie liczby patroli

Zatrzymanie praw jazdy

Patrole losowe

Wieksza liczba mandatów.

Więcej spraw sądowych.

Ograniczenie liczby

wypadków powodowanyc

h przez nietrzeźwych kierowców

Podniesienie świadomości na temat ryzyka spożywania alkoholu i prowadzenia samochodu

czy działania edukacyjne wpłyną na ograniczenie liczby wypadków (zgonów) powodowanych alkoholem?

Zwiększenie liczby uczestników kursów jazdy defensywnej/bezpiecznej

Zwiekszenie liczby spotów reklamowych

Podniesienie świadomości ryzyka

Zmiana wzorca zachowań

Pozyskiwanie informacji

Ewaluacja


Opis programu

Planowanie




Źródło: R. Szarfenberg

Pozyskiwanie informacji: Metody

Ewaluacja


Opis programu

Planowanie



Raport i dyseminacjaBadania ilościowe przede wszystkim pozwalają odpowiedzieć

na pytanie: „ile?”, „co?” i „kiedy?”. Zazwyczaj są realizowane na stosunkowo dużych próbach respondentów, najczęściej reprezentatywnych dla populacji docelowej i pozwalają na uogólnienie uzyskanych wyników oraz stosowanie szeregu analiz statystycznych.

Badania jakościowe skoncentrowane są głównie na pojedynczych osobach lub małych grupach celowo dobranych osób i dotyczą na ogół czynników trudno wymiernych. Pozwalają nam odpowiedzieć na pytania „dlaczego?” i „jak?”. Głównymi celami tego typu badań jest poznanie motywów postępowania, dotarcie do nieujawnionych bezpośrednio przyczyn zachowania oraz interpretacja głęboko ukrytych potrzeb i emocji.

Pozyskiwanie informacji: Metody i Techniki

Ewaluacja


Opis programu

Planowanie




Pozyskiwanie informacji: Techniki ankietowe

Ewaluacja


Opis programu

Planowanie




Uzasadnianie wniosków

Ewaluacja


Opis programu

Planowanie



Raport i dyseminacjaUzasadnianie wniosków polega na uzasadnianiu tez

zwiazanych z funkcjonowaniem programu w oparciu o pozyskaną na jego temat wiedzą.

W ewaluacji wnioskowanie polega na konfrontowaniu wiedzy pozyskanej w ramach procedury ocennej z tym w jaki sposób program postrzegają gracze związani z programem.

Standardy programowe

Interpretacja danych

Ocenaprogramu Rekomendacje

Dyseminacja wiedzy

Ewaluacja


Opis programu

Planowanie



Raport i dyseminacjaDyseminacja wiedzy to kluczowy moment procesu ewaluacji, w

którym:•informujemy graczy o podjętych działaniach ewaluacyjnych•wyjaśniamy znaczenie poszczególnych danych/informacji•zalecamy zmianę sposobu działania•dokonujemy oceny funkcjonowania programu:• działa – nie działa• zbyt drogi – tani• efektywny – mało efektywny

•przygotowujemy wspólny komunikat• wykształcamy mechanizmy rozpowszechniania wiedzy

Przygotowanie komunikatu Dyskusja Scalenie

przekazuUpowszechnie

nie wiedzy

Dziękuję za uwagę

Metody ewaluacji programu zdrowotnego.

Documents

Transcript of Metody ewaluacji programu zdrowotnego.