Post on 12-Jun-2020
Badania ewaluacyjne
ETAPY BADAŃEWALUACYJNYCH2 ZAJĘCIA13.10.2008 R.
Etapy badań ewaluacyjnych� Opracowanie konceptualnego modelu badania i
zidentyfikowanie głównych punktów ewaluacji
� Opracowanie pytań ewaluacyjnych i opracowanie mierzalnych wskaźników
� Opracowanie planu ewaluacji� Zbieranie danych� Analiza danych
� Dostarczenie informacji zainteresowanym odbiorcom
Opracowanie konceptualnego modelu badania
� Aby poznać strukturę organizacyjną projektu� Aby zidentyfikować najbardziej krytyczne
elementy projektu/badania
„Model logiczny”WEJŚCIA DZIAŁANIA REZULTATY
KRÓTKOTERMINOWEREZULTATY
DŁUGOTERMINOWETERMINOWE
Model logiczny WEJŚCIA
Środki Programu Europejskiego Funduszu
Społecznego
Raporty WUP o spadku bezrobocia w województwie
podlaskim
Raporty o działalności NGO’sw województwie podlaskim
DZIAŁANIA
Promocja i rekrutacja do projektu
3 konferencje regionalne
4 seminaria „Lepiej rozumiemy prawo”
2 szkolenia dla Ośrodków Pomocy Społecznej
3 szkolenia dla NGO’s
4 szkolenia dla osób fizycznych
Coaching
Punkty informacyjno-doradcze
REZULTATY KRÓTKOTERMINOWE
450 uczestników konferencji
32 uczestników szkoleń dla PUP
16 modeli interpretacji przepisów prawnych
300 osób korzystających z punktów doradczych
Powstanie 4 podmiotów ES
118 uczestników szkoleń dla OPS
60 uczestników szkoleń dla NGO’s
112 uczestników szkoleń dla osób fizycznych
Dotarcie z akcją promocyjnądo wszystkich mieszkańców
województwa
REZULTATY DŁUGOTERMINOWETERMINOWE
Zwiększenie wiedzy na temat narzędzi aktywnej integracji oraz dobrych praktyk i ich stosowania
wśród pracowników pomocy społecznej
Podniesienie poziomu wiedzy i świadomości mieszkańców Podlasia
o ES
Zwiększenie wiedzy o ES wśród pracowników pomocy społecznej i
publicznych słuŜb zatrudnienia
Zmniejszenie barier organizacyjnych i prawnych związanych z zakładaniem
podmiotów ES
Opracowanie uniwersalnego modelu interpretacji przepisów prawnych z
dziedziny ES przez PUP
Opracowanie pytań ewaluacyjnych i mierzalnych wskaźników
� Identyfikacja kluczowych klientów i odbiorców badań ewaluacyjnych
� Sformułowanie pytań ewaluacyjnych zgodnych z interesem klientów i odbiorców
� Zdefiniowanie wskaźników� Uszeregowanie i sprecyzowanie pytań
Klienci i odbiorcy� MenedŜerowie i koordynatorzy projektu� Reprezentanci zleceniodawców� Beneficjenci (faktyczni i potencjalni)� Członkowie zespołu realizującego projekt� Naukowcy, dziennikarze� Członkowie wspólnoty
Matryca klientów/odbiorców
KATEGORIE ODBIORCÓWBADAŃ EWALUACYJNYCH
OKREŚLENIE OSÓB REPREZENTUJĄCYCH OKREŚLONĄ
KATEGORIĘ ODBIORCÓW
OCZEKIWANIA, INTERESY, WARTOŚCI POSZCZEGÓLNYCH ODBIORCÓW , MOGĄCE ODGRYWAĆ ROLĘ JAKO KRYTERIA ANALIZY I INTERPRETACJI BADAŃ EWALUACYJNYCH
Ewaluacja pracy prezydenta miasta
KATEGORIE ODBIORCÓWBADAŃ EWALUACYJNYCH
PREZYDENT MIASTA
USŁUGODAWCY PREZYDENTA
MIESZKAŃCY MIASTA
DZIENNIKARZE
UGRUPOWANIA POLITYCZNE
OKREŚLENIE OSÓB REPREZENTUJĄCYCH OKREŚLONĄ
KATEGORIĘ ODBIORCÓW
T. TRUSKOLASKI
GRUPA ESKADRA
PAN X. PANI Y ITD
KURIER PORANNY, GAZETA WYBORCZA ITD..
PLATFORMA OBYWATELSKA ITD
OCZEKIWANIA, INTERESY, WARTOŚCI POSZCZEGÓLNYCH ODBIORCÓW , MOGĄCE ODGRYWAĆ ROLĘ JAKO KRYTERIA ANALIZY I INTERPRETACJI BADAŃ EWALUACYJNYCH
JAK JESTEM OCENIANY, CZEGO LUDZIE OCZEKUJĄ, ZA CO MNIE CHWALĄ, ZA CO KRYTYKUJĄ ITD
JAKIE SĄ DOBRE, A JAKIE ZŁE STRONY WIZERUNKU PREZYDENTA? Z CZYM PREZYDENT SIĘ KOJARZY? ITD
CZY PREZYDENT REALIZUJE PROGRAM WYBORCZY? CZY LICZY SIĘ Z GŁOSEM OBYWATELI? CZY DZIAŁA ZGODNIE Z PRAWEM?
CZY PREZYDENT DZIAŁA W ZGODZIE Z INTERESEM PARTYJNYM? CZY PREZYDENT REALIZUJE PROGRAM WYBORCZY? ITD
Jakiej potrzebujemy informacji?� Czy zebrane informacje mają wpływ na powodzenie
realizacji projektu?� Kto będzie korzystał z informacji?� Czy uzyskanie informacji na określone pytanie jest
aktualnie moŜliwe?� Czy informacja jest waŜna dla wszystkich, czy jednej
grupy odbiorców?� Czy pytania da się przełoŜyć na mierzalne
wskaźniki?� Czy jest moŜliwe uzyskanie danych informacji biorąc
pod uwagę dostępne zasoby ludzkie i finansowe?
Algorytm definiowania celów ewaluacji
1. OGÓLNIE OPISZ ZADANIE PROJEKTU
2. SFORMUŁUJ POWYśSZE ODNOSZĄC SIĘ DO OGÓLNEGO CELU PROJEKTU
4. CZY DA SIĘ TO ROZBIĆ NA MNIEJSZE CZĄSTKI TAK, ABY DAŁO SIĘ PRECYZYJNIE OKREŚLIĆ, CO CHCIELIBYŚMY UJRZEĆ W FORMIE DOKUMENTU LUB ZMIANY?
3. SFORMUŁUJ CO, CO MA BYĆ PODDANE EWALUACJI TAK PRECYZYJNIE, JAK TO MOśLIWE
5. CZY JEST TO MIERZALNE? (CZY ISTNIEJĄ WSKAŹNIKI?) JEŚLI NIE, PRZEFORMUŁUJ PUNKT 3
Zasoby a ewaluacja
� Ludzie
� Czas� Pieniądze
Przygotowanie projektu ewaluacji
� Wybór podejścia metodologicznego i narzędzi zbierania danych
� Określenie, kto i kiedy będzie poddany ewaluacji
Wybór podejścia metodologicznego i narzędzi zbierania danych
� Metoda ilościowa� Metoda jakościowa
Określenie, kto i kiedy będzie poddany ewaluacjiProjektowanie ewaluacji wymaga określenia takich
czynników, jak:� Doboru badanych� UŜycia grup porównawczych� Czasu badania� Częstotliwości badania� Kolejności badań� Częstotliwości zbierania danych
Dobór badanych
Błędy towarzyszące doborowi
RODZAJ BŁĘDU PRZYCZYNA REMEDIA
BŁĄD DOBORUBADANIE CZĘŚCI , NIE ZAŚ
CAŁOŚCI POPULACJIWIĘKSZA PRÓBA , KTÓRA REDUKUJE , ALE NIE ELIMINUJE BŁĘDU DOBORU
OBCIĄśENIE PRÓBY
NIEKTÓRZY OBJĘCI EWALUACJĄ NIE BYLI OBJĘCI PROJEKTEM LUB DYSPONUJĄ NIEKOMPLETNĄ
INFORMACJĄ
POWTARZANIE PRÓB DOTARCIA DO ODPOWIEDNICH BENEFICJENTÓW .ODPOWIEDNIE I OSTROśNE OPRACOWYWANIE ZEBRANYCH INFORMACJIPORÓWNYWANIE INFORMACJI UZYSKIWANYCH OD RÓśNYCH GRUP RESPONDENTÓW
OBCIĄśENIE ODPOWIEDZI
ODPOWIEDZI NIE ODZWIERCIEDLAJĄ„PRAWDZIWYCH” OPINII LUB
ZACHOWAŃ , PONIEWAś PYTANIA ZOSTAŁY ŹLE ZROZUMIANE LUB TEś
RESPONDENCI NIE CHCĄ MÓWIĆPRAWDY
TESTOWANIE NARZĘDZI PRZED ZASTOSOWANIEMBRAK REMEDIUM NA NIESZCZERE ODPOWIEDZI , CHOĆ MOśNA ŁAGODZIĆ BŁĄD ODPOWIEDZI UMIEJĘTNYM PRZEDSTAWIENIEM CELU EWALUACJI
Grupy porównawczeProblem atrybucji – w jaki sposób sprawdzić, czy rezultaty projektu wynikają z jego działań, czy z powodu innych czynników?
Czas, częstotliwość, kolejność
Crosswalk przykładowego projektu
Co po projekcie ewaluacji?
� Zbieranie danych� Analiza danych� Raportowanie� Rozpowszechnianie