EWALUACJA I MONITORING PROGRAMU

Ełk, 17.03.2012

SKOJARZEINA Z EWALUACJĄ Czyszczenie zębów nitką dentystyczną (nie

cierpisz tego robić ale wiesz, że powinieneś)

Zamówienie w barze na lotnisku kanapki z pszennego chleba z żółtym serem i majonezem, bez sałaty (gdybyś miał możliwość wyboru, nawet byś na to nie spojrzał, a co dopiero kupił)

Składanie zeznania podatkowego, gdy i tak wiadomo, że nie otrzyma się zwrotu pieniędzy (coś, co odkłada się aż do ostatniej chwili)

Hawkins & B. Nederhood (1994)Podręcznik ewaluacji programów profilaktycznych

PODSTAWOWE POJĘCIA

DOTYCZĄCE EWALUACJI

NIE MYLIĆ Audyt – sprawdzanie zgodności wykorzystania

zasobów (głównie finansowych) z obowiązującymi przepisami oraz standardami

Kontrola – może odnosić się do aspektów finansowo – prawnych, w szczególności porównania stanu faktycznego ze stanem wymaganym. Może mieć charakter wycinkowy, dotyczyć jednego aspektu

Monitorowanie – proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji nt. wdrażania programu z wcześniej przyjętymi założeniami. Służy sprawdzaniu prawidłowości przebiegu projektu, w szczególności osiągania założonych celów i rezultatów oraz nakładów poniesionych na ich realizację

CO TO JEST EWALUACJA PROGRAMU?

Ocena wartości programu w celu jego usprawnienia, rozwoju lub lepszego rozumienia

Zbieranie i wykorzystywanie informacji w celu odpowiedzi na pytanie/a dotyczące programu

Ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności projektu ze wstępnymi zamierzeniami.

EWALUACJA – WRÓG CZY PRZYJACIEL?Wróg jeśli: Traktowana jest jako zło konieczne i wymóg

biurokratyczny Realizatorzy boją się negatywnej oceny swojej

pracy profilaktycznej Jest narzędziem kontroli instytucji nadzorującej

Przyjaciel jeśli: Realizatorzy są zainteresowani efektami swojej

pracy profilaktycznej i rozwojem skutecznych programów

Instytucje nadzorujące traktują ją jako narzędzie służące rozwojowi kompetencji np. zespołu pedagogicznego i działań profilaktycznych

EWALUACJA – CZEMU SŁUŻY? Zbadanie potrzeb np. beneficjentów Określenie kierunków i celów działań Poprawa przejrzystości podejmowanych działań Poznawanie mechanizmów wdrażania programów i

projektów Zwiększenie skuteczności i efektywności Wspomaganie procesu podejmowania decyzji Identyfikacja słabych i mocnych stron interwencji Sygnalizowanie pojawiających się problemów Określenie stopnia zgodności z przyjętymi

założeniami Zwiększanie profesjonalizmu świadczonych usług Pogłębianie odpowiedzialności za program/projekt Demokratyzacja procesu zarządzania

RODZAJE EWALUACJI

Ewaluacja ex-ante Ewaluacja mid-term Ewaluacja ex-post Ewaluacja on-going

EWALUACJA EX-ANTE

Jest to ewaluacja przeprowadzona przed wdrażaniem programu i mająca za zadanie ocenić, na ile planowana interwencja jest trafna z punktu widzenia potrzeb oraz spójna w zakresie planowanych celów i sposobów ich realizacji. Może stanowić również zbadanie kontekstu, identyfikację potencjalnych trudności oraz diagnozę potrzeb i oczekiwań grupy docelowej.

EWALUACJA MID-TERMJest realizowana mniej więcej w połowie wdrażania programu. Poddaje analizie osiągnięte na tym etapie rezultaty oraz dokonuje pierwszej oceny jakości realizacji programu. Jej istotną rolą jest również ocena poczynionych na etapie programowania założeń, w tym szczególnie celów oraz przyjętych wskaźników. Wyniki takiej ewaluacji mogą przyczynić się do pewnych modyfikacji oraz aktualizacji przyjętych założeń. Opiera się w głównej mierze na danych z monitoringu, jej jakość warunkowana jest zakresem i rzetelnością danych monitoringowych.

EWALUACJA EX-POSTPrzeprowadza się ją po zakończeniu projektu. Podstawowym zadaniem jest zbadanie długofalowych efektów oddziaływania programu oraz ich trwałości. Ważnym zadaniem jest całościowa ocena skuteczności i efektywności interwencji oraz jej trafności i użyteczności. Szczególnie istotne jest odniesienie się do założonych celów i sprawdzenie, na ile się udało je osiągnąć. Oprócz zakładanych efektów może ona pokazać inne efekty, których nie zakładano. Służy nie tylko kompleksowemu podsumowaniu realizacji, ale stanowi również cenne źródło informacji użytecznych przy planowaniu kolejnych działań lub kontynuacji obecnych.

EWALUACJA ON-GOINGMa charakter uzupełniający dla wszystkich wcześniej wymienionych typów ewaluacji i może być prowadzona niezależnie od nich. Jest prowadzona w trakcie działań, jednak nie należy jej mylić z monitoringiem, gdyż jej zadaniem jest dokonanie pogłębionej oceny wybranych problemów, niekiedy zdiagnozowanych podczas realizacji innych ewaluacji. Skupia się na realizacji interwencji, diagnozuje i analizuje pojawiające się problemy oraz poszukuje możliwości ich rozwiązania. Może służyć pogłębionej analizie uwarunkowań kontekstowych, które mogą mieć znaczenie dla powodzenia realizacji programu, bądź osiągnięcia założonych celów.

EWALUACJE TEMATYCZNESkupiają się na analizie jakiegoś wycinka prowadzonych działań, analiza ta ma zazwyczaj charakter przekrojowy i/lub porównawczy. Może dotyczyć np. określonego elementu działania, bądź zawierać analizy porównawcze z innymi działaniami. Często realizowane są w formule studium przypadku, który pozwala na szczegółową i pogłębioną analizę wybranego zagadnienia.

RODZAJE EWALUACJI Ewaluacja założeń programu

(ekspertyza) – sprawdza, czy są dane teoretyczne i empiryczne uzasadniające realizację programu

Ewaluacja procesu – dokumentuje, co się wydarzyło w trakcie realizacji projektu

Ewaluacja wyników – sprawdza, czy osiągnięto zamierzone cele

Ewaluacja efektywności (kosztów) – kontroluje opłacalność poniesionych nakładów

RODZAJE EWALUACJI A PYTANIA EWALUACYJNE Ekspertyza

Ewaluacja procesu

Ewaluacja wyników

Ewaluacja efektywności

Pytania o podstawy i założenia

Pytania o realizację programu

Pytania o efekty programu

Pytania o koszty w porównaniu z

wynikami

SCHEMAT PROGRAMU A PYTANIA EWALUACYJNE

podstawy

zasoby programWyniki

bezpośrednie

Wyniki odroczon

e

Analiza kosztów – efektywnośćPytania o stosunek nakładów do

efektów

Ekspertyza

Pytania o założenia

Ewaluacja procesu

Pytania o nakłady i proces realizacji

programu

Ewaluacja wyników

Pytania o doraźne i odroczone skutki

KRYTERIA EWALUACJI Trafność (relevance) Efektywność (efficiency) Skuteczność (effeciveness) Oddziaływanie / wpływ (impact) Trwałość efektów (sustainability)

METODY ZBIERANIA DANYCH Analiza dokumentów Wywiady Kwestionariusze Obserwacja Analiza dostępnych danych Dane z monitoringu Studium przypadku Grupy fokusowe Opinie ekspertów Techniki grupowe

METODY ZBIERANIA DANYCH CDJakościowe

Nastawione na klasyfikacje i interpretacje

Wyniki prezentowane w postaci cytatów wytwórców (np. rysunki dzieci)

Pytania dotyczą charakteru zjawiska, porównania cech, interpretacji znaczeń

Ilościowe

Nastawione na pomiar danego zjawiska

Wyniki prezentowane są w postaci licz lub proporcji

Pytania dotyczą rozmiarów danego zjawiska lub ilości przypadków

WYKORZYSTANIE METOD JAKOŚCIOWYCH Rozpoznanie nowego zjawiska (np. używanie

nowych narkotyków syntetycznych) Dotarcie do „ukrytych” populacji (np.

nastolatki okazjonalnie palące marihuanę) Zaplanowanie lub ulepszenie działań (np.

podjęcie decyzji, jakie działania interwencyjne warto realizować z daną grupą)

Przygotowanie do zbierania danych metodą ilościową (np. jakie kategorie odpowiedzi zastosować w pytaniach zamkniętych w kwestionariuszu)

Wyjaśnienie wyników zebranych metodami ilościowymi (np. dlaczego wobec jednej grupy działania przyniosły sukces, a wobec drugiej nie)

Typowe pytania: Czym charakteryzują się użytkownicy nowych

narkotyków syntetycznych? W jakich okolicznościach używają tych środków? Dlaczego używają ich w pewnych sytuacjach a w

innych nie?

Wykorzystują dane z wielu źródeł tzw. „triangulacja”

Zbieranie informacji przy pomocy kilku metod, różnych badaczy od różnych respondentów

Umożliwia głębszą analizę, ujęcie szerszego kontekstu

Metoda Najlepsze zastosowanie

Wywiady indywidualne

Poznanie indywidualnych doświadczeń, opinii, biografii

Wywiady grupowe Badanie postaw, doświadczeń powstających w określonym kontekście społecznym, szukanie nowych rozwiązań

Obserwacje Badanie zachowań prowadzone w naturalnym środowisku

Studium przypadku Dokładna analiza funkcjonowania w realnym świecie

WYKORZYSTANIE METOD ILOŚCIOWYCH Ocena skali zjawiska – np. odsetek

nastolatków którzy brali dopalacze Uchwycenie zmiany danego zjawiska na

przestrzeni czasu – np. rozpowszechnienie różnego rodzaju narkotyków w porównaniu z poprzednimi latami (ocena trendów)

Ocena skuteczności działań profilaktycznych – np. wpływ programu na ograniczenie picia alkoholu przez odbiorców

Porównanie grup np. chłopców i dziewcząt

PRZYKŁADOWE PYTANIA Ilu uczestników paliło papierosy w

ostatnim miesiącu? Jaki odsetek odbiorców upił się

przynajmniej raz w ostatnim roku? Ilu z nich wagarowało w ostatnim

semestrze? Jak często brali udział w bójkach w

ostatnim roku?

METODY OCENY Panel ekspertów Benchmarking Analiza SWOT Analiza kosztów i korzyści Analiza kosztów i efektywności Modele ekonometryczne

MONITORING

CELE MONITORINGU Wewnętrzny mechanizm zarządzania

projektem Zapewnienie zgodności realizacji Kontrola realizacji zadań Informacja zwrotna wspomagająca

zarządzanie projektem

Monitoring to dokumentowanie realizacji, czyli zbieranie obiektywnych dowodów potwierdzających poprawne działanie

projektu

ZADANIA MONITORINGU Kontrola wewnętrzna i zewnętrzna Sprawozdawczość Zarządzanie jakością Zarządzanie zmianą ewaluacja

PRZEDMIOT MONITORINGU

MONITORING RZECZOWYŚledzenie postępów prac

PROCES REALIZACJI

MONITORING FINANSOWYŚledzenie kosztów

PROCES WYDATKOWANIA

Gromadzenie obiektywnych dokumentów

Zadania projektowe Przepływy gotówkowe

Harmonogram wykonania Kwalifikowalność kosztów

Wskaźniki rezultatów twardych Salda kosztów

Wskaźniki rezultatów miękkich Źródła finansowania

Ewidencja uczestników Wzajemne rozliczenie

WYTYCZNE PROCEDURY FORMULARZE

MONITORING RZECZOWY Kontrola merytorycznego zakresu

realizacji Harmonogram wdrażania projektu Systematyczne pomiary osiągania

zamierzonych rezultatów i celów Ewidencja informacji i uczestnikach i

formach wsparcia

NARZĘDZIA MONITORINGOWE Dokumentacja projektowa – inwentaryzuje

wszystkie istotne, zaplanowane parametry projektu (np. harmonogram, tabele wskaźników rezultatów twardych i miękkich, tabele danych o beneficjentach)

Kwestionariusze – najlepiej opracowane przez realizatorów (np. karty rekrutacyjne, pracy, doradcze, listy obecności, dzienniki szkoleń, zestawienia wydanych zaświadczeń, dyplomów, ankiety ewaluacyjne, testy)

Arkusze kalkulacyjne – analizują przebieg finansowy projektu

Schematy obiegu dokumentów – wzory sprawozdań wewnętrznych itp..

PRZYKŁAD WYNIKU

EWALUACJI

REALIZATORZY PROGRAMU: Uaktywnili się uczniowie bierni na

lekcjach Zwiększyła się integracja środowiska

lokalnego Rodzice mają lepszy kontakt z dziećmi „Otworzyli” się beneficjenci mający

problemy w domu

EWALUATORZY PROGRAMU Przyniósł głównie wzrost wiedzy z

zakresu negatywnych skutków używania substancji psychoaktywnych

Nie wpłynął na zmianę ich poglądów, ani intencji dotyczącej używania substancji psychoaktywnych

Nie znalazł odzwierciedlenia w ograniczeniu zachowań ryzykownych

DWIE EWALUACJERealizatorzy:

Aktywizacja w szkole

Integracja społeczna

Wzbudzanie zaufania

Lepsze relacje rodzic – dziecko

?????

Ewaluatorzy

Przyrost wiedzy Brak wpływu na

poglądy i intencje Nie ograniczył

zachowań ryzykownych

Dobry program

zły program

RÓŻNICE WYNIKAJĄ Z: Odmiennych kryteriów ewaluacji

stosowanych przez realizatorów i zewnętrznych ewaluatorów

Oraz związanych z tym zupełnie innych pytań ewaluacyjnych, jakie interesują jednych i drugich

K