JAK BADAĆ JAKOŚĆ W -...
29
Transcript of JAK BADAĆ JAKOŚĆ W -...
JAK BADAĆ JAKOŚĆ W
PROJEKTACH PARTNERSTW
STRATEGICZNYCH?
Michał Pachocki Zespół Analityczno-Badawczy
Fundacja Rozwoju Systemu Edukacji
Warszawa 1/06/2017
PROJEKTY DOTYCZĄCE MOBILNOŚCI STRATEGIA DG DS. EDUKACJI I KULTURY W ZAKRESIE ROZPOWSZECHNIANIA
I WYKORZYSTYWANIA WYNIKÓW PROGRAMU
Zrealizowane
projekty
Badania
skutków
Projekty, które
okazały się
sukcesem
„Ambasadorowie”
Wyniki przedstawione na
stronach internetowych,
w serwisach
społecznościowych,
w mediach,
w publikacjach, podczas
wydarzeń
Wideo, serwisy
społecznościowe,
imprezy
REZULTATY PROJEKTÓW PROGRAMU ERASMUS+
• Rezultaty projektów – efekty działań realizowanych przy określonym
wsparciu, począwszy od autostrad na polepszeniu umiejętności
językowych uczniów skończywszy;
• Rezultaty miękkie – zmiany, jakie następują w wyniku realizacji
działań projektu u osób lub instytucji (np. podniesienie umiejętności,
rozwinięcie kompetencji);
• Rezultaty twarde – bezpośrednie rezultaty realizacji działań, które
można zmierzyć (np. zdobycie certyfikatu, wdrożenie nowego
rozwiązania);
• Produkty – materialne i trwałe efekty działań (np. programy
szkoleniowe, raporty z badań).
Kontekst realizacji projektu
Potrzeba – brak konkretnych rozwiązań, niezaspokojenie pewnych potrzeb,
pożądanie określonych warunków;
Cel – formalnie ustalone i przewidywane do osiągnięcia w przyszłości
zamierzenie, wynikające z realizacji określonych potrzeb;
Działanie – środek, który podejmujemy aby spełnić zakładane cele i osiągnąć
rezultaty;
Rezultat – efekt działania spełniający określone, uprzednio założone, cele.
POTRZEBA
POTRZEBA
CEL CEL DZIAŁANIE DZIAŁANIE REZULTAT REZULTAT
WPŁYW, TRWAŁOŚĆ
PRZEWODNIK PO PROGRAMIE ERASMUS+
Wpływ oznacza oddziaływanie realizowanego działania
lub jego wyników na ludzi, praktyki, organizacje i
systemy.
Trwałość jest zdolnością kontynuowania projektu i
wykorzystywania jego wyników po zakończeniu okresu
finansowania.
NAD CZYM MUSIMY ZASTANOWIĆ SIĘ ABY ZAPEWNIĆ WPŁYW
I TRWAŁOŚĆ REZULTATÓW PROJEKTU?
• Kto po zakończeniu projektu mógłby być
zainteresowany, tym co w nim wypracowano?
• W jakiej formie będą dostępne rezultaty?
• W jaki sposób rezultaty będą bezpośrednio
wykorzystywane przez instytucje partnerskie?
ĆWICZENIE I ĆWICZENIE I
https://erasmusplus.org.uk/impact-assessment-resources
Jak określić wpływ projektu?
DZIAŁANIA ZWIĘKSZAJĄCE TRWAŁOŚĆ REZULTATÓW
Przykładowe działania:
•wdrożenie wypracowanych rezultatów;
•włączanie uczestników w proces upowszechniania np. dokumentowanie
projektu, udział w spotkaniach, prezentacjach;
•włączanie rezultatów w strategię działań instytucji beneficjenta;
•zgłaszanie i wdrażanie innowacji, np.: w zarządzaniu instytucją, w realizacji
programów nauczania, itp.;
•wypracowanie rekomendacji, nowych pomysłów dla innych instytucji VET w
regionie, w Polsce i krajach programu oraz partnerskich.
JAK DBAĆ O JAKOŚĆ?
• Stały monitoring jakości – sprawdzanie, czy projekt jest realizowany zgodnie z ogólnie przyjętymi założeniami merytorycznymi
• Badanie wpływu – sprawdzenie, jaki jest wpływ projektu na uczestników/instytucję/otoczenie/inne grupy docelowe
• Ewaluacja – sprawdzenie, czy projekt okazał się sukcesem i spełnił założone we wniosku cele
DLACZEGO WARTO EWALUOWAĆ?
• …podnosi jakość projektu pokazując jego słabe i mocne strony;
• …pomaga zrealizować działania projektowe zgodnie z przyjętymi
założeniami;
• …pozwala sprawdzić, czy zaplanowane aktywności zakończyły się
powodzeniem;
• …umożliwia ocenę jakości rezultatów, a przez to lepsze
rozpowszechnianie wyników;
• …umożliwia poprawę jakości Twoich kolejnych projektów;
• …pozwala dowiedzieć się, co o Twoim projekcie myślą sami uczestnicy;
• …umożliwia poznanie opinii o zrealizowanych działaniach innych grup
docelowych i potencjalnych interesariuszy.
EWALUACJA…
Ewaluacja - systematyczne badanie jakości, wartości lub
wybranych cech konkretnych aktywności (program,
projekt, plan, eksperyment etc.) z punktu widzenia
przyjętych kryteriów, w celu jego usprawnienia, rozwoju
lub lepszego zrozumienia;
Ewaluator - osoba przeprowadzająca ewaluację lub
zarządzająca procesem badawczym. Do jej zadań należy
zaplanowanie wszystkich działań, ich koordynacja lub
realizacja, a następnie przeanalizowanie wyników.
Czym jest ewaluacja?
KTO MOŻE ZOSTAĆ EWALUATOREM?
EWALUACJA WEWNĘTRZNA -wykonywana własnymi siłami, przez członków zespołu projektowego lub inne osoby dedykowane realizacji badania w ramach naszej organizacji, łatwiej zachować kontrolę merytoryczną;
EWALUACJA ZEWNĘTRZNA - delegowana poza instytucję beneficjenta, zlecona np. firmie badawczej lub zatrudnionemu zewnętrznemu ewaluatorowi. Ponieważ w tym wypadku badanie wykonuje osoba nie związana z projektem, łatwiej zachować obiektywizm ewaluatora.
Kiedy ewaluować?
wstęp
na
EX ANTE b
ieżąca
ON-GOING ko
ńcowa
EX-POST
Planowanie aktywności
Realizacja działań
Rozpowszechnianie wyników
Kryteria ewaluacji
TRAFNOŚĆ – pozwala sprawdzić, czy projekt odpowiada na problemy i potrzeby
uczestników
EFEKTYWNOŚĆ – pozwala określić czy i w jakim stopniu poniesione koszty i nakład
pracy przełożą się wypracowany rezultat
SKUTECZNOŚĆ – pozwala sprawdzić rzeczywisty wpływ realizowanych działań na
powodzenie projektu oraz osiągnięcie przyjętych celów i założonych rezultatów
ODDZIAŁYWANIE – pozwala ocenić wpływ projektu na przyjętą grupę docelową
oraz zasięg projektu w wymiarze regionalnym oraz sektorowym
TRWAŁOŚĆ – pozwala oszacować, na ile wypracowane rezultaty są lub będą
trwałe po zakończeniu działań projektowych
FUNKCJONOWANIE PROJEKTU
W KONTEKŚCIE KRYTERIÓW EWALUACYJNYCH
Źródło:
European Commission, Working
Document No. 1. Indicative
Guidelines on Evaluation.
Methods: Ex ante Evaluation,
Wrzesień 2006, s.4.
Rodzaje danych
ILOŚCIOWE - np. liczba pozytywnych odpowiedzi
w ankietach, średnia uzyskanych wyników, liczba
uzyskanych punktów podczas testu
sprawdzającego kompetencje, wiek, pochodzenie,
wykształcenie, średnia wieku uczestników kursu,
czy liczba wydanych publikacji
JAKOŚCIOWE – np. kwalifikacje pracowników,
relacje uczestników grupy docelowej, współpraca
lokalna, wzrost poziomu zainteresowanie daną
problematyką
Dane ilościowe
ANALIZA
Dane jakościowe
Narzędzia ewaluacji
• ankieta – może być anonimowa. Powinna być zwięzła i zrozumiała. Należy unikać
powtarzania tych samych pytań;
• wywiad – może być indywidualny lub grupowy. Powinien przebiegać według
scenariusza. Należy pamiętać o elastycznym podejściu. Im więcej respondentów, tym
trudniej zapanować nad czasem;
• techniki grupowe – mogą brać w nim udział zarówno uczestnicy, jak i przedstawiciele
innych grup docelowych, decydenci lub nawet członkowie zespołu projektowego. Lepiej
nie łączyć różnych grup zaangażowanych w projekt (jeżeli nie jest to konieczne);
• obserwacja – czynny lub bierny udział działaniach projektowych. Zależy od charakteru
badania. Pozwala nawiązać lepszy kontakt z grupą;
• analiza – może dotyczyć różnych danych, np. wypracowanych w projekcie
dokumentów, efektów materialnych, dokumentów kontekstowych, (np. programów
kształcenia, rekomendacji, artykułów etc.).
ĆWICZENIE II ĆWICZENIE II
Jak zaplanować ewaluację projektu?
• zapewnia jakość badań
• zakłada różne źródła
danych
• zwiększa możliwość
porównywania wyników
• poprawia wiarygodność
rezultatów
Czym jest TRIANGULACJA?
ŹRÓDŁA ŹRÓDŁA
METODY
EWALUACJA
ANALIZA
Ewaluacja w pięciu krokach:
KROK 1 IDENTYFIKACJA
CELÓW
KROK 2 DOBÓR NARZĘDZI
KROK 3 REALIZACJA BADANIA
KROK 4 ANALIZA
ZEBRANYCH INFORMACJI
KROK 5 WYKORZYSTANIE
WYNIKÓW
Ewaluacja a ocena
WYKORZYSTANIE WYNIKÓW WYKORZYSTANIE WYNIKÓW
WYPRACOWANIE REKOMENDACJI WYPRACOWANIE REKOMENDACJI
OCENA JAKOŚCI OCENA JAKOŚCI
BADANIE EWALUACYJNE BADANIE EWALUACYJNE
EWALUACJA NIE JEST…
…KONTROLĄ – nie monitoruje wszystkich działań. Ewaluator bada jedynie konkretne
zjawiska, a następnie informuje innych o wynikach swojej pracy. Nie kontroluje stale
projektu, nie nadzoruje ani pracy realizowanej na rzecz projektu, ani aktywności jego
uczestników;
…AUDYTEM – nie sprawdza zgodności projektu ze wszystkimi obowiązującymi
procedurami. Zadaniem osób zaangażowanych w ewaluację jest sprawdzenie zgodności
założeń projektowych w odniesieniu przyjętych rezultatów;
…PROMOCJĄ – przekazuje informacje o wszystkich wynikach, nie tylko pozytywnych.
Ewaluacja pokazuje zarówno sukcesy jak i porażki.
AD MEMORIAM NAJCZĘŚCIEJ POPEŁNIANE BŁĘDY
• brak zaplanowanej strategii (planu) działań ewaluacyjnych;
• brak jasno zdefiniowanego celu ewaluacji
• mylenie ewaluacji z kontrolą
• podporządkowanie działaniom promocyjnym
• koncentrowanie się jedynie na uzyskaniu ‚dobrych wyników’
• brak dokumentowania ewaluacji ex ante/on going;
• pomijanie grup docelowych innych niż najbliższe;
• słaba jakość narzędzi ewaluacyjnych;
• brak działań towarzyszących ewaluacji/brak wykorzystywania wyników;
• raportowanie hasłowe, bez podawania danych jakościowych i ilościowych.
INSPIRACJE – INICJATYWY EUROPEJSKIE
Owocnego ewaluowania
Michał Pachocki
Zespół Analiz Programowych
Fundacja Rozwoju Systemu Edukacji
tel: 22 46 31 553
BADANIE WPŁYWU ZAGRANICZNYCH
SZKOLEŃ KADRY NA INSTYTUCJĘ
• Określenie wpływu projektów mobilności kadry edukacji szkolnej na szkołę, jej pracowników oraz społeczność szkolną;
• ponad 1780 ankiet on-line (uczestnicy, pozostała kadra, uczniowie);
• 3 wywiady grupowe;
• 3 studia przypadków;
• 5 krajów partnerskich;
• Termin realizacji luty-sierpień 2016.
www.czytelnia.frse.org.pl
ANALIZA EFEKTÓW WYJAZDÓW EDUKACYJNYCH
W PROGRAMIE ERASMUS+ MŁODZIEŻ
• Badanie ilościowe (kwestionariusz online)
• Badanie jakościowe (wywiady pogłębione)
• 28 krajów UE
• 2960 odpowiedzi uczestników projektów
dofinansowanych w Polsce
• 520 odpowiedzi koordynatorów projektów
• Termin realizacji: listopad 2014-maj 2016
EVS W SPOŁECZNOŚCIACH
LOKALNYCH – STUDIUM PRZYPADKU
• Badanie jakościowe
• 9 przebadanych organizacji z 3 krajów
• 30 wywiadów pogłębionych
• 18 obserwacji uczestniczących
• Termin realizacji: październik 2014 -
wrzesień 2016
