Beta BUJAK-SZWACZKAmonitoruj.podkarpackie.pl/Grafika/Menu glowne/Aktualnosci...programu; obejmuje w...

1

Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego 1


Paweł KOLAS Trener prowadzący szkolenie

Beta BUJAK-SZWACZKA Trener prowadzący szkolenie

PROWADZENIE

SZKOLENIA

PROWADZENIE

SZKOLENIA

Wykonawcy szkolenia

http://www.wrota.podkarpackie.pl/res/um/region/podkarpackie_przestrzen_otwarta.jpg


2


Instytut Konsultantów Europejskich

Instytut Konsultantów Europejskich (ang. European Advisors Institute), jest niezależną

organizacją pozarządową, instytutem naukowo-szkoleniowym, działający non profit.

Instytut Konsultantów Europejskich jako instytucja non profit nie prowadzi działalności

gospodarczej, a jedynie realizuje cele statutowe.

Instytut jest głównym koordynatorem Europejskiego Programu Kształcenia i Akredytacji

Konsultantów Europejskich ©KFE (Program ©KFE) gdzie w oparciu o doświadczenia swoich

członków Ekspertów ©KFE prowadzi 3 główne działania:

•AKREDYTACJA - European Accreditation System ©KFE;

•SZKOLENIA - Doskonalenie umiejętności i integracja Konsultantów Europejskich;

•NAUKA i INFORMACJA - Działalność naukowa i informacyjna.

Organizator Szkolenia


Zakres tematyki szkolenia (1/2)

Blok 1 - Znaczenie systemu monitorowania i ewaluacji w nowej polityce

spójności UE

-Rola monitoringu i ewaluacji w refleksji nad politykami

publicznymi

-Wskaźniki monitoringu (rodzaje, dobór, trudności itp.).

-Logika interwencji – Matryca Logiczna

-Benchmarking

Blok 2 - Wskaźniki monitoringu

Blok 3 - Źródła weryfikacji wskaźników:

-Bank Danych Lokalnych

-System Strateg

-Monitoruj Podkarpacie



3


Zakres tematyki szkolenia (2/2)

Blok 4 i 5 - Ewaluacja strategii

Ewaluacja w cyklu wdrażania interwencji publicznej

Planowanie ewaluacji:

-Temat badania ewaluacyjnego

-Cele badania ewaluacyjnego

-Pytania badawcze

-Zakres badania i źródła danych

-Sposób realizacji badania

-Budżet badania

-Harmonogram badania

Blok 6 - Jak wykorzystywać wyniki monitoringu a jak ewaluacji…

czyli wdrażanie rekomendacji.


Blok 1

Blok 1 - Znaczenie systemu monitorowania i ewaluacji

w nowej polityce spójności UE



4


Zmiany w stosunku do poprzedniego okresu programowania dotyczą głównie

przygotowywania dokumentów programowych i ich wdrażania oraz

współfinansowania z budżetu UE najważniejszych polityk w tym Wspólnej

Polityki Rolnej (WPR), Wspólnej Polityki Rybołówstwa (WPRyb) i Polityki

Spójności (PS). Główne zmiany to:

• realizacja celów wynikających ze strategii Europa 2020

• koncentracja tematyczna i koncentracja wsparcia;

• osiąganie konkretnych rezultatów, mierzonych konkretnymi

wskaźnikami;

• wsparcie terytorialne.

Blok 1 - Nowe wyzwania polityki spójności w latach 2014-2020

Zmiany w stosunku do poprzedniego okresu:


Nowe wyzwania polityki spójności dla JST w latach 2014-2020

Zasady i sposoby wydatkowania funduszy EFSI

Koncentracja tematyczna – ograniczenie interwencji do 11 celów tematycznych oraz

tzw. „ring fencingi”, czyli minimalne limity środków z funduszy europejskich, które

państwo członkowskie musi skierować na określone obszary, np. dotyczące badań i

innowacyjności, technologii informacyjno-komunikacyjnych, gospodarki niskoemisyjnej,

włączenia społecznego.

Wymiar terytorialny - lepsze wykorzystanie potencjałów terytoriów, wynikających z ich

specyfiki (np. specjalne wsparcie skierowane do miast i ich obszarów

funkcjonalnych).

Szersze zastosowanie instrumentów finansowych (zwrotnych) - np. pożyczki, poręczenia,

zwłaszcza w obszarze wsparcia dla przedsiębiorstw.

Ukierunkowanie na rezultaty – ocena postępów w rzeczowym i finansowym wdrażaniu

Programów w roku 2019, ocena osiągnięcia zakładanych celów w roku 2022.

Wyniki oceny będą stanowiły podstawę do podziału tzw. rezerwy wykonania.



5


Blok 1 – Monitoring i ewaluacja w Umowie Partnerstwa – poziom 1

Oczekiwane rezultaty interwencji funduszy w latach 2014-2020

monitorowane będą w trójstopniowym systemie wskaźników.

1. Osiąganie celów strategicznych mierzone będzie zestawem

wskaźników rezultatu na poziomie Umowy Partnerstwa określającym

polskie zobowiązania wynikające ze Strategii Europa 2020 oraz

krajowych dokumentów strategicznych, w tym SRK 2020.


Blok 1 – Monitoring i ewaluacja w Umowie Partnerstwa



6



Dla wskaźników tych oszacowano i zweryfikowano w procesie ewaluacji

ex ante UP przewidywany postęp do 2020 i 2023 r., a także wpływ EFSI

na prognozowane wartości.

Faktyczny wpływ interwencji na obserwowaną zmianę zostanie określony

w toku ewaluacji ex post Umowy Partnerstwa. Wskaźniki rezultatu

wyznaczają cele strategiczne EFSI i stanowią pomoc w szacowaniu

wpływu interwencji funduszy UE na rozwój społeczno-gospodarczy

kraju.



2. Na poziomie priorytetów programów operacyjnych cele szczegółowe

będą kwantyfikowane przy wykorzystaniu ograniczonej liczby wskaźników

rezultatu spójnych z celami strategicznymi określonymi w UP.

Monitorowaniu celów UP, jak również innych dokumentów strategicznych,

służyć będzie opracowany i prowadzony przez GUS „System wskaźników

dla monitorowania polityki rozwoju (STRATEG)”.

Dostęp do systemu będzie zapewniony poprzez stronę internetową GUS

i ministerstwa obsługującego ministra właściwego ds. rozwoju regionalnego.

System ten będzie zasilany zarówno danymi pochodzącymi z systemu

statystyki publicznej oraz z innych źródeł, np. z IZ programami operacyjnymi,

w tym regionalnymi.



7



3. Trzecim poziomem służącym mierzeniu efektów interwencji w ramach

programów operacyjnych będzie adekwatny do realizowanych projektów

zestaw wskaźników produktu i rezultatu bezpośredniego pochodzący z

przygotowywanej przez ministra właściwego ds. rozwoju regionalnego

i szeroko skonsultowanej Wspólnej Listy Wskaźników Kluczowych (WLWK).

Lista zawiera wskaźniki wspólne na poziomie europejskim (common indicators)

określone w rozporządzeniach funduszowych. Ponadto, możliwe jest

ustanowienie dodatkowych wskaźników w celu monitorowania efektów

całego programu operacyjnego.

Monitorowanie efektów wsparcia w ramach PROW oparte będzie na systemie

wskaźników określonych na poziomie unijnym i wskaźnikach krajowych

odpowiadających specyfice polskiego PROW. Odrębna lista wskaźników będzie

stosowana dla PO RiM.


Blok 1 – Monitoring w Umowie Partnerstwa

W implementacji strategii ważna jest KONTROLA tego procesu oraz

OCENA uzyskanych EFEKTÓW społecznych i gospodarczych, a także

ZMIAN w środowisku przyrodniczym. Zadanie to, mające charakter

permanentny, nazywa się MONITORING STRATEGII.

Efektywna realizacja strategii wymaga więc kontrolowania skuteczności

wdrażania przedsięwzięć. Pomiar i kontrola działań strategicznych

powinna odpowiadać na dwa zasadnicze pytania:

- Czy strategia jest faktycznie realizowana?

- Czy strategia przynosi zamierzone skutki?

Do czego potrzeba systemu monitoringu strategii polityk

publicznych?



8


Monitoring musi zatem dotyczyć:

– oceny przebiegu realizacji strategii tj. jej celów, programów

i zadań,

– oceny uzyskiwanych efektów rozwoju społecznego

i gospodarczego oraz stanu środowiska, co w sumie traktować

i uznać można za efekty realizacji strategii.

Taki monitoring realizacji zapisów strategii ma zatem dwie funkcje:

SPRAWDZAJĄCĄ I KORYGUJĄCĄ.


Blok 1 – Funkcje monitoringu

Funkcja sprawdzająca to systematyczne, najlepiej coroczne, zestawienie

wykonanych przedsięwzięć w relacji do zapisanych programów.

Należy tu określić zadania (wykonane i niewykonane), a także podać

przyczyny opóźnień i innych odchyleń od zapisów. Chodzi oczywiście nie

tylko o zadania rzeczowe, ale również o zadania organizacyjno-finansowe

(montaż finansowy).



9


Blok 1 – Funkcje monitoringu

Funkcja korygująca to wprowadzanie do zapisów dokumentu strategicznego

zmian wynikających ze szczególnie istotnych okoliczności, których nie dało

się przewidzieć w fazie tworzenia strategii, lub co do których przyjęto

niewłaściwe założenie.


Blok 1 – Co umożliwia monitoring?

Monitoring strategii realizacji polityk publicznych umożliwi:

– bieżącą ocenę realizacji programów i zadań oraz osiągania celów,

– prognozowanie ewentualnych zmian warunków realizacji,

– dokonanie bieżących korekt i poprawek,

– podjęcie działań zabezpieczających i naprawczych,

– informowanie społeczności lokalnej o uzyskanych wynikach.



10


Blok 1 – Władza publiczna – po co monitoring i ocena?

Potrzeba oceny skuteczności polityk publicznych (ewaluacja

ex-ante i ex-post, monitorowanie dokumentów

strategicznych)

Zwiększenie przejrzystości wydatków publicznych

(kontrola publiczna, edukacja, budowanie

współodpowiedzialności, efektywność)

Usprawnienie i poprawa efektywności zarządzania (wspieranie

procesu decyzyjnego, identyfikacja uwarunkowań

i przewidywanie skutków)

Poczucie braku dostatecznych informacji o rozwoju

(współpraca ze statystyką publiczną, konsolidacja danych,

bazy wiedzy, wysoka standaryzacja)


Blok 1 – Monitoring – czym jest?

Monitoring/Monitorowanie - definicja

„Proces systematycznego zbierania i analizowania ilościowych

i jakościowych informacji na temat wdrażanych projektów

i całego programu w aspekcie finansowym i rzeczowym, mający

na celu zapewnienie zgodności realizacji projektów i programu

z wcześniej zatwierdzonymi założeniami i celami…”.



11


Blok 1 – Cele monitoringu – poziom wspólnotowy

Analiza strategii: Podniesienie możliwości Dyrekcji Generalnej ds.

Polityki Regionalnej i Miejskiej w zakresie prowadzenia badań

odpowiadających specyficznej tematyce.

Wkład w sterowanie pojedynczym programem: Podniesienie

możliwości pracowników odpowiedzialnych za wprowadzanie

zmian powodujących dokładniejszy wgląd w działania

programu.

Zarządzanie finansowe programem: KE przysyła dane potrzebne do

transferu stosownych płatności dla realizowanych programu.

Odpowiedniość / przejrzystość:

Przygotowanie rocznych raportów na temat wdrażania funduszy

strukturalnych (raportów, odpowiedzi na pytania/interpelacje Parlamentu

Europejskiego, Rady Unii Europejskiej oraz innych instytucji

wspólnotowych).


Blok 1 – Cele monitoringu – poziom narodowy

Ocena odpowiedniego wykonania/ocena osiągnięć:

-w tym argumentacja do podzieleniu rezerwy wykonania

pomiędzy programami.

Wkład w zarządzanie finansowe:

-informowanie instytucji poziomu narodowego o potrzebach

wprowadzenia zmian we wdrażanych programach.



12


Blok 1 – Cele monitoringu – poziom programu (1/2)

Rozwój programu: -dane z poprzednich programów dostarczają

informacji potrzebnych dla rozwoju następnych edycji

programu; obejmuje w szczególności balans pomiędzy

priorytetami oraz metodami ich pomiaru, wyboru wskaźników

i kwantyfikacji celów.

Wdrażanie programu: Dane z poprzednich programów dostarczają

informacji wspierających kryteria wyboru oraz określenie

realistycznych celów dla następnych edycji programu.

Zarządzanie finansowe: Dostarcza informacji niezbędnych dla

terminowej realizacji płatności, a w razie potrzeby informuje o

konieczności reagowania w celu zapobiegania utraty

środków.

Zarządzanie strategiczne: Obejmuje wsparcie Komitetów

Monitorujących w wypełnianiu ich strategicznych zadań.


Blok 1 – Cele monitoringu – poziom programu (2/2)

Przygotowanie raportów – odpowiedniość/transparentność:

- dostarczenie informacji o działaniach innych uczestników,

ich obowiązkach oraz informowanie opinii publicznej.

Przygotowywanie raportów dostarczających informacji

o systemie: -dostarczenie informacji/danych dla innych

użytkowników dotyczących ich obowiązków – szczególnie KE

oraz odpowiednich ministerstw w krajach członkowskich.

Kontrola: -zbieranie odpowiednich informacji w celu zapewnienia

odpowiedniego wydawania środków w ramach funduszy

strukturalnych.

Ewaluacja: -bazy danych z monitoringu dostarczają kluczowych

danych, które stanowią punkt wyjścia dla ewaluacji ex-post –

zestaw danych bazowych.



13


Blok 1 – Cele monitoringu – poziom projektu

Odpowiedniość/transparentność:

-prezentowanie właściwego wykorzystania funduszy pod

kątem spełnienia wymogów audytu.

Zarządzanie finansowe:

-dostarczenie potrzebnych informacji do wystąpienia o

następną transzę środków na realizację projektów.

Zarządzanie strategiczne:

-dostarczanie informacji niezbędnych dla pomyślnego

zakończenia projektu


Blok 1 – MONITORING – systemowość podejścia do rozwoju

Koniecznym jest powstanie SYSTEMU, którego zadaniem byłoby zbieranie,

gromadzenie oraz analiza danych w celu generowania

i dostarczania informacji o charakterze diagnostycznym

i ewaluacyjnym służących do WERYFIKACJI podjętej polityki rozwoju

i jej MODYFIKACJI.



14


Blok 1 – SYSTEM INSTYTUCJONALNY MONITORINGU

Nowe instytucje w systemie instytucjonalnym polityki regionalnej

Projekt KSRR wprowadza nowe instytucje w systemie realizacji polityki

regionalnej pozwalające na umieszczenie realizowanych strategii i polityk

w kontekście obiektywnych faktów, danych i ekonomiczno-

społecznych teorii naukowych (evidence based policy).

Należą do nich:

• Obserwatoria rozwoju terytorialnego: regionalne obserwatoria

terytorialne (ROT) oraz krajowe obserwatorium terytorialne

(KOT),

• Krajowe Forum Terytorialne (KFT),

• Regionalne Fora Terytorialne (RFT).


Blok 1 – MONITORING i OCENA interwencji publicznych

Obserwatoria tworzą SYSTEM współpracy i PRZEPŁYWU

informacji między najważniejszymi podmiotami publicznymi

biorącymi udział w planowaniu i realizacji polityki rozwoju

w celu MONITOROWANIA i OCENY całości INTERWENCJI

PUBLICZNEJ mającej wpływ terytorialny.



15


Blok 1 –Jak zarządzamy wdrażaniem strategii?

„Zarządzanie” - koordynowanie działań, które są wykonywane przez

określone podmioty (ludzi, ich zespoły, jednostki organizacyjne, systemy

administracyjne) oraz służą osiągnięciu określonego celu,

nakierowanego na uzyskanie oczekiwanej wartości publicznej.

Zarządzanie publiczne, rozumianego jako organizacja procesu realizacji

strategii publicznych zaspakajających istotne potrzeby społeczne.

Zarządzanie, traktowane jako proces, oparte jest na przyjętych strategiach i

służy ich pełnej implementacji, a uzyskana trwała wartość publiczna

(traktowana jako element rozwoju) jest najważniejszym osiągniętym

rezultatem.


Blok 1 – zarządzanie

Podejmowanie decyzji

organizowanie

planowanie

Delegowanie zadań

monitoring

koordynowanie

kontrolowanie

zarządzanie



16



Głównym zadaniem zarządzania jest zapewnienie realizacji

opracowanej strategii, jak również bieżące rozwiązywanie

szczegółowych problemów, które nie zostały ujęte w planie ogólnym na

poziomie strategicznym.

Zarządzanie polityką rozwoju jest ściśle powiązane ze strategiami

rozwoju, gdyż konkretyzuje i weryfikuje poszczególne koncepcje

przyjęte w dokumentach strategicznych.



Polityka rozwoju to „zespół działań zmierzających do efektywnego

wykorzystania zasobów ludzkich i środków materialnych,

podejmowanych w skoordynowany sposób przez jednostki administracji

publicznej różnych szczebli, we współpracy z przedstawicielami

partnerów społeczno-gospodarczych oraz organizacji pozarządowych,

w oparciu o zasadę partnerstwa, w celu osiągnięcia wcześniej

założonych celów”.

Osiągnięcie zaplanowanych w społeczeństwie i dla

społeczeństwa rezultatów jest najważniejszym wymiarem

pojęcia sprawnego działania.



17


Blok 1 - Dlaczego warto zainwestować w autorefleksję?

Jakość procesów zarządzania strategicznego (od planowania, poprzez

monitoring do ewaluacji) daję większe prawdopodobieństwo realizacji działań

bardziej użytecznych”

Nowoczesne instytucje publiczne zorientowane powinny być na zarządzanie

w oparciu o zadania i wyniki, realizując zadania publiczne w oparciu o

obiektywne informacje i dowody. Dlatego monitoring i ewaluacja maja tutaj

kluczowe znaczenie.

W biznesie osiągnięcie celów weryfikowane jest poprzez rynek i zysk.

W instytucjach publicznych te pojęcia nie decydują o powodzeniu, bądź nie

interwencji publicznych – trzeba szukać innych kryteriów oceny


Blok 1

Rola monitoringu i ewaluacji w refleksji nad politykami

publicznymi

Celem interwencji publicznych realizowanych przez polityki, programy, projekty

jest pozytywna zmiana w obszarze uznanym za problemowy.

Planowana na podstawie Strategii Rozwoju zmiana ma być wywołana

konkretnymi działaniami, które zaprogramowaliśmy.

Dylematy zarządzającego:

– Jakimi narzędziami sprawdzana jest poprawność przebiegu tych

działań?

– Jakie narzędzia umożliwiają weryfikację efektów?

– Jakie narzędzia pozwalają wyciągać wnioski z udanych działań

(powielając sukces) lub nieudanych eksperymentów (unikając dalszych

błędów)?

A więc jakie są narzędzia uczenia się?



18


Blok 1 – Proces budowania strategii

Proces budowania strategii

Proces budowania i realizacji strategii

Źródło: Bończak-Kucharczyk, Cousins, Herbst, Stewart 1996, s. 5 (nieco zmodyfikowany).

Realizacja strategii musi być

monitorowana i poddawana

ewaluacji.


Blok 1 – monitoring – ewaluacja – kontrola

Monitorowanie – Ewaluacja - Kontrola

Warunkiem dla powszechnego stosowania monitoringu

i ewaluacji jest istnienie szerszego systemu zarządzania

zorientowanego na wyniki (zarządzania strategicznego, programowania

działań, budżetowania zadaniowego)

•Różnice w procesach dotyczą tego:

- Kto wykonuje monitoring, a kto ewaluacje?

- Co jest monitorowane i poddawane ewaluacji?

- Kiedy prowadzony jest monitoring, a kiedy ewaluacja?

- Po co monitorujemy i poddajemy ewaluacji interwencje publiczne?



19

Szkolenie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego

Monitoring i ewaluacja

37

Początek

wdrażania

interwencji

Ewaluacja

ex post

Monitoring interwencji

Ewaluacja

ex anteEwaluacja

bieżąca

Ewaluacja

bieżąca

Ewaluacja

bieżąca

Ewaluacja

bieżąca

Ewaluacja

bieżąca

Koniec

wdrażania

interwencji

Blok 1 – co i kiedy?


Odpowiedź na dylematy zarządzającego:

Monitoring

•Monitoring to proces

systematycznego zbierania

i analizowania ilościowych

i jakościowych informacji,

dotyczących postępów

i efektów wdrażania

Strategii/Programu.

•Monitoring - czy interwencja

przebiegała zgodnie

z wyjściowym planem.

38

Ewaluacja

•Ewaluacja jest to proces oceny

efektów realizacji interwencji publicznej

przeprowadzany w oparciu o

odpowiednie kryteria (trafności,

skuteczności, efektywności,

użyteczności, trwałości) za pomocą

odpowiedniej metodologii w celu

poprawy jakości podejmowanych

działań, ze szczególnym

uwzględnieniem celów jakie

interwencja ma realizować.

Blok 1 – Różnice definicyjne



20


• Metodyka monitoringu

zestandaryzowana

i powtarzalna, co jest warunkiem

skuteczności monitoringu.

• Przygotowanie narzędzi

monitorowania równolegle

z procesem wyznaczania celów.

• Monitorowanie oparte jest

o system wskaźników.

• Wyniki monitoringu są punktem

wyjścia i jednym ze źródeł

wykorzystywanych w ewaluacji .

• Ewaluacje – wymagają ciągłej

modyfikacji i dostosowywania

metodyki do stawianych pytań

i przedmiotów badania.

• Ewaluacje są prowadzone po to by

weryfikować zasadność wszystkich

trzech teorii programu (bazowych,

wdrażania, teorii zmiany).

Blok 1 - Różnice definicyjne


Proces monitoringu

40

Blok 1 – Prowadzenie monitoringu



21


Blok 1 – monitoring

Po co nam monitoring?

Dostarcza danych pozwalających ocenić postępy realizacji Strategii i jej

wpływ na rozwój jednostki

Wnioski z oceny procesu wdrażania mogą być podstawą aktualizacji

dokumentu

Wnioski te są również podstawą do przyjęcia założeń rozwoju

strategicznego w następnym okresie

Pozwala Identyfikować ewentualne opóźnienia lub nieprawidłowości

oraz podejmować działania naprawcze


Blok 1 – skuteczny monitoring

Co determinuje skuteczny monitoring?

Po pierwsze stworzone ramy wskaźników, a więc filozofia i sposób

kwantyfikacji planowanych nakładów, działań, produktów i efektów.

Po drugie system zbierania danych obejmujący zarówno infrastrukturę danych

(bazy danych), jak i procedury ich wprowadzania, przechowywania,

weryfikacji, obróbki, agregacji.

Po trzecie, jakość kadr urzędniczych zajmujących się monitoringiem – ich

umiejętności i doświadczenie.



22


Blok 1- Logika interwencji


Oddziaływanie (długoterminowe efekty)

Rezultaty (bezpośrednie i natychmiastowe

efekty)

Produkty

(dobra i usługi)

Działania

Cele ogólne

Cele

specyficzne

Cele

operacyjne

Nakłady




23


Blok 1 - Logika interwencji

Logika interwencji

• Nakłady - Zasoby zaangażowane w realizację danej interwencji (środki finansowe,

zasoby ludzkie, lokale, sprzęt).

• Działania - Konkretne czynności, interakcje i procedury wdrażane w trakcie

prowadzonej interwencji, mające prowadzić do osiągania kolejnych etapów

i kamieni milowych projektu.

• Produkty - Wartości, rzeczy, elementy infrastruktury, usługi, które zostały wytworzone

i dostarczone beneficjentom danej interwencji w trakcie jej wdrażania.

• Efekty:

– Skutek interwencji – zmiana, która nastąpiła w grupie docelowej, w adresowanym

obszarze, dzięki działaniom przeprowadzonym w ramach danej interwencji.

– Efekty czasami są rozgraniczane na rezultaty i oddziaływanie. Te pierwsze są

bezpośrednim skutkiem interwencji dla jej odbiorców. Te drugie są skutkiem

długookresowym widocznym po jakimś czasie i mają zwykle charakter zmiany

strukturalnej.



Sformułowany cel powinien być SMART:

Specific – Measurable - Achievable/Ambitious – Realistic –

Timely/Time-bounded

•Specyficzny – wskazać dokładnie co chcemy osiągnąć

•Mierzalny - Czego nie da się zmierzyć, nie można osiągnąć. Skąd będziemy

wiedzieć, że osiągnęliśmy cel?

•Ambitny/Osiągalny - Określając swój cel musimy pamiętać o tym, że ten cel

w naszym rozumieniu da się osiągnąć i jest to coś do czego można dążyć.

•Realny - posiadane zasoby muszą być wystarczające dla realizacji celu

•Terminowy/Określony w czasie - Dokładne określenie czasu, kiedy chcemy

osiągnąć cel wyznaczy punkt, do którego możemy dążyć

Dla stworzenia możliwości monitoringu cel musimy

OPOMIAROWAĆ



24


Blok 1 – ocena rezultatów

Benchmarking

Benchmarking oznacza uczenie się od najlepszych.

„Benchmarking to metoda porównywania własnych rozwiązań

z najlepszymi oraz ich udoskonalania przez uczenie się od innych

i wykorzystywanie najlepszych doświadczeń”

(S. Wawak, Zarządzanie jakością. Teoria i praktyka)


Blok 1 – Benchmarking

Benchmarking to specyficzny proces przetwarzania informacji zawartych

w tzw. wartościach orientacyjnych czy docelowych, którymi są wzorce

zachowań liderów na danym rynku.

W szerszym sensie oznacza to także metody działania, projekty, zasady,

instrumenty, które mogą to być traktowane jako wyznaczniki

naszych dążeń.

Benchmarking oznacza porównuj się z najlepszymi i rozwijaj swoje

umiejętności w tym samym kierunku.

Kojarzy się on z sytuacją prymusa w szkole, wskazywanego przez

nauczycieli, jako wzorzec.



25



Benchmarking nie dostarcza z reguły całkowicie nieznanych rozwiązań -

rezultatem tej metody są jednak bardzo często nowe impulsy

i pomysły.

Niekiedy uzyskujemy potwierdzenie, że znane tylko ogólnie, od strony

teoretycznej metody rzeczywiście przynoszą dobre wyniki.

W metodzie tej należy uwzględnić dwa podstawowe aspekty:

– Mierzenie konkretnych parametrów i definiowanie swojej

sytuacji.

– Aspekt uczenia się



Idea organizacji uczącej się według Petera Senge

(P. Senge, Piąta dyscyplina)

„Organizacje i przedsiębiorstwa, które są zdolne do samopoznania,

zrozumienia swoich problemów i doskonalenia się, które po prostu

umieją się uczyć zarówno na własnych błędach, jak i na sukcesach”



26


Blok 1 – Benchmarking – rodzaje wg klasyfikacji przedmiotowej

Strategiczny – obejmuje długofalowe cele, dotyczy strategii przedsiębiorstwa,

zorientowany jest głównie na porównanie z konkurencją w zakresie: rynków

lub wybranych segmentów rynków, poziomów i kierunków inwestowania,

rentowności, struktury kosztów, produktów i technologii,

Procesów – przedmiotem porównań są procesy i procedury, sposoby

skutecznego organizowania procesów, pozwalające na osiągnięcie

wysokiego poziomu efektywności i kreowania wysokiej wartości dla klienta.

Poszukuje się procesów wzorcowych i metod ich udoskonalenia,

Produktów – analiza wyrobów i usług w kategoriach zaspakajania potrzeb

klientów, nowatorskich rozwiązań konstrukcyjnych, w zakresie projektowania,

technologii,

Metod zarządzania – porównuje się do firmy wzorcowej metody i techniki lub

cały system zarządzania, podejmowania decyzji lub poszczególnych

obszarów np. metod kierowania ludźmi.


Blok 1 – Benchmarking – ograniczenia

• trudności przy wyborze „partnera benchmarkingu”,

• problemy w zbieraniu dostatecznie szczegółowych informacji

o partnerze benchmarkingu

• zmiany w jednostce, w wyniku benchmarkingu często wymagają

kompleksowych rozwiązań, angażowania dużych zasobów,

a sukces nie zawsze musi być oczywisty



27


Ćwiczenie 1

W materiałach macie Państwo zestawienie różnego typu wskaźniki

i typy informacji. Generalnie rozróżniamy dane/informacje zbierane

w procesie monitorowania i w procesie ewaluacji. Proszę podane

w tabeli wskaźniki i typy informacji uszeregować w dwie grupy:

– Wskaźniki i dane charakterystyczne dla procesów monitoringu

– Wskaźniki i dane charakterystyczne dla procesów ewaluacji .


Blok 2

Blok 2 - Wskaźniki monitoringu



28


WSKAŹNIK to obserwowalne zjawisko B lub cecha B, którego

zaobserwowanie POZWALA OKREŚLIĆ z wystarczająco wysokim

prawdopodobieństwem o WYSTĄPIENIU badanego zjawiska A

lub posiadaniu określonej cechy A.

Przykłady:

-Zmiana liczby wypadków na drogach w gminie (obserwowalne zjawisko

B) pozwoli stwierdzić, czy nastąpiła poprawa stanu bezpieczeństwa

w ruchu drogowym w gminie (badane zjawisko A).

-Napływ zagranicznych inwestycji bezpośrednich do Polski (obserwowalne

zjawisko B) pomoże stwierdzić, czy nastąpił wzrost atrakcyjności

inwestycyjnej kraju (badane zjawisko A).

Blok 2 - Czym są wskaźniki?


WSKAŹNIK - czynnik ilościowy, jakościowy lub zmienna, za pomocą

której można zmierzyć osiągnięcie celów interwencji,

odzwierciedlić zmiany dokonane przez interwencję lub wspomóc

ocenę efektywności rozwoju.

Blok 2 – wg. OECD



29


Blok 2 – Wskaźniki – Funkcje

1. Funkcja planowania

2. Monitorowanie postępów - funkcja zarządcza (operacyjna)

3. Ocena wyników - funkcja ewaluacyjna, na przyszłość

4. Funkcja rozliczeniowa

5. Funkcja informacyjna

6. Funkcja społeczna

7. Funkcja naukowa


Blok 2 – Wskaźniki: podział ze względu na CECHY

BUDOWA

RODZAJ WYKORZYSTYWANYCH DANYCH

SPOSÓB WYKORZYSTANIA

MIEJSCE W LOGICE INTERWENCJI

PROSTE

FINANSOWE I RZECZOWE

KONTEKSTOWE

SYNTETYCZNE

ILOŚCIOWE I JAKOŚCIOWE

PROGRAMOWE/PROJEKTOWE

PRODUKTU ODDZIAŁYWANIA REZULTATU

CECHY



30


Blok 2 – Wskaźniki – BUDOWA (1/2)

WSKAŹNIK PROSTY składa się, zgodnie z przyjętą definicją, z jednego

zjawiska (B) lub cechy (B), którego zaobserwowanie pozwala określić

z wystarczająco dużym prawdopodobieństwem o wystąpieniu badanego

zjawiska (A) lub posiadaniu określonej cechy (A).

Przykład:

Napływ BIZ to wskaźnik prosty na wzrost atrakcyjności inwestycyjnej kraju


Blok 2 – Wskaźniki – BUDOWA (2/2)

WSKAŹNIK ZŁOŻONY (indeksowy, syntetyczny) składa się więcej niż

z jednego wskaźnika prostego. Zawsze powinien być opracowany na bazie

modelu (podbudowanego teorią i wcześniejszymi badaniami), a zmienne i

wagi składowych wskaźników mają oddawać wymiary i strukturę badanego

zjawiska.

Przykład:

Tzw. HDI – wskaźnik rozwoju społecznego (ang. Human Development

Index) uwzględnia: długość życia, średnia lat przeznaczonych na edukację,

oczekiwane lata edukacji dzieci rozpoczynających naukę, dochód narodowy

per capita



31


Blok 2 – Wskaźniki – RODZAJ WYKORZYSTANYCH DANYCH

Ze względu na RODZAJ wykorzystanych danych, można wyróżnić WSKAŹNIKI

FINANSOWE (nakłady) i RZECZOWE (realizacje rzeczowe). Często w obszarze

wskaźników finansowych stosuje się podział na: publiczne i prywatne.

Umożliwia to PORÓWNYWANIE i szacowanie EFEKTYWNOŚCI interwencji.

Podziałem ze względu na rodzaj jest także podział wskaźników na ILOŚCIOWE

i JAKOŚCIOWE. Ilościowe wskaźniki są POLICZALNE (wyrażane w wartościach

bezwzględnych lub względnych – tj. %). Regułą jest zalecenie, by nie stosować

określeń procentowych bez podania poziomu odniesienia – praktyka taka

uniemożliwia określenie RZECZYWISTEGO POZIOMU sukcesu lub porażki

interwencji.


Blok 2 – Wskaźniki – miejsce w logice interwencji

NAKŁADY

Zaangażowane zasoby:

• finansowe

• czasowe

• ludzkie

• materialne

• organizacyjne

Do wyliczenia kosztów jednostkowych, a co za tym idzie - efektywności

Wkłady publiczne - wkłady prywatne - rezultaty - efekt dźwigni finansowej

PRODUKTY

Wskaźniki produktu – output indicators

Produkty materialne i usługi, które otrzymuje/wytwarza beneficjent w trakcie

realizacji projektu przy wykorzystaniu zaangażowanych zasobów.

Efektywność - Skuteczność - Trwałość



32



Wskaźniki rezultatu – result indicators

Bezpośrednie i natychmiastowe efekty projektu. Zmiany, jakie nastąpiły w

wyniku wdrożenia projektu u bezpośrednich beneficjentów pomocy

Efektywność - Skuteczność - Trwałość

•Pokazujące moc, przepustowość, potencjał

•Pokazujące rzeczywiste osiągnięcia, wykorzystanie potencjału



Wskaźniki oddziaływania (wpływu) – impact indicators

Konsekwencje danego projektu/programu wykraczające poza

bezpośrednie i natychmiastowe efekty dla beneficjentów:

• bezpośrednie/pośrednie

• oczekiwane/nieoczekiwane

• pozytywne/negatywne

• netto/brutto



33


Blok 2 – Wskaźniki – SPOSÓB wykorzystania danych

WSKAŹNIKI KONTEKSTOWE – ich rolą jest ukazanie tła sytuacji społeczno-

gospodarczej (najczęściej wykorzystywane w diagnozie strategicznej)

WSKAŹNIKI OSIĄGANIA CELÓW (wskaźniki programowe) – umożliwiają

określenie i monitorowanie celów do osiągnięcia.

za: Wskaźniki w zarządzaniu strategicznym, T.Kot, A. Weremiuk, MRR, 2012



Rola wskaźników w diagnozie

Wskaźniki kontekstowe → ukazanie tła sytuacji społeczno-

gospodarczej

Wskaźniki celu (programowe/projektowe) – wynikające z interwencji

→ określenie i monitorowanie celów do osiągnięcia



34



WSKAŹNIKI CELU można podzielić na wskaźniki celów najważniejszych dla danej

strategii (to tzw. WSKAŹNIKI KLUCZOWE) – obsługują główne cele lub ‘wiązki’

celów.

Dodatkowo wśród wskaźników określonych dla programu czy projektu można

wyróżnić: WSKAŹNIKI REALIZACJI CELÓW POLITYK, lub KWESTII

HORYZONTALNYCH tj.

• polityki równości szans,

• polityki zrównoważonego rozwoju

• polityki przeciw jakiejkolwiek formie dyskryminacji

• polityki innowacyjności itp.


Blok 2 – Wskaźniki – wyzwania terytorialne

Rola ‘opomiarowania’ planów rozwojowych wzrasta w związku z oczekiwaniem

wywołania efektów na poziomie oddziaływań (które trzeba ocenić

w odniesieniu do ‘postępu’ w obrazie społeczno-gospodarczego rozwoju).

Ze względu na etapy cyklu interwencji publicznej wskaźniki spełniają

ROZMAITE FUNKCJE (planowanie, zarządcza, rozliczeniowa, ewaluacyjna,

informacyjna itp.).

DO DZIAGNOZY – potrzebny zestaw wskaźników kontekstowych opisujących

sytuację wyjściową, wskazują kluczowe problemy,

DO WYBORU CELÓW – planujący interwencję WYBIERAJĄ wskaźniki

rezultatu, obrazujące realizację zakładanych celów,

DO ALOKACJI ZASOBÓW – planujący interwencję wybierają wskaźniki

nakładu.



35


Blok 2 – WSKAŹNIKI - Praktyka diagnostyczna (1/3)

Reguły zastosowania wskaźników (praktyka) przy budowie DIAGNOZY

-Selekcjonuj zmienne i nie zrażaj się deficytami danych – celem diagnozy

nie jest zgromadzenie wszystkiego co wiemy, ale oparcie na faktach

pomysłu na rozwój. Jeśli skupisz się wyłącznie na statystyce i

danych, łatwo pominąć zjawiska, które są ważne, ale nie są

zapisane w danych (ich pozyskanie może być kosztowne,

czasochłonne i trudne do wykonania pod względem merytorycznym

– takie analizy to ostateczność!)

-Porównuj porównywalne i stosuj skale porównawcze!

-trzeba bardzo zwracać uwagę, że bez zachowania odpowiednich

proporcji oraz właściwego komentarza do zbieranych danych, łatwo

jest o mylną interpretację danego zjawiska.



-Stosuje aktualne i jednolite dane – warto odnosić dane do wybranego roku

bazowego, obszaru, jednakowych uwarunkowań. Tylko takie

podejście odda rzeczywisty stan opisywanego wskaźnikami

zagadnienia lub obszaru.

-Przyjmij prymat wartości względnych (liczbowych) nad bezwzględnymi

(%) – jeśli już chce je stosować, pamiętaj o podaniu ‘bazy’

umożliwiającej porównanie. Zawsze podawaj określenie czasu, kiedy

opisywana sytuacja miała miejsce (np. na 30 czerwca roku XXXX).

-Ostrożnie korzystaj ze wskaźników syntetycznych – łatwe w

‘rankingowaniu’ pozycji, chętnie stosowane przez media, ale bardzo

trudne do rzeczywistej i jednoznacznej interpretacji…



36



-Stosuj DEZAGREGACJĘ wskaźników – czyli rozbicie ze względu na cechę,

co jest szczególnie ważne w przypadku wewnętrznego zróżnicowania

cechy lub zjawiska mierzonego wskaźnikiem zagregowanym.

Jeśli diagnoza ma być uczciwa, musi uwzględnić złożoność zjawiska

(np. dotyczącego płci, wieku, obszaru, grupy społecznej itp.).

-Bądź precyzyjny posługując się wskaźnikami – błędnie podany okres,

nieprecyzyjne nazewnictwo, uproszczenia... Unikaj powszechnych

błędów przy posługiwaniu się liczbami – mylenie procentów z punktami

procentowymi (% stosujemy, podając zmiany wartości bezwzględnych,

natomiast punkty procentowe – podając zmiany wartości wyrażonych

w %), niewłaściwego zaokrąglania liczb, utożsamienie dynamiki

z wzrostem itp.

-ZBYT WIELE DANYCH/WSKAŹNIKÓW W DIAGNOZIE TO BŁĄD–

zestawienie obszerniejsze danych powinny się znaleźć w załącznikach…


Blok 2 – WSKAŹNIKI – wyznaczanie i monitorowanie celów (1/3)

WŁAŚCIWE SFORMUŁOWANIE wyznaczonych w dokumentach strategicznych

CELÓW ma wielki związek z ich OPOMIAROWANIEM.

Kryterium SMART (akronim) w tym pomaga. Cel ma być:

Specyfic – konkretny,

Measurable – mierzalny,

Attainable – osiągalny lub acceptable tj. akceptowane, ambitious tj.

ambitne, accountable tj. przypisywalne

Relevant – istotne lub realistic tj. realistyczne przy zasobach, którymi

dysponujemy,

Time-bound – określone w czasie.



37



Doprecyzowanie celów warto oprzeć dodatkowo na rekomendowanych przez

OECD lub Bank Światowy pytaniach:

-dla kogo, w jakiej grupie?

-gdzie, w jakim obszarze, na jakim terenie?

-jak bardzo, w jakim stopniu,

-od kiedy.

W praktyce stopień doprecyzowania celów zależy od poziomu dokumentu

strategicznego – im wyższy poziom dokumenty, tym cele są mniej

rozczłonkowane, obejmujące większy obszar i szersze grupy docelowe.

Określenie rodzaju zmiany, która ma nastąpić po planowanej interwencji, jest

kluczowe do właściwego doboru wskaźników (!!!)



Wskaźniki na poziomie celów dokumentów strategicznych (polityki, strategii,

programu) powinny być WSKAŹNIKAMI REZULTATU (czyli powinno

odzwierciedlać zamierzone efekty, opisywać ZMIANĘ, która w danej dziedzinie

tematycznej, lub na danym terenie NASTĄPI), mogą (choć nie muszą) zostać

uwzględnione także WSKAŹNIKI PRODUKTU – opisujące założone działania –

przez jakie chcemy zamierzamy osiągnąć cel (zgodnie z założeniem: co zrobić,

żeby osiągnąć oczekiwany stan).

Na osiągnięcie celów ma wpływ szereg wskaźników zewnętrznych (które zespół

programujący powinien uwzględnić) – ale oddzielenie efektów interwencji od

czynników zewnętrznych jest już zadaniem ewaluacji.

Na poziomie projektów, należy dobrać wskaźniki produktu i rezultatu.



38


Cele szczegółowe: Mierniki Źródła weryfikacji

Rozwój stref aktywności gospodarczej i

infrastruktury sprzyjającej inwestycjom

- Powierzchnia stref aktywności gospodarczej na obszarze

powiatu tarnowskiego (ha);

- Liczba podmiotów funkcjonujących w strefach aktywności

gospodarczej;

- Liczba osób zatrudnionych w podmiotach

funkcjonujących w strefach aktywności gospodarczej;

Statystyka wewnętrzna

jednostek samorządu

terytorialnego

Tworzenie warunków dla rozwoju

przedsiębiorstw działających w

obszarach około i pozarolniczych

Liczba osób zatrudnionych w rolnictwie (wg KRUS – status

rolnika i status domownika);

GUS, statystyka wewnętrzna


terytorialnego,

Poprawa struktury agrarnej Powierzchnia zalesionych nieużytków (ha);



terytorialnego

Wzrost atrakcyjności turystycznej

powiatu

- Długość szlaków turystycznych PTTK na terenie powiatu

tarnowskiego (km);

- Długość turystycznych szlaków rowerowych na obszarze

powiatu (km);



terytorialnego, PTTK

Tworzenie produktów turystycznych, - Liczba targów turystycznych z aktywnym udziałem

powiatu tarnowskiego;

- Liczba odwiedzających sanktuaria religijne subregionu w

skali rocznej;

- Liczba projektów z zakresu promocji turystycznej

realizowanych na obszarze powiatu;

Statystyka wewnętrzna


Blok 2 – WSKAŹNIKI – Przykład Strategia Rozwoju Powiatu Tarnowskiego


Blok 2 – WSKAŹNIKI – Przykład Strategia Rozwoju Powiatu Chojnickiego



39


Blok 2 – WSKAŹNIKI – ocena ich jakości (1/2)

CECHY DOBRYCH WSKAŹNIKÓW, jak w przypadku konstruowania celów,

w praktyce projektowej opisywane są akronimami: SMART, CREAM, SPICED.

Katalog kryteriów oceny poszczególnych wskaźników, o których te metodologie

mówią sprowadza się do 3 grup warunków uznania wskaźnika:

-tzw. warunki sine qua non – kryteria niezbędne do spełnienia

-warunki poprawności metodologicznej – kryteria pożądane

-zalecenia – kryteria zalecane do spełnienia taj, gdzie to możliwe.

O wskaźniku na poziomie celu strategiczne możemy mówić tylko wtedy, gdy

spełnia od podstawowe kryteria (kryterium sine qua non) :

-wskaźnik rezultatu ZMIENIA WARTOŚĆ w wyniku interwencji,

-wskaźnik ODDAJE ISTOTĘ CELU.


Blok 2 – WSKAŹNIKI – ocena ich jakości (2/2)

WSKAŹNIKI – kryteria poprawności metodologicznej

-ograniczają możliwości manifestowania pozornych efektów,

-ograniczają możliwości zniekształcenia

-umożliwiają jednoznaczną i intuicyjną interpretację skali i kierunku

zmian,

-są wiarygodne statystycznie.

WSKAŹNIKI – kryteria rekomendowane

-możliwe do pozyskania, zbierania, mierzenia za koszt akceptowalny prez

zarządców programu, jak i społeczeństwo,

-możliwe do zdezagregowania według różnych cech,

-mierzalne w sposób zbliżony w różnych regionach, programach,

państwach członkowskich oraz -jeśli to możliwe- porównywalne ze

standardami międzynarodowymi (ONZ, OECD).



40


Blok 2 – WSKAŹNIKI – metryka wskaźnika

Budując tzw. portfel wskaźników powinien on być:

-zhierarchizowany funkcjonalnie (podział na wskaźniki

kluczowe i pomocnicze),

-proporcjonalny w swoim zakresie (liczbie wskaźników) do

interwencji.

Zaproponowany zestaw wskaźników monitorujących ‘podparty jest’ tzw.

metrykami wskaźników. Jest to zbiór usystematyzowanych informacji na

temat wskaźnika, obejmujący m.in. określenie jego wartości bazowych

i docelowych. Tylko rzetelnie przygotowane metryki umożliwiają skuteczne

monitorowanie osiąganych wyników.


Blok 2 – WSKAŹNIKI – metryka wskaźnika

Metryka wskaźnika w wersji rozbudowanej zawiera:

-określenie jego typu i roli, jaką ma spełniać (wskaźnik

produktu, wskaźnik kluczowy itp.),

-precyzyjną jego nazwę,

-jednostkę pomiaru (np. km, KWh itp.),

-źródła pozyskania danych (np. GUS, beneficjenci itp.),

-częstotliwość pomiaru (np. corocznie),

-termin pozyskania danych – uwarunkowany cykle zbierania

danych i metodologię pomiaru,

-sposób dezagregacji (np. obszar wiejski – miejski, kobiety –

mężczyźni itp.),

-wartość bazową, czyli określony w czasie punkt odniesienia,

pierwszy pomiar zjawiska,

-wartość docelową, czyli określony w czasie skwantyfikowany

cel, do którego dążymy.



41


Blok 2 – ustalanie wartości bazowych i docelowych

Wartość bazowa (ang. baseline value) to pierwszy pomiar

monitorowanego wskaźnika, punkt startowy projektu, działania, interwencji,

strategii.

Jako tzw. OKRES BAZOWY przyjmuje się rok rozpoczęcia interwencji.

Wartość bazowa wskaźnika może być niezerowa lub równa zeru.

Wartości bazowe mogą JUŻ ISTNIEĆ, można je pozyskać z dostępnych

źródeł np. ze statystyki publicznej lub z poprzednich realizacji, jeśli

działania kontynuujemy lub NIE ISTNIEJE – trzeba je wówczas

opracować.

Wartość bazowa zerowa występuje w przypadku poprawnie

zdefiniowanych wskaźników projektowych.



Wartości docelowe wskaźników (ang. targets) to skwantyfikowane cele,

oczekiwane do osiągnięcia w określonych ramach czasowych, przy

wykorzystaniu istniejących zasobów.

Ich rzetelne wyznaczenie jest trudne! Mogą to powodować obiektywne

(trudność naukowa, niedoskonałość metod) i subiektywne uwarunkowania

(np. polityczne, psychologiczne itp.). Mają na to wpływ:

-precyzja wyznaczenia celu,

-rodzaj, wielkość i stopień złożoności działania,

-trendy historyczne,

-czas trwania działania

-stabilność szacowanych kosztów jednostkowych,

-oczekiwania społeczne i polityczne,

-czynniki zewnętrzne.



42



W praktyce projektowej do ustalania wartości docelowych rezultatów

i oddziaływań wykorzystuje się:

-modelowanie ekonometryczne,

-benchmarking,

-oceny eksperckie,

-dowody naukowe.

Dla wskaźników produktów – oprócz ocen eksperckich oraz wyników podobnych

realizacji pomocne jest obliczenie tzw. kosztów jednostkowych produktu

(uśrednione koszty na jednostkę kalkulacyjną – należy jednak uwzględniać

pogłębioną weryfikację wszystkich uwarunkowań.

Zalecane jest także określanie tzw. wartości pośrednich osiągnięcia celów (ang.

interim targets) – nazywane czasem kamieniami milowymi będące wyznacznikami

ukończenia etapu interwencji.


Blok 3

Blok 3 - Źródła weryfikacji wskaźników

-Bank Danych Lokalnych

-System Strateg

-Monitoring Podkarpackie



43


Blok 3 – źródła danych - Polska

PODSTAWOWYM źródłem wskaźników do diagnoz strategicznych (poziom

krajowy, lokalny) są OFICJALNE DANE STATYSTYCZNE.

Główna zaleta to ZASÓB DANYCH oraz GWARANCJA JAKOŚCI

(statystyka publiczna stosuje Europejski kodeks praktyk statystycznych)

z zachowaniem tzw. tajemnicy spisowej.



Do gromadzenia danych w statystyce publicznej stosuje się:

-spisy powszechne (w cyklach wieloletnich),

-źródła administracyjne (gromadzone przez rozmaite instytucje),

-badania pełne (prowadzone przez GUS lub inne organy),

-badania reprezentacyjne (np. BAEL – badania aktywności ekonomicznej ludności),

-źródła zagraniczne (OECD, Eurostat itp.)

Zależnie od rodzaju, może występować rozmaita przystawalność danych do potrzeb programowania polityk publicznych.



44


Zasoby statystyczne można wykorzystywać w formule nieodpłatnej (udostępniony

zasób) lub odpłatnej (na zmówienie zainteresowanych) – wykonuje się je ze

zbiorów archiwalnych lub bieżących wg zamówienia.

Ważnym źródłem jest Program Badań Statystycznych Statystyki Publicznej

(PBSSP), którego tematyka dostępna jest na stronach www.stat.gov.pl. Program

jest rozwijany o rozmaite przekroje statystyczne – podmioty publiczne mogą wnosić

o jego zmianę, proponować nowe badania itp.

Bank Danych Lokalnych – BDL (od 2010 roku zwany Bankiem Danym

Regionalnych) zawiera ok. 20 tys. zmiennych opisujących sytuację społeczno-

gospodarczą i stan środowiska (od roku 1995). Dane można analizować

w układzie tablic i wykresów w układzie jednostek NTS oraz TERYT.



Bank Danych Lokalnych

Jest największym w Polsce uporządkowanym ZBIOREM INFORMACJI

OPISUJĄCYCH sytuację społeczno-gospodarczą, demograficzną, społeczną

oraz wiedzę na temat stanu środowiska, opisującym województwa, powiaty

oraz gminy jako podmioty systemu organizacji społecznej i administracyjnej

państwa, a także regiony i podregiony stanowiące elementy nomenklatury

jednostek terytorialnych do celów statystycznych.

Gromadzi, systematycznie uzupełnia, aktualizuje informacje statystyczne o

poszczególnych jednostkach podziału terytorialnego.

Blok 3 – Bank Danych Lokalnych



45


Blok 3 - BDL


Blok 3 - BDL



46


W Banku Danych Lokalnych można znaleźć także bazy danych wprost

dedykowane wskaźnikom monitorowania polityki rozwoju –

dostępna jest tam baza demograficzna, baza danych handlu

zagranicznego oraz zakładki: Wskaźniki makroekonomiczne

i Wskaźniki monitorujące.

Blok 3 – źródła danych - BDL


Przydatnym do opracowywania diagnoz jest także Statystyczne Vademecum

Samorządowca (SVS) wspierające obsługę administracji

samorządowej.

Również ‘klasyczne’ opracowania GUS (choć dane dotyczą głównie agregacji

przestrzenne na wyższych poziomach) takiej jak: Rocznik Statystyczny

RP, Mały Rocznik Statystyczny, roczniki branżowe i Roczniki

Statystyczne Województw (wydawane przez wojewódzkie urzędy

statystyczne) wspierają programowanie rozwoju na poziome

województwa.




47


Blok 3 - źródła danych – UE/inne

Najważniejszymi organizacjami międzynarodowymi w obszarze

statystycznym są:

-Europejski Urząd Statystyczny (Eurostat),

-Organizacja Współpracy Gospodarczej i Rozwoju (OECD),

-Bank Światowy.

Inne źródła danych – przykłady…

-Moja Polis (www.mojapolis.pl)

-System Analiz Samorządowych –SAS (www.sas24.org)

-Diagnoza społeczna. Warunki i jakość życia Polaków.

(www.diagnoza.com),

-regionalne obserwatoria (terytorialne, branżowe, dziedzinowe),

np. serwis MONITORUJ PODKARPACKIE (o którym będzie mowa).


Blok 3 - STRATEG

Czym jest system monitoringu STRATEG?

STRATEG to publicznie dostępny zbiór danych gromadzący informacje

wykorzystywane w procesie programowania i monitorowania polityki rozwoju.

STRATEG skupia w jednym miejscu wszystkie wskaźniki wykorzystywane

w różnych dokumentach strategicznych.

Umożliwia wszystkim zainteresowanym użytkownikom łatwe szybkie

pozyskanie informacji na temat efektów wdrażania polityki rozwoju oraz

polityki spójności.



48


Blok 3 - STRATEG


Blok 3 - STRATEG

W systemie umieszczono strategie, zgodnie ze znowelizowaną ustawą

o zasadach prowadzenia polityki rozwoju. Oprócz nich włączono dodatkowe

dokumenty o charakterze strategicznym, ważne z punktu widzenia prowadzenia

polityki rozwoju i spójności (w miarę dostępności) dane od 2003 r., w tym m.in.

WSKAŹNIKI służące do MONITORINGU realizacji celów:

-Długookresowej Strategii Rozwoju Kraju,

-Średniookresowej Strategii Rozwoju Kraju,

-9 zintegrowanych strategii (innowacyjności i efektywności

gospodarki, transportu, bezpieczeństwa energetycznego

i środowiska, rozwoju regionalnego, kapitału ludzkiego,

kapitału społecznego, zrównoważonego rozwoju wsi,

rolnictwa i rybactwa, sprawnego państwa,

bezpieczeństwa narodowego RP,

-Strategii Europa 2020

-Strategii rozwoju społeczno-gospodarczego Polski

Wschodniej



49


Blok 3 - STRATEG

Wraz z postępem prac, zawartość systemu będzie sukcesywnie

wzbogacana o wskaźniki pochodzące z innych dokumentów o charakterze

strategicznym, w tym m.in.:

-strategie wojewódzkie

-kolejne strategie ponadregionalne

-Umowę Partnerstwa

-programy operacyjne przyjmowane dla nowej perspektywy

finansowej


Blok 3 - STRATEG - zakładki (1/2)

Wskaźniki w Strategu można wybierać według nazwy i wg obszarów tematycznych

DOKUMENTY STRATEGICZNE (zakładka „Strategie i programy”)

Aby wyszukać wskaźniki „według strategii” należy wejść w zakładkę „Strategie

i programy”. Po wybraniu jednej z wyświetlonych pozycji, zostanie

zaprezentowana tablica predefiniowana zawierająca wskaźniki uporządkowane

według układu przyjętego w konkretnym dokumencie strategicznym wraz z

przypisanymi wartościami

(w tym pośrednimi oraz docelowymi).

OBSZARY SPÓJNOŚCI (zakładka „Polityka spójności”)

Wybór wskaźników „według obszaru spójności” wymaga wejścia w zakładkę

„Polityka spójności”. Po wskazaniu jednego z celów wyświetlona zostanie tablica

predefiniowana zawierająca wskaźniki przyporządkowane do obszaru wraz z

przypisanymi wartościami.



50


Blok 3 - STRATEG - zakładki (2/2)

OBSZARY TEMATYCZNE (zakładka „Obszary tematyczne”)

Wyszukiwanie wskaźników „według obszarów tematycznych” jest możliwe po

wejściu w zakładkę „Obszar tematyczny” bezpośrednio z poziomu strony głównej.

Po wybraniu jednego z obszarów wyświetli się tablica predefiniowana

z przyporządkowanymi do konkretnego obszaru wskaźnikami wraz z przypisanymi

wartościami.

JEDNOSTKI SAMORZĄDU TERYTORIALNEGO (zakładka „Portret JST”)

Korzystanie z tego trybu jest możliwe po wejściu w zakładkę „Portret JST”,

zawierającą drzewo podziału terytorialnego kraju. Drzewo to umożliwia wybór

jednostki terytorialnej począwszy od poziomu ogólnokrajowego do poziomu

gminy. Po zaznaczeniu danej jednostki podziału terytorialnego, wyświetlona

zostanie tablica predefiniowana zawierająca dostępne dla tej jednostki wskaźniki

wraz z przypisanymi wartościami.


Blok 3 - STRATEG - zakładki

Strateg zawiera również opisy metodologiczne wskaźników

Opisy metodologiczne można znaleźć w części „Informacje o wskaźnikach”

w zakładce „Metadane i analizy” poprzez wyszukiwarkę dedykowaną do

metryczek wskaźników.

Ponadto dostęp do metryczek wskaźników zapewniony jest z poziomu tablic

(predefiniowanej i dynamicznej). Przy nazwie wskaźnika znajduje się ikona

oznaczająca dostęp do metryczki danego wskaźnika; po kliknięciu w ikonę

zostanie wyświetlona metryczka wskaźnika.



51


„Monitoruj podkarpackie”

– prezentacja możliwości witryny przez reprezentanta

Urzędu Marszałkowskiego woj. Podkarpackiego

Blok 3 - „Monitoruj Podkarpackie”


Przygotowanie systemu monitorowania strategii

• Co?

• Jak?

• Kto?

• Kiedy?

• Po co?

Blok 3 – Przygotowanie systemu monitorowania strategii



52



• W przypadku realizacji strategii, podstawowymi obszarami do monitoringu

są: rezultaty, działania, terminy, koszty.

• System monitoringu wymaga także ustalenia, w jakich terminach i przez

kogo te obszary będą obserwowane, jak będą raportowane i jakie

procedury uruchamiać będą ewaluację w przypadku zaobserwowanych

trudności.

• Za przeprowadzanie monitoringu i raportowanie radzie jego wyników

odpowiedzialna jest osoba pełniąca funkcję wójta/ burmistrza/

prezydenta/starosty.

• Wykonanie pomiarów i analiz oraz przygotowywanie raportów należy do

zespołu odpowiedzialnego za monitoring strategii



System Monitorowania Strategii

Przygotowanie takiego systemu zazwyczaj obejmuje:

•przegląd strategii;

•opracowanie listy wskaźników podstawowych;

•przydzielenie zadań związanych ze zbieraniem

i agregowaniem danych

•prace nad specyficzną formatką;

•szkolenie zespołu monitorującego strategię



53


Blok 3 – opracowanie listy wskaźników

Zestaw wskaźników powinien być:

•zhierarchizowany funkcjonalnie - podział na wskaźniki

kluczowe i pomocnicze

•proporcjonalny w swoim zakresie (liczbie wskaźników) do

interwencji

Zestaw wskaźników powinien zawierać:

•definicje wskaźników

•źródła danych

•częstotliwość zbierania danych

•metodologię zbierania danych


Blok 3 – wyznaczenie zespołu i zadań związanych z monitoringiem

Wyznaczenie zespołu i przydzielenie zadań:

• Skład i zadania zespołu

• Szkolenia zespołu

• Spotkania i wymiana doświadczeń

• Komitet Monitorujący



54


Blok 3 – Schemat raportowania

Przykładowy schemat raportowania:

• Realizacja celów

• Postęp finansowy

• Postęp rzeczowy

• Problemy z wdrażaniem i środki zaradcze


Blok 3 – przykład podziału zadań monitoringowych

Powiat Tarnowski

,,Proces monitorowania polegał będzie na systematycznym obserwowaniu zmian

zachodzących w ramach poszczególnych programów oraz celów wytyczonych w Strategii.

Podstawowym celem monitoringu jest uzyskanie mierzalnych wyników progresji osiągnięcia

celów Strategii. Odpowiedzialnym za monitorowanie Strategii będzie Wydział Rozwoju

Powiatu. Poprzez dobór właściwych wskaźników, mierzalnych i dostępnych w statystyce

publicznej lub w wewnętrznym systemie sprawozdawczości Starostwa Powiatowego,

możliwe będzie efektywne monitorowanie procesu wdrażania Strategii Rozwoju. Podstawą

monitorowania efektywności wdrażania zapisów Strategii będą mierniki określone w

przyjętych do realizacji celach strategicznych.”



55


Blok 3 – przykład podziału zadań monitoringowych

Powiat Nowotarski

Projekt: Nowotarski - nowatorski. Samorząd zorientowany projektowo

• Wyspecjalizowana komórka organizacyjna, wskazana na podstawie regulaminu

organizacyjnego Starostwa odpowiada za:

– przygotowanie i aktualizację listy zadań strategicznych wraz z celami strategicznymi

– monitoring i ewaluację zadań strategicznych,

– controlling taktyczny programów.

• Poziom odpowiedzialności za realizację zadań spoczywa na pracownikach Starostwa

Powiatowego, odpowiedzialność za cele operacyjne przypisane do wydziału ponosi

Naczelnik Wydziału. Odpowiedzialność za realizację celów strategicznych przypisanych do

pionu spoczywa na Kierującym Pionem.

• Taki sposób zorganizowania powoduje aktywizację wszystkich osób zatrudnionych w

Starostwie Powiatowym w zakresie dążenia do realizacji celów nadrzędnych określonych w

Strategii Powiatu.


Blok 4-5

Blok 4-5 Ewaluacja strategii

Ewaluacja w cyklu wdrażania interwencji publicznej

Planowanie ewaluacji:

-Temat badania ewaluacyjnego

-Cele badania ewaluacyjnego

-Pytania badawcze

-Zakres badania i źródła danych

-Sposób realizacji badania

-Budżet badania

-Harmonogram badania



56


Cele i funkcje ewaluacji:

Podstawowym celem ewaluacji jest ocena rzeczywistych lub

spodziewanych efektów realizacji danej interwencji publicznej.

Pozostałe cele:

• Poprawa skuteczności i efektywności interwencji publicznych,

• Zwiększanie przejrzystości i promowanie działań podejmowanych przez instytucje publiczne,

• Kształtowanie kierunków działalności sektora publicznego,

• Poznawanie mechanizmów funkcjonowania programów.

UŻYTECZNOŚĆ

111

Blok 4 i 5 – Ewaluacja strategii


Najważniejsze funkcje ewaluacji (1/2):

• Konkluzywna – pozwala na podsumowanie efektów działań podejmowanych

w ramach danej interwencji; ustalenie związków przyczynowo- skutkowych

pomiędzy działaniami i efektami zwiększa nasz zasób wiedzy na temat

oddziaływania interwencji (charakter poznawczy ewaluacji), porównanie

osiągniętych efektów z założonymi celami pozwala na egzekwowanie

odpowiedzialności - stanowi podstawę do rozliczenia

w zakresie skuteczności i efektywności.

• Formatywna – służy poprawie jakości działań podejmowanych w ramach

bieżących jak i planowanych interwencji, dzięki wdrażaniu rekomendacji

pozwala na podnoszenie skuteczności, efektywności i użyteczności

interwencji, służy głównie podmiotom wewnętrznym.

112




57


Najważniejsze funkcje ewaluacji (2/2):

• Społeczno-polityczna – pozwala na zwiększenie poziomu uspołecznienia,

zwiększenia poparcia społecznego i politycznego dla interwencji, służy

podniesieniu motywacji i współodpowiedzialności aktorów zaangażowanych

w realizację; zwiększa przejrzystość działań władz publicznych dzięki czemu

kształtuje porządek demokratyczny, legitymizuje działania władz

publicznych.

113



Miejsce ewaluacji w cyklu życia programu/strategii

– ujęcie praktyczne:

114

DIAGNOZA

Wybór instrumentów

/projekt programu

Ewaluacja ex ante

Wdrażanie programu

- Ewaluacja on going

Ewaluacja

(ex post)




58


Ewaluacja na poszczególnych etapach realizacji strategii

Etap realizacji Zagadnienia ewaluacyjne/przedmiot ewaluacji

Przed rozpoczęciem

(ex-ante)

Ewaluacja przebiegu samego procesu przygotowań dokumentu oraz jego

planowanych wyników

Opracowania wskaźników bazowych

Opracowania planów, programów i harmonogramów

W trakcie realizacji

(on-going)

Ocena skuteczności w odniesieniu do konkretnych (wybranych) celów.

Ocena systemu wdrażania

Służy modyfikacji i usprawnianiu, partnerstwa, skuteczności i wpływu

poszczególnych projektów na cele w strategii, sposobu wyboru projektów do

realizacji, sposobu uwzględnienia zagadnień horyzontalnych…)

Po realizacji

(ex-post)

Ocena skuteczności i efektywności realizowanych działań w kontekście

efektów dla beneficjentów i grupy docelowej.

115



Jakie jeszcze wyróżniamy rodzaje ewaluacji?

• Według kryterium poziomu którego dotyczy badanie ewaluacyjne wyróżnić

możemy:

- ewaluację projektu,

- ewaluację programu (w tym działań/priorytetów w ramach programu),

- ewaluację strategii.

• Ze względu na sposób organizacji procesu ewaluacji wyróżnić możemy

ewaluację wewnętrzną i zewnętrzną:

- ewaluacja wewnętrzna to ocena realizowana przez podmioty zaangażowane

we wdrażanie danej interwencji,

- ewaluacja zewnętrzna polega na zleceniu oceny niezależnemu zespołowi

ewaluacyjnemu.

Jedna i druga metoda posiada zarówno zalety jak i wady.

116




59


Czym są kryteria ewaluacyjne? (1/3)

Kryteria ukierunkowują uwagę oceniającego na kwestie najistotniejsze

dla danego projektu. Podstawowe kryteria:

•Trafność (ang. Relevance) - ocenia adekwatność planowanych celów

interwencji i metod jej wdrażania do problemów i wyzwań społeczno-

ekonomicznych, które zostały zidentyfikowane w diagnozie. Analiza tego

kryterium jest prowadzona przez rozpoczęciem i w pierwszych fazach

wdrażania interwencji.

•Skuteczność (ang. Effectiveness) - ocenia stopień realizacji zakładanych

celów (czy osiągnięto to co zaplanowano), skuteczność użytych metod,

instytucji oraz wpływ czynników zewnętrznych na ostateczne efekty.

117




• Wydajność/Efektywność (ang. Efficiency) - ocenia relację między

nakładami, kosztami, zasobami (finansowymi, ludzkimi, administracyjnymi)

a osiągniętymi efektami interwencji.

• Użyteczność (ang. Utility) - ocenia całość rzeczywistych, efektów

wywołanych przez interwencję (zarówno tych planowanych jak i

nieplanowanych tzw. ubocznych) odnosząc je do wyjściowej sytuacji

oraz wyzwań społeczno-ekonomicznych, które były przedmiotem

interwencji. W odróżnieniu od kryterium trafności, ocena użyteczności

jest prowadzona po zamknięciu interwencji lub w jej końcowej fazie

wdrażania.

118




60



• Trwałość - (ang. Sustainability) - ocenia ciągłość efektów (przede

wszystkim pozytywnych) danej interwencji w perspektywie średnio

i długookresowej (a więc po zakończeniu interwencji – zwykle w 2-3

lata).

119



Kryteria ewaluacyjne

120

Cele Zasoby

Potrzeby

Działania Produkty

Oddziaływanie

Rezultaty

Program

Ewaluacja

Skuteczność

Użyteczność i Trwałość

Efektywność Trafność

Produkty

Rezultaty




61


Kryteria ewaluacyjne a typy ewaluacji

121

Kryterium Ex-ante On-going Ex-post

Trafność X X

Skuteczność X X X

Efektywność X X X

Użyteczność X

Trwałość X



Pytania badawcze

Wybór pytań i sposób ich sformułowania determinują cały proces

badawczy

Pytania powinny dotyczyć konkretnych potrzeb informacyjnych związanych

z realizacją programu. Ewaluacja powinna dostarczać nam informacji

istotnych z punktu widzenia wdrażania badanego programu lub interwencji.

Celem pytań ewaluacyjnych nie jest jedynie gromadzenie nowej wiedzy, ale

wykorzystanie jej do podniesienia jakości wdrażanego lub planowanego

programu.

122




62


Jak zaplanować ewaluację aby ją dobrze zlecić?

• Identyfikujemy temat badania ewaluacyjnego i uzasadniamy decyzję o jego

realizacji,

• Definiujemy cele badania i stawiamy pytania badawcze,

• Określamy obszar i zakres ewaluacji oraz definiujemy źródła danych,

• Dobieramy kryteria ewaluacyjne,

• Określamy sposób realizacji badania,

• Określamy budżet badania,

• Ustalamy harmonogram badania,

• Przygotowujemy zamówienie na ewaluację.

123

Blok 4 i 5 – PLANOWANIE EWALUACJI


Identyfikujemy temat badania ewaluacyjnego

i uzasadniamy decyzję o jego realizacji

Określamy:

• Dlaczego zamierzamy zrealizować badanie ewaluacyjne i do czego chcemy

wykorzystać jego wynik?

- badania operacyjne,

- ocena efektów.

• Kim są kluczowi odbiorcy wyników ewaluacji? Dla kogo to badanie robimy?

- decydenci, kierownictwo wyższego szczebla, partnerzy, opinia

publiczna…

• Czy będziemy w stanie wykorzystać wnioski i rekomendacje płynące z

ewaluacji? – pytanie o użyteczność ewaluacji?

124




63


Jak poprawnie sformułować pytania badawcze?

Sposób sformułowania: opisowy, przyczynowo-skutkowy, normatywny,

predyktywny

1. Czy wzrost ilości przedsiębiorstw w X jest wynikiem kierowanych w ramach

Strategii instrumentów wsparcia?

2. Które z instrumentów wsparcia MŚP najbardziej przyczyniły się do tego

wzrostu?

3. Czy można określić, że dofinansowanie na rozpoczęcie działalności

gospodarczej przyczyniło się do rozwoju przedsiębiorczości w X?

4. Czy i w jakim zakresie poprawa sytuacji na rynku pracy w gminie jest

wynikiem realizacji programu?

125



Pytania badawcze - Trafność

• Czy cele interwencji odpowiadają zidentyfikowanym potrzebom?

• Czy interwencja odnosi się do głównych sił i słabości danego układu

(regionu, sektora, etc.)?

• Czy obrana strategia trafnie uwzględnia uwarunkowania wewnętrzne

i zewnętrzne, czyli cele innych programów, działań, polityk?

• Czy logika interwencji trafnie oddaje zależności przyczynowo

skutkowe?

• Czy obrana na wstępie strategia pozostaje aktualna w trakcie

wdrażania interwencji?

126




64


Pytania badawcze - Skuteczność

• Czy cele interwencji zdefiniowane na etapie programowania

są/zostały osiągnięte?

• Jak silny jest/był wpływ czynników zewnętrznych?

• Jakie były/są sukcesy interwencji?

• Jakie problemy napotyka interwencja?

• Czy wybrane instrumenty i rozwiązania okazały się odpowiednie do

zidentyfikowanych problemów?

• Czy system zarządzania i wdrażania okazał się skuteczny?

127



Pytania badawcze - Efektywność

• Czy podobne efekty można/można było osiągnąć przy wykorzystaniu

innych instrumentów?

• Czy podobne efekty można/można było osiągnąć przy wykorzystaniu

niższych nakładów finansowych?

128




65


Pytania badawcze - Użyteczność

• Czy program spełnia/spełnił oczekiwania adresatów?

• Czy interwencja przyczynia się/przyczyniła się do rozwiązania,

zminimalizowania adresowanych problemów (z punktu widzenia

odbiorców pomocy)?

• Czy interwencja przyczynia się/przyczyniła się do wykorzystania szans

rozwojowych?

• Czy efekty interwencji są korzystne dla rożnych grup odbiorców?

• Czy pojawiły się pozytywne efekty dodatkowe?

• Czy zrealizowana inicjatywa pobudziła kolejne inwestycje (efekty impulsu,

mnożnikowe)?

• Czy pojawiły się negatywne efekty uboczne?

129



Pytania badawcze - Trwałość

• Czy efekty działania interwencji okazały się trwałe w długim okresie?

• Czy efekty działania interwencji odczuwalne są po zakończeniu realizacji

interwencji?

130




66


W materiałach macie państwo zestawienie różnych pytań

badawczych. Proszę o dobranie odpowiednich kryteriów

ewaluacyjnych do wskazanych pytań.

131

Ćwiczenie 2 – pytania badawcze


Określamy obszar i zakres ewaluacji oraz definiujemy

źródła danych

• Jakie aspekty interwencji możemy badać w ramach naszej ewaluacji (cały

program czy jego wycinek)?

• W jaki sposób zdefiniować wymiar terytorialny naszej interwencji?

- Obszarowo lub podmiotowo.

• Jakie kryteria ewaluacyjne przyjmiemy w naszym badaniu?

• W jaki sposób badanie ma być realizowane? Jakie mamy wymagania co do

form prezentacji wyników badania? Jakiej metodologii oczekujemy?

• Rzetelność, istotność oraz aktualność informacji.

132




67


Jakie kryteria ewaluacyjne przyjmiemy w naszym

badaniu?

• Bierzemy pod uwagę cele, pytania badawcze oraz moment wykonania

badania.

• Kryteria ewaluacyjne są ściśle powiązane z pytaniami ewaluacyjnymi.

• Każde pytanie odnosi się do przynajmniej jednego kryterium

ewaluacyjnego pozwalającego na sformułowanie oceny.

• Kryteria ukierunkowują uwagę oceniającego na kwestie najistotniejsze dla

danej interwencji.

133



Źródła danych

• Dobór i zdefiniowanie wskaźników i zmiennych których wartości pozwalają

na zmierzenie występowania rozmiaru zjawisk będących obiektem

zainteresowania.

• Wskazanie zbiorowości, w której będą realizowane badania – tzw. study

population - kogo lub co chcemy badać?

• Wybór metod i technik badawczych, baz źródłowych oraz decyzji co do

zasady analizy uzyskanego materiału empirycznego.

• Wybór metod oceny.

134




68


Metody i techniki badawcze

• Znajomość podstaw metodologii ewaluacji jest konieczna na

etapie zlecania badania ewaluacyjnego.

• Jakie metody i techniki badawcze wykorzystywane są najczęściej

w realizacji badań ewaluacyjnych?

• Katalog metod i technik używanych w ewaluacji jest bardzo szeroki i

czerpie z bogatego doświadczenia nauk społecznych (głównie

socjologii) oraz ekonomicznych.

• Techniki gromadzenia i analizowania informacji.

135



Wybór metod badawczych

Przy podejmowaniu decyzji o wyborze metod i technik badawczych warto

dokonać analizy wg następujących elementów:

•Czy istnieje możliwość zdobycia informacji o ludziach i ich problemach

wyłącznie przy pomocy istniejących już materiałów, czy też konieczne

jest uzupełnienie informacji przy pomocy innych technik,

•Jakie są możliwości przerobowe, czyli czas, środki finansowe, zasoby ludzkie

– ankieterzy,

•Czy nie ma jakiś przeszkód, które uniemożliwiłyby zastosowanie danej techniki,

•Czy wystarczające będzie zastosowanie jednej techniki badawczej, czy też

należałoby zastosować kilka technik np.: ankieta wśród mieszkańców

i wywiad grupowy – „focus group” z liderami społeczności lokalnej.

136




69


Metody i techniki badawcze

Metody badawcze to powtarzalne sposoby postępowanie badawczego,

czyli zbierania, przetwarzania, analizy oraz interpretacji danych.

•Dane pierwotne i wtórne

•Metody ilościowe i jakościowe

•Stosowanie zasady triangulacji rozumianej jako zwielokrotnienie:

- metod i technik badawczych,

- źródeł informacji,

- typów danych technik analitycznych,

- teorii wyjaśniających,

- liczby osób realizujących badania.

•Jak dopasować odpowiednie metody i techniki do konkretnego badania?

137



Metody i techniki używane w poszczególnych

fazach ewaluacji (1/4)

• Faza strukturyzacji to faza, w której określa się szczegółowe cele ewaluacji oraz identyfikuje niezbędne źródła badawcze.

• Faza obserwacji to faza zbierania danych:

- burza mózgów,

- mapy myśli,

- metody ilościowe.

• Faza analizy polega na przebadaniu danych zebranych w fazie obserwacji. Zgromadzone „surowe” dane poddaje interpretacji, porównaniu oraz podejmuje się próby szacowania efektów.

• Faza oceny to czwarta i ostatnia faza procesu badawczego. Polega na ocenie efektów interwencji na podstawie zebranych danych za pomocą określonych kryteriów i pytań ewaluacyjnych. Następnie formułuje się wnioski i rekomendacje.

138




70


Metody ilościowe stosowane w fazie obserwacji :

- badania ankietowe,

- CATI – (Computer Assisted Telephone Interview) – Wywiad

kwestionariuszowy telefoniczny wspomagany komputerowo,

- PAPI – (Paper and Pencil Interview) – Wywiad z ołówkiem i kartką – gdy

ankieter bezpośrednio spotyka się z respondentem.

- CAPI – (Computer Assisted Personal Interview) – Wywiad osobisty

wspomagany komputerowo – następca PAPI, gdzie zamiast kartki i ołówka

używa się komputera,

- CAWI – (Computer Assisted Web Interwiew) – Ankieta internetowa,

przeprowadzana za pomocą sieci internetowej, wypełniana bezpośrednio

przez respondenta.

139





• Metody jakościowe stosowane w fazie obserwacji:

- IDI – (Individual In-Depth Interview) – indywidualny wywiad pogłębiony,

- FGI – (Focus Group Interview) – zogniskowany wywiad grupowy,

- metoda desk research, czyli tzw. badań gabinetowych,

- studium przypadku.

140






71


• Metody stosowane w fazie analizy:

- analizy statystyczne,

- analiza kosztów/korzyści,

- modele makroekonomiczne.

• Metody stosowane w fazie oceny:

- panel ekspertów,

- benchmarking, czyli ocena efektów projektu, polegająca na

porównaniu zrealizowanych działań z podobnymi, uznanymi za

udane.

141





Jak określamy budżet badania?

• Mierzenie efektów działania i nie może być tak drogie jak sama interwencja.

• Przeznaczenie na badanie pewnej procentowej części wartości poddawanej

badaniu interwencji publicznej.

• W przypadku dużych, wielomilionowych programów będzie to stosunkowo niski

odsetek, zazwyczaj poniżej 1%.

• W przypadku mniejszych interwencji koszt badania może oczywiście być

procentowo wyższy, niemniej wydaję się, że nie powinien on przekraczać 5%

wartości interwencji.

• Koszt badania jest także zależny od zakresu i charakteru wymaganych prac.

Koszt badania zależy w pełni od zadań, które stawia się przed ewaluatorem oraz

od metod, których musi użyć by je zrealizować.

142




72


Jeśli mamy ograniczenia budżetowe możemy:

• Zawęzić zakres badania,

• Założyć zmiany w metodologii,

• Wziąć na siebie odpowiedzialność za niektóre etapy prac w ramach

ewaluacji.

143



Ustalamy harmonogram badania

Zadania w harmonogramie:

• Przygotowanie SOPZ i niezbędnej dokumentacji,

• Data ogłoszenia zamówienia,

• Data spłynięcia ofert,

• Wybór wykonawcy,

• Podpisanie umowy + “kick-off meeting”,

• Projekt raportu metodologicznego,

• Finalna wersja raportu metodologicznego,

• Realizacja badania,

• Projekt raportu końcowego,

• Raport końcowy,

• Prezentacja wyników badania – spotkanie.

144




73


Jak realizujemy badanie z udziałem wykonawcy?

• Wybieramy procedurę zamówienia publicznego,

• Odbieramy raport metodologiczny i współpracujemy z Wykonawcą w trakcie

realizacji badania,

• Odbieramy raport końcowy i kończymy współpracę z Wykonawcą.

145



Wybór wykonawcy

• Kto?

• Kryteria formalne

• Kryteria jakościowe

- koncepcji badawczej,

- metodologii,

- organizacji badanie.

W jaki sposób ograniczać czynniki ryzyka porażki? (partycypacyjny

model współpracy)

146




74


Raport metodologiczny

Dobry raport metodologiczny powinien stanowić precyzyjne

uszczegółowienie oferty i zawierać przynajmniej następujące elementy:

– Opis metodologii i propozycje narzędzi badawczych,

– Szczegółowe pytania badawcze,

– Określenie doboru prób i sposobów dotarcia do danych,

– Proponowane wskaźniki,

– Określenie źródeł danych.

147



Raport końcowy - struktura

• Streszczenie wykonawcze,

• Wprowadzenie (zawierający opis badania),

• Przedstawienie wyników,

• Wnioski,

• Rekomendacje,

• Załączniki ( w tym opis metodologii).

148




75


Proces ewaluacji

149

Zlecanie ewaluacji

Decyzja o badaniu

Strukturalizacja 1: przygotowanie

zamówienia na badanie

Strukturalizacja 2: przygotowanie ofert

Konkurs ofert i wybór wykonawcy

Prowadzenie badania

Strukturalizacja 3: raport metodyczny

Obserwacja i zbieranie danych

Analiza i ocena

Wnioski i rekomendacje

Użycie badania

Wewnętrzna dyskusja nad wynikami

Przyjęcie raportu

Wdrożenie strategii upowszechniania

wyników



Ćwiczenie 3

Uczestnicy warsztatu, bazując na rzeczywistym przypadku planowanego

badania, mają za zadanie:

1. Określić przedmiot badania ewaluacyjnego oraz moment badania,

2. Sformułować cele badania oraz pytania badawcze,

3. Dobrać kryteria ewaluacyjne,

4. Określić odbiorców badania oraz koncepcje wykorzystania jego wyników.

150

Blok 4 i 5 – Ćwiczenie



76


Blok 6

Blok 6 - Jak wykorzystywać wyniki monitoringu

a jak ewaluacji… czyli wdrażanie rekomendacji…


Ocena raportu końcowego (1/3):

152

Kryterium oceny raportu Odpowiedź na wskazane pytanie

TRAFNOŚĆ

Czy treść raportu odpowiada wskazanym

potrzebom informacyjnym?

UWZGLĘDNIENIE STANU

WIEDZY NAUKOWEJ

Czy w trakcie realizacji badania (na wszystkich

etapach) wykonawca odnosił się do istniejącego

stanu wiedzy dot. przedmiotu badania?

ZASTOSOWANA

METODOLOGIA

Czy metodologia i sposób realizacji badania

(zaproponowane metody i narzędzia) były

odpowiednie dla realizacji celów badania

i odpowiedzi na zadane pytania ewaluacyjne?

WIARYGODNOŚĆ

DANYCH

Czy zebrane dane są adekwatne do

zamierzonego użycia i czy ich wiarygodność

została sprawdzona?

Blok 6 – Zawartość raportu ewaluacyjnego



77



JAKOŚĆ

ANALIZY

I WNIOSKÓW

Czy dane ilościowe i jakościowe są poddawane

analizie w prawidłowy sposób?

PRZEJRZYSTOŚĆ

RAPORTU

Czy raport jest dobrze skonstruowany, prawidłowo

skomponowany (harmonijny) oraz napisany w

zrozumiały i przystępny sposób?

OCENA

STRESZCZENIA

RAPORTU

Czy streszczenie raportu napisane jest w sposób

syntetyczny, jasny i czytelny?

OCENA

REKOMENDACJI

Czy sformułowane rekomendacje są trafne,

użyteczne i obiektywne?

OCENA

TABELI

REKOMENDACJI

Czy tabela została opracowana w sposób

syntetyczny, jasny i precyzyjny?





OCENA

WSPÓŁPRACY

Z WYKONAWCĄ

BADANIA

Kwestie związane z bieżącym kontaktem

w trakcie badania, konsultowanie i uwzględnianie

ewentualnych uwag Zamawiającego,

terminowość, elastyczność w przypadku

zaistnienia nieprzewidzianych

OCENA

WSPÓŁPRACY

Z INNYMI

PODMIOTAMI

W TRAKCIE

REALIZACJI

BADANIA

Jak wyglądała współpraca (Zamawiającego)

z innymi podmiotami zewnętrznymi (w zależności

specyfiki badania – Grupy Sterujące, Komitety

Monitorujące, kluczowi interesariusze)?





78


Zakończenie…

Koniec modułu 3-ciego. Dziękujemy za uwagę, zapraszamy

do zadawania pytań i dyskusji…

Beata Bujak-Szwaczka

Paweł Kolas

155


Beta BUJAK-SZWACZKAmonitoruj.podkarpackie.pl/Grafika/Menu glowne/Aktualnosci...programu; obejmuje w...

Documents

Transcript of Beta BUJAK-SZWACZKAmonitoruj.podkarpackie.pl/Grafika/Menu glowne/Aktualnosci...programu; obejmuje w...