2013

Wykorzystanie metod

Rafał Trzciński

Wykorzystanie metod

kontrfaktycznych

w badaniach ewaluacyjnych

Międzyregionalna konferencja ewaluacyjna:

„Ewaluacja programów operacyjnych – wyzwania, inspiracje, przyszłość”

Toruń, 25.06.2013 r.

Ewaluacja w ujęciu pragmatycznym…

Jeśli ewaluacja służyć ma poprawie projektowaniai realizacji polityk publicznych, w tym konkretnychprogramów/projektów, to musi:

(1) dostarczać informacji, czy zastosowane dotychczasinstrumenty wsparcia zadziałały, czy też nie,instrumenty wsparcia zadziałały, czy też nie,

(2) wyjaśniać dlaczego te instrumenty zadziałały lub nie.

Czy jesteśmy skuteczni?

Odpowiedź na pytanie o to, czy zastosowane dotychczas instrumentyzadziałały:

� poprzedza udzielenie odpowiedzi na pytanie o to, dlaczego tak sięstało,

� jest domeną tzw. ewaluacji oddziaływania (impact evaluation),starającej się dokonać pomiaru efektów (w rozumieniu przyczynowym)ocenianych interwencji (ich kierunku i wielkości),ocenianych interwencji (ich kierunku i wielkości),

� najczęściej wymaga zastosowania podejścia kontrfaktycznego.

Dlaczego jesteśmy skuteczni?

� Odpowiedź na pytanie o to, dlaczego dane instrumenty(nie)zadziałały, wymaga zastosowania ewaluacji opartej na teorii(theory-based evaluation).

� Ewaluacja tego typu stara się zidentyfikować mechanizmy, któreodpowiadają za to, że programy generują takie a nie inne efekty.

� W procesie ewaluacji, zwłaszcza typu ex post, konieczne jest� W procesie ewaluacji, zwłaszcza typu ex post, konieczne jestpołączenie obu podejść (theory-based impact evaluation).

Dlaczego problem pomiaru efektów nie jest trywialny?

Relacja przyczynowa ma charakter nieobserwowalny.

Yi = Di*Y1 + (Di – 1)*Y0

Yi – obserwowany efekt,Y1 – efekt w przypadku realizacji interwencji,Y0 – efekt w przypadku braku interwencji,Di – obecność interwencji (1 – jest, 0 – nie ma).

Chcąc przewidzieć „co by było gdyby…”, niezależnie od przyjętej

metody badawczej, trzeba przyjmować dodatkowe założenia, których

prawdziwości nie jesteśmy w stanie zweryfikować…

…przynajmniej do czasu wynalezienia wehikułu czasu.

Program Brak działań

Sytuacja kontrfaktyczna

Program Brak działań

Wysokość zarobków:

3 000 PLN 2 000 PLN??

Możliwe podejścia do pomiaru efektów

� Badania opinii (deklaratywne),

� Badania typu przed-po,

� Podejście eksperymentalne,

� Techniki quasi-eksperymentalne

� Problem: występowanie tzw. mechanizmów selekcji, decydujących o tym,które jednostki korzystają ze wsparcia.

� Cel podejścia quasi-eksperymentalnego: minimalizacja oddziaływaniamechanizmów selekcji na oszacowanie efektu interwencji, tj. dążenie douzyskania niezależności procesu selekcji do danej interwencji i jej efektów(tzw. założenie warunkowej niezależności).

Podejście kontrfaktyczne z wykorzystaniem grupy kontrolnej – ogólna

idea dla schematów quasi-eksperymentalnych (np. techniki PSM)

Populacja beneficjentów Potencjalna grupa kontrolnaGrupa kontrolna

Sytuacja kontrfaktyczna

Założenie warunkowej niezależności

Grupa A Program

SytuacjaProgramGrupa BSytuacja

kontrfaktyczna

• Zakładamy, że jeśli kontrolujemy obserwowane różnice pomiędzybeneficjentami i grupą kontrolną efekt jaki zaistniałby w przypadku brakuwsparcia byłby taki sam w obu grupach.

• Zakładamy więc, że zmienne których nie kontrolujemy, nie wpływają nauzyskiwane efekty

Wykorzystanie podejścia kontrfaktycznego w Polsce

� Początki ewaluacji stosujących metody kontrfaktyczne w Polsce –ewaluacje programów Phare (PARP 2006 r.).

� Systematyczny wzrost przykładów badań w ostatnich latachw obszarze ewaluacji funduszy strukturalnych.

� Incydentalne wykorzystanie podejścia w przypadku oceny politykkrajowych.krajowych.

� Intensyfikacja działań na rzecz upowszechniania podejścia(konferencje, publikacje, szkolenia).

Badania kontrfaktyczne w kolejnej perspektywie

Formalnie niewielkie wymagania…

„At least once during the programming period, an

evaluation shall assess how support from the CSF Funds has

contributed to the objectives of each priority.

Impact evaluations using theory based approachesImpact evaluations using theory based approaches

or counterfactual methods are appropriate tools.”*

* Źródło: The Programming Period 2014-2020. GUIDANCE DOCUMENT ON MONITORING ANDEVALUATION – EUROPEAN REGIONAL DEVELOPMENT FUND AND COHESION FUND – Concepts andRecommendations, kwiecień 2013.

Konieczne dalsze obszary rozwoju

� Tematyczna koncentracja badań na wybranych obszarach strategicznych(bezrobocie, wykluczenie społeczne, wsparcie MSP) – niezbędna masakrytyczna, dobrze zakorzeniona w kontekście.

� W większości przypadków konieczne jest włączenie badańkontrfaktycznych w szersze ramy ewaluacji opartej na teorii (TBIE).

� Miejsce na ewaluację partycypacyjną.� Miejsce na ewaluację partycypacyjną.

� Wykorzystanie pełnego spektrum metod badawczych (mixed-mode).

� Wdrożenie podejścia na poziomie interwencji realizowanych pozawsparciem UE, np. w odniesieniu do projektów finansowanych z FunduszuPracy.

� Uwrażliwienie/ przygotowanie decydentów, opinii publicznej na debatępubliczną, z wykorzystaniem wyników z badań kontrfaktycznych.

Potencjalne zagrożenia

� Poprzestanie na pomiarze (brak pełnej diagnozy – ograniczonaużyteczność wyników).

� Ograniczone kompetencje osób zlecających i realizujących badaniakontrfaktyczne (możliwe pole do szerokiej interpretacji).

� Brak strategicznego planowania w zakresie dostępu do danych napotrzeby badań kontrfaktycznych (w tym danych ze statystykpotrzeby badań kontrfaktycznych (w tym danych ze statystykpublicznych).

� Potraktowanie metod kontrfaktycznych jako przejściowej mody.

Kiedy można i warto stosować metody kontrfaktyczne?

Obszary problemowe:

� Redystrybucja środków, czy nastawienie na zmianę?

� Replikowalność interwencji publicznych.

� Jednorodność ocenianego wsparcia.� Jednorodność ocenianego wsparcia.

� Dostępność danych.

Materiały

Publikacje PARP w obszarze metod kontrfaktycznych:www.badania.parp.gov.pl/index/index/1749

Coroczna Konferencja Ewaluacyjna PARP & MRR:www.konferencja-ewaluacja.pl

Dziękuję za uwagę!

rafal_trzcinski@parp.gov.plrafal_trzcinski@parp.gov.pl

+ 48 22 432 87 11