Adaptacja metodologii pomiaru efektu netto interwencji ... · GGGłówne cele badania ... ramach...

Adaptacja metodologii pomiaru efektu netto interwencji

publicznych do potrzeb sektora infrastruktury transportowej

Raport końcowy

Akademia Leona Koźmińskiego

Raport końcowy” Adaptacja metodologii pomiaru efektu netto interwencji publicznych do potrzeb sektora infrastruktury transportowej

2 | S t r o n a

SPIS TRESPIS TRESPIS TRESPIS TREŚCICICICI::::

GGGGłówne cele badaniaówne cele badaniaówne cele badaniaówne cele badania........................................................................................................................................................................................................................................................................4444

1.1 CEL OGÓLNY.................................................................................................................. 4

1.2 CELE SZCZEGÓŁOWE............................................................................................................ 4

Metody i techniki badawczeMetody i techniki badawczeMetody i techniki badawczeMetody i techniki badawcze................................................................................................................................................................................................................................4444

2.1 KONCEPCJA BADANIA .................................................................................................... 4

2.2 METODOLOGIA I ZAKRES BADANIA ................................................................................ 5

2.3 WARTOŚĆ DODANA WYNIKAJĄCA Z ZASTOSOWANEJ METODY....................................... 6

2.4 ETAPY BADANIA ............................................................................................................ 7

BieBieBieBieŜący stan wiedzy w zakresie zagadniecy stan wiedzy w zakresie zagadniecy stan wiedzy w zakresie zagadniecy stan wiedzy w zakresie zagadnienianianiania badawczego badawczego badawczego badawczego................................................9999

3.1 POTRZEBY EWALUACYJNE W OBSZARZE INFRASTRUKTURY............................................. 9

3.2 BIEŻĄCY STAN WIEDZY................................................................................................... 9

3.3 METODY STOSOWANE PRZY EWALUACJI PROJEKTÓW/PROGRAMÓW Z ZAKRESU

INFRASTRUKTURY TRANSPORTOWEJ ...................................................................................... 16

3.4 SZACOWANIE EFEKTU NETTO INTERWENCJI PUBLICZNYCH W ZAKRESIE OCHRONY

ŚRODOWISKA......................................................................................................................... 18

3.5 ASPEKT STATYSTYCZNY BADANIA EFEKTU NETTO – ZASTOSOWANIE „PROPENSITY SCORE

MATCHING (PSM)” ................................................................................................................. 20

Realizacja badaniaRealizacja badaniaRealizacja badaniaRealizacja badania............................................................................................................................................................................................................................................................................22222222

4.1 KONCEPCJA SZACOWANIA EFEKTU NETTO INTERWENCJI PUBLICZNYCH NA PRZYKŁADZIE

PROJEKTU „PRZEBUDOWA SZCZEGÓLNIE NIEBEZPIECZNYCH SKRZYŻOWAŃ NA SIECI DRÓG

KRAJOWYCH” ......................................................................................................................... 22

4.2 WYBÓR METODY ANALIZY DANYCH – DOBÓR JEDNOSTEK REFERENCYJNYCH................ 24

4.3 WYNIKI ANALIZY EFEKTU NETTO INTERWENCJI PUBLICZNEJ W ZAKRESIE

BEZPIECZEŃSTWA RUCHU DROGOWEGO................................................................................. 26

4.4 ZAŁOŻENIA BADANIA EFEKTU NETTO ASPEKTÓW ŚRODOWISKOWYCH ......................... 34

Wnioski i rekomendacjeWnioski i rekomendacjeWnioski i rekomendacjeWnioski i rekomendacje ............................................................................................................................................................................................................................................39393939

5.1 WNIOSKI DOTYCZĄCE ZASTOSOWANYCH METOD STATYSTYCZNYCH............................. 39

5.2 REKOMENDOWANY MODEL ZBIERANIA DANYCH I ANALIZY EFEKTU NETTO

PRZEDSIĘWZIĘĆ INFRASTRUKTURALNYCH ............................................................................... 40

5.3 WNIOSKI KOŃCOWE .................................................................................................... 45

BiBiBiBibliografia:bliografia:bliografia:bliografia:....................................................................................................................................................................................................................................................................................................................46464646

Spis wykresów, tabel i mapSpis wykresów, tabel i mapSpis wykresów, tabel i mapSpis wykresów, tabel i map............................................................................................................................................................................................................................48484848


3 | S t r o n a

Raport opracowany przez zespół w składzie:

dr Dominika Wojtowicz

ElŜbieta Kozłowska

Bartosz Ledzion

Alicja Weremiuk

Łukasz Widła

Michał Wolański


4 | S t r o n a

GGGGłówne cele badaniaówne cele badaniaówne cele badaniaówne cele badania

1.1 CEL OGÓLNY

Celem ogólnym niniejszego badania jest wzmocnienie potencjału ewaluacyjnego Polski w zakresie oszacowywania efektów netto programów i projektów infrastrukturalnych współfinansowanych ze środków z funduszy strukturalnych. Cel ten został zrealizowany poprzez adaptację metodologii pomiaru efektu netto interwencji publicznej do potrzeb sektora infrastrukturalnego.

Pod pojęciem efektu netto rozumie się zmiany spowodowane bezpośrednio przez tę interwencję, po wyeliminowaniu oddziaływania innych czynników. Wymaga to odpowiedzi na pytanie, jak zmieniłby się załoŜony współczynnik, gdyby interwencja nie została podjęta.

1.2 CELE SZCZEGÓŁOWE

Cel główny badania został osiągnięty poprzez realizację niŜej określonych celów szczegółowych:

1. stworzenie studium state of the art (bieŜącego stanu wiedzy), dotyczącego pomiaru efektu netto, ze szczególnym uwzględnieniem sektora infrastrukturalnego;

2. zaprojektowanie i wykonanie pilotaŜowego badania efektu netto na przykładzie projektu „Przebudowa szczególnie niebezpiecznych skrzyŜowań na sieci dróg krajowych”, realizowanego w ramach SPO-Transport;

3. analiza moŜliwości uwzględnienia w pomiarach efektu netto takŜe aspektów środowiskowych związanych ze zmianą wpływu inwestycji na środowisko;

4. wyciągnięcie wniosków, pozwalających na stworzenie metodologii i systemu oceny efektu netto projektów infrastrukturalnych realizowanych w przyszłości.

Metody i techniki badawczeMetody i techniki badawczeMetody i techniki badawczeMetody i techniki badawcze

2.1 KONCEPCJA BADANIA

Pomiar efektu netto jest jednym z bardziej zaawansowanych i najskuteczniejszych narzędzi ewaluacji skutków interwencji państwowej, gdyŜ pomaga ocenić jej rzeczywisty efekt, oddzielając oddziaływanie czynników zewnętrznych. Dotychczas metodologia ta nie była stosowana w sektorze infrastrukturalnym, ze względu na szereg problemów związanych z trudnościami z wyznaczeniem wiarygodnych współczynników sukcesu (np. w przypadku budowy skrzyŜowań), zebraniem danych, czy wreszcie wyborem tzw. sytuacji kontrfaktycznych [counterfactual situations]. Pod tym ostatnim pojęciem rozumie się jednostki lub populacje moŜliwie podobne do danej, które nie zostały poddane interwencji. Wzajemne ich porównanie pozwala określić zmiany, niebędące wynikiem ewaluowanych działań. Stąd teŜ moŜna uznać, Ŝe opracowana metodologia pomiaru efektu netto projektów infrastruktury transportowej będzie miała unikalny i innowacyjny charakter, gdyŜ nikt wcześniej nie podjął się w Polsce realizacji podobnych działań.


5 | S t r o n a

W celu osiągnięcia postawionych w badaniu celów zdecydowano się na zastosowanie metodologii zbliŜonej do eksperymentu. Istotą eksperymentu jest zbadanie wpływu zmiennej niezaleŜnej (przebudowy skrzyŜowania) na zmienną zaleŜną (organizacja ruchu na skrzyŜowaniu i jego funkcjonowanie). Z reguły w badaniach eksperymentalnych zmienna niezaleŜna przybiera formę bodźca eksperymentalnego, który albo występuje, albo nie. Oznacza to, ze jest ona zmienną dychotomiczną, przyjmującą dwie moŜliwe wartości: obecna lub nieobecna. W typowym schemacie eksperymentator porównuje sytuację, w której oddziałuje bodźcem z sytuacją, w której bodźca brak1. W przypadku przebudowy skrzyŜowań zastosowanie typowego eksperymentu byłoby de facto niemoŜliwe, niemniej oparcie koncepcji badania o metodę eksperymentu jest w pełni uzasadnione i często praktykowane. Tak jak w przypadku eksperymentu na podstawie wybranych kryteriów zostanie zbadane funkcjonowanie skrzyŜowania kontrfaktycznego, a więc takiego, którego parametry są moŜliwie najbardziej zbliŜone do parametrów skrzyŜowania poddanego interwencji publicznej.

Z uwagi na fakt, iŜ realizacja inwestycji mających na celu poprawę płynności ruchu i zmniejszenia wypadkowości wiąŜe się zwykle takŜe z efektem w postaci zmniejszenia wpływu na środowisko, w ramach naszego projektu podejmiemy się próby budowy koncepcji pomiaru efektu netto dla środowiska. Oceniony więc zostanie wpływ projektów na zmianę emisji do środowiska takich zanieczyszczeń jak: zanieczyszczenia powietrza pochodzące ze spalin (ołów, kadm, kobalt, glin, arsen itp.), zanieczyszczenia wód i gleb związkami ropopochodnymi, hałas.

NaleŜy podkreślić, Ŝe zastosowane podejście metodologiczne jest zgodne ze stanowiskiem Komisji Europejskiej, która podkreśla, Ŝe „gdy mówimy, Ŝe dane efekty zostały wyprodukowane lub spowodowane przez program, oznacza to, Ŝe gdyby program nie miał miejsca, lub miałby miejsce w innej formie lub innym stopniu, efekty te nie wystąpiłyby lub nie wystąpiłyby w tym samym stopniu. Oznacza to, Ŝe waŜne jest, by mieć precyzyjny obraz tego, co stałoby się bez programu. Nazywa się to sytuacją kontrfaktyczną” 2.

W ramach przygotowań do realizacji projektu zidentyfikowano problemy z dostępnością danych, stąd teŜ efektem projektu będzie równieŜ - ułatwiająca późniejszą, bardzo precyzyjną ewaluację realizowanych w przyszłości projektów – metodologia monitorowania KPI (kluczowych czynników sukcesu) i innych zmiennych potrzebnych do oceny efektu netto. Pozwoli to skuteczniej ewaluować – a co za tym idzie - zarządzać funduszami unijnymi, przeznaczonymi na infrastrukturę.

2.2 METODOLOGIA I ZAKRES BADANIA

Ocena efektu netto w sektorze infrastruktury została zrealizowana na przykładzie projektu przebudowy skrzyŜowań w całym kraju (finansowanego ze SPOT, zrealizowanego przez GDDKiA). Projekt w całości został zakończony w 2007 roku (ale niektóre skrzyŜowania przed 2007 rokiem). Miał wartość 75 mln zł, z czego 44 mln zł pochodziły z środków UE. Dokonano wyboru tego projektu ze względu na jasny współczynnik sukcesu (zmniejszenie wypadkowości – funkcja wypadków, kolizji oraz ofiar). Ponadto w trakcie prowadzenia innych badań odnotowano w tym projekcie stosunkowo dobrą dostępność danych.

Pomiar efektu netto badacze zrealizowali w kontekście fektu netto zmian wypadkowości – dla części z

25 skrzyżowań (przy czym liczba kolizji była rozpatrywana z podziałem na skrzyżowania, ale łączna

wypadkowość została zmierzona ogólnie ze względu na małą liczbę wypadków śmiertelnych.

1 Babbie E. (2007), Badania społeczne w praktyce, Wydawnictwo Naukowe PWN: Warszawa, s. 247

2 Ewaluacja programów wydatków Unii Europejskiej. Przewodnik. Komisja Europejska, styczeń 1997, s. 39


6 | S t r o n a

�

2.3 WARTOŚĆ DODANA WYNIKAJĄCA Z ZASTOSOWANEJ METODY

Biorąc pod uwagę uniwersalny charakter narzędzi powstałych w wyniku realizacji projektu, które pozwoli na ich stosowanie w innych obszarach interwencji, naleŜy zaznaczyć, Ŝe omawiany projekt bez wątpienia stanowi wsparcie naukowe dla procesu zarządzania, wdraŜania, monitorowania, oceny i kontroli NSS, a jego wyniki powinny zostać wykorzystane w kontekście wdraŜania NSS, a w szczególności priorytetów określających interwencje w obszarze infrastruktury transportowej.

Przyjęta technika pozwoli równieŜ na bardziej precyzyjne określenie zmian tych wskaźników, a takŜe na opracowanie uniwersalnego modelu do badania efektu netto podobnych przedsięwzięć.

Zastosowanie powyŜszego podejścia badawczego daje szereg korzyści i gwarantuje przejrzyste, uŜyteczne efekty badania. Podsumowano je w tabeli poniŜej.

Mocne strony i efekty zastosowanego podejścia badawczego

I. UmoŜliwia dobór jednostek kontrfaktycznych do jednostek ewaluowanych nawet przy niewielkiej bazie danych.

II. UmoŜliwia szacowanie efektu netto w kilku wymiarach.

III. Daje się łatwo zaimplementować do innych projektów badawczych z zakresu infrastruktury.

IV. UmoŜliwia określenie warunków sine qua non, bez których niemoŜliwe jest oszacowanie efektu netto.

V. Opiera się na jasnej i dobrze opisanej w literaturze metodzie PSM bazującej na modelu regresji logistycznej.

VI. W odpowiednich warunkach (opisanych w raporcie) daje moŜliwość szacowania efektu netto nawet na poziomie pojedynczych przypadków.


7 | S t r o n a

2.4 ETAPY BADANIA


8 | S t r o n a

BieBieBieBieŜący stan wiedzy w zakresie zagadniecy stan wiedzy w zakresie zagadniecy stan wiedzy w zakresie zagadniecy stan wiedzy w zakresie zagadnienianianiania badawcz badawcz badawcz badawczegoegoegoego

3.1 POTRZEBY EWALUACYJNE W OBSZARZE INFRASTRUKTURY

Przygotowanie się do oceny wpływu inwestycji infrastrukturalnych jest istotne w obecnej chwili ze względu na fakt, iŜ w Komisji Europejskiej toczą się rozmowy na temat przyszłości polityki spójności po 2013 r. Przed rozpoczęciem projektowania załoŜeń finansowania, zwł. jego wielkości oraz kierunków strategicznych wsparcia, Komisja Europejska potrzebuje rzetelnych informacji nt. efektów dotychczasowej polityki.

Przykładowo, w 2006 r. KE zleciła m.in. strategiczną ewaluację dotyczącą potrzeb inwestycji transportowych finansowanych z funduszy strukturalnych w perspektywie 2007-20133. Autorzy tej ewaluacji podsumowali doświadczenia w zakresie ewaluacji wpływu inwestycji transportowych. Stwierdzili oni, Ŝe dotychczas prowadzone badania, oparte na modelowaniu ekonomicznym, dowiodły pozytywnego wpływu inwestycji transportowych w zakresie generowania efektów popytowych oraz częściowo negatywnego na poziomie makroekonomicznym (jak np. wysokość deficytu, stóp procentowych), w sumie jednak pozytywnych efektów w długim okresie. Niemniej jednak autorzy przytaczanego opracowania przestrzegają przed przecenianiem efektów inwestycji transportowych, stwierdzając, iŜ ocena efektów netto inwestycji przedsięwzięć infrastrukturalnych wymaga dalszych badań.

W związku z powyŜszym, rozwój metodologii ewaluacji wpływu, a następnie ocena efektów netto, będą cenną pomocą w generowaniu argumentów do dyskusji na temat kształtu polityki spójności w przyszłości.

3.2 BIEŻĄCY STAN WIEDZY

Jednym z kluczowych zadań ewaluacji jest ustalenie związku przyczynowego między podjętą interwencją a obserwowanymi wynikami. Ustalenie przyczynowego wpływu interwencji wymaga:

� zmierzenia efektu całkowitego interwencji, jako ogólnej zmiany w zakresie zdefiniowanym przez cel (zmiany na poziomie przyjętych wskaźników),

� oddzielenia zmiany niezaleŜnej od podjętej interwencji od zmiany, którą moŜna przypisać wpływowi interwencji (efekt netto)4.

Pomimo zaznaczenia przez Komisję Europejską w Przewodniku ewaluacji w połowie okresu i ex-post 5 zalet stosowania metody analizy sytuacji kontrfaktycznych pozwalających na badanie efektu netto programów i/lub projektów w ramach badań ewaluacyjnych, w rzeczywistości narzędzie to

3 Strategic Evaluation on Transport Investment Priorities under Structural and Cohesion Funds for the Programming Period 2007-2013. 4 Górniak J., (2007), Ewaluacja w cyklu polityk publicznych, w: Ewaluacja funduszy strukturalnych – perspektywa regionalna, red. S. Mazur, wyd: Uniwersytet Ekonomiczny w Krakowie Małopolska Szkoła Administracji Publicznej, Kraków 5 Ewaluacja programów wydatków Unii Europejskiej: Przewodnik Ewaluacja w połowie okresu i ex-post XIX/02 – Synthèse budgétaire et évaluation, Dyrekcja Generalna XIX – BudŜet Komisja Europejska, 1997.


10 | S t r o n a

wykorzystywane jest w bardzo ograniczonym zakresie, czego dowodzi przeprowadzone przez autorów niniejszego raportu analiza raportów ex-post i mid term programów realizowanych w wybranych krajach UE (Wielka Brytania, Niemcy, Szwecja, Włochy) oraz liczne publikacje naukowe6.

Jak juŜ wspomniano powyŜej, dotychczasowe badania wpływu inwestycji transportowych przeprowadzane na zlecenie Komisji Europejskiej koncentrowały się na modelowaniu ekonomicznym. Wart przytoczenia jest wciąŜ rozwijany model SASI (Socio-Economic and Spatial Impacts of Trans-European Transport Networks). Pomimo iŜ skupia się on na szacowaniu wpływu inwestycji transportowych, nie zaś konkretnie wpływu netto, krótki opis jego podstawowych załoŜeń oraz części wyników przedstawi punkt odniesienia dla poszukiwań metodologii oceny efektu netto, choćby w zakresie rodzaju oddziaływań oraz ich wielkości w skali kraju. Model SASI jest wciąŜ rozwijany, m.in. w projekcie IASON (Integrated Appraisal of Spatial Economic and Network effects of transport investments and policies) oraz w pracach Europejskiej Sieci Obserwacyjnej Rozwoju Terytorialnego i Spójności Terytorialnej (ESPON).

W modelu na strukturę sieci trzech gałęzi transportu, tj. drogowego, kolejowego i lotniczego, nałoŜono przestrzenne relacje transportowe (podróŜe biznesowe oraz prywatne). Model, składający się z kilku submodeli, w jednym z nich, tj. submodelu “Regionalny PKB” prognozuje wielkość PKB generowaną w kaŜdym regionie w trzech sektorach, tj. rolnictwie, przemyśle i usługach. Prognozy oparte są na funkcji produkcji, gdzie dostępność regionalna (szacowana w innym submodelu) jest jedną ze zmiennych objaśniających. Model zakłada 4 scenariusze, tj.: referencyjny (bez inwestycji, inwestycje zakończone do 2007 r.), maksymalny drogowy (realizowane będą wszystkie postulowane inwestycje drogowe), maksymalny kolejowy oraz zrównowaŜony. Wyniki dla Polski przewidują stopę wzrostu PKB wyŜszą w przypadku scenariusza zrównowaŜonego o ok. 0,8 punktu procentowego w 2031 r. niŜ w przypadku scenariusza referencyjnego w tym samym roku. Skala oddziaływań na stopę wzrostu PKB na poziomie kraju pokazuje jak trudny do uchwycenia będzie wpływ netto, mierzony akurat taką wartością, na niŜszym poziomie. Niemniej jednak na niŜszych poziomach, np. projektu, pozostają inne zmienne wpływu, jak np. wielkość dochodu gospodarstw domowych, co zostanie opisane szerzej w części dotyczącej praktyki Banku Światowego.

Większość badań dotyczących oceny efektów działań publicznych (polityk, przedsięwzięć, etc.) z wykorzystaniem metod porównania stanu rzeczywistego ze stanem kontrfaktycznym zleconych została przez Bank Światowy. Instytucja ta jest podmiotem bardzo aktywnie wspierającym badania nad zasadnością i korzyściami płynącymi ze stosowania tzw. impact evaluation, a więc ewaluacji pozwalającej na określenie realnych zmian w Ŝyciu beneficjentów programu/projektu. Stosowanie impact evaluation pozwala odpowiedzieć na pytanie: jak wyglądałaby sytuacja osób poddanych interwencji, gdyby w rzeczywistości nie skorzystali z niej? Ogromnemu doświadczeniu zdobytemu przez Bank Światowy w zakresie prowadzenia tego typu badań dowodzi obszerna baza artykułów, raportów, studia przypadków i róŜnego rodzaju publikacji zamieszczonych na oficjalnej stronie7 Wśród badań przeprowadzonych w oparciu o zasady impact evaluation zleconych przez Bank

6 Por. np.: Center for Global Development, 2006, When Will We Ever Learn? Improving Lives Through Impact Evaluation, Evaluation Gap Working Group, Centre for Global Development, New York; White, H. 2006, Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank, World Bank, Washington 7http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/EXTISPMA/0,,menuPK:384339~pagePK:162100~piPK:159310~theSitePK:384329,00.html.


11 | S t r o n a

Światowy dominują te, które dotyczą interwencji z zakresu polityki społecznej, polityk i działań podejmowanych na rzecz rozwiązywania problemów biedoty w krajach trzeciego świata.

Niemniej jednak znajdują się tam równieŜ dwa ciekawe opracowania, a mianowicie wskazówki do koncepcji szacowania efektów netto dla projektów dotyczących dróg wiejskich8 oraz transportu miejskiego9. Tu przytoczone zostaną tylko propozycje autorów w zakresie wyboru zmiennych poszukiwanych. W pierwszej pracy dotyczącej wpływu dróg wiejskich autorka proponuje analizę przykładowo: dochodów gospodarstw domowych lub wysokość ich konsumpcji, oszczędności czasu podróŜy, oszczędności kosztów podróŜy, zmiany cen na rynku lokalnym, mobilność mieszkańców, kierunki i wielkość ruchu migracyjnego. W drugim opracowaniu dotyczącym transportu miejskiego autor proponuje analizę róŜnych pól wpływu, takich jak: rynek pracy, korzystanie z usług oraz ceny ziemi. W niniejszych opracowaniach pokazany jest równieŜ szereg metod moŜliwych do zastosowania w ocenie efektów netto.

Ciekawą bazę raportów i publikacji z zakresu impact evaluation zawiera takŜe strona internetowa Governance and Social Development Resource Centre10. ZałoŜona przez Department for International Development (Departament ds. Rozwoju Międzynarodowego) Wielkiej Brytanii jednostka zaleca stosowanie metod analizy stanów kontrfaktycznych, jako narzędzia pozwalającego na określenie rzeczywistych efektów realizowanych programów i projektów na rzecz rozwoju państw i regionów zacofanych. Podkreśla przy tym konieczność prowadzenia tego typu ewaluacji ze względu na znaczne środki pochodzenia publicznego przeznaczane na interwencje z tego zakresu.

Inną jednostką promującą stosowanie metod analizy sytuacji kontrfaktycznych w badaniu efektów stosowanych przez rząd róŜnego rodzaju rozwiązań w sferze publicznej jest Strategic Unit (Jednostka Strategiczna) działająca przy premierze Wielkiej Brytanii. Na stronie internetowej instytucji11 obok opisu głównych załoŜeń metodologii badań ewaluacyjnych opartych o porównanie sytuacji kontrfaktycznych dających moŜliwość szacowania realnego efektu netto danej interwencji, podane są przykłady ich zastosowania. Pierwszy z nich dotyczy oceny efektu wdroŜenia dyrektywy unijnej dotyczącej składowania odpadów w Wielkiej Brytanii, drugi natomiast dowodzi skuteczności projektu Restart interview for Jobseekers in 1989/90, mającego na celu wsparcie bezrobotnych w powrocie na rynek pracy (grupa poddana interwencji 8000 osób, grupa kontrfaktyczna 500 osób).

Zastosowanie analizowanej metody jest równieŜ wykorzystywane przy ewaluacji interwencji publicznych w Stanach Zjednoczonych. Niemniej w większości tych badań analiza porównawcza nie wykorzystywała metodologii opartej na załoŜeniach eksperymentu (porównanie stanów kontrfaktycznych), lecz koncentrowała się na ocenie efektywności danej interwencji w odniesieniu do podobnych projektów federalnych (dobór ze względu na ich przedmiot, zakres finansowy, itp.)12.

Analiza opublikowanych w Polsce w ostatnich latach raportów ewaluacyjnych wskazuje, Ŝe zastosowanie metody szacowania efektu netto dotyczyło nieznacznej części przeprowadzonych badań.

Metodę szacowania efektu netto na podstawie analizy stanów kontrfaktycznych wykorzystano w badaniu przeprowadzonym przez PBS na zlecenie Polskiej Agencji Rozwoju Przedsiębiorczości w 8 Walle, Impact Evaluations of Rural Road Projects. 9 Boarnet, Conducting Impact Evaluation in Urban Transport. 10 http://www.gsdrc.org/go/topic-guides/monitoring-and-evaluation/impact-evaluation 11 http://interactive.cabinetoffice.gov.uk/strategy/survivalguide/skills/eb_counter.htm 12 http://www.whitehouse.gov/omb/expectmore/index.html


12 | S t r o n a

kontekście oceny wpływu programów aktywizacji zawodowej. Efektem brutto był określony procent beneficjentów, którzy znaleźli pracę po określonym czasie od rozpoczęcia programu, za efekt netto uznano beneficjentów, którzy znaleźli pracę po określonym czasie od rozpoczęcia programu, a nie zaleźliby jej bez udziału w programie.

Autorzy raportu dowiedli, Ŝe przy porównaniu odsetków zatrudnionych wśród beneficjentów i w grupie kontrolnej moŜna zaobserwować, iŜ juŜ w pierwszym miesiącu od zakończenia udziału w programie beneficjenci podejmowali pracę statystycznie istotnie częściej niŜ osoby naleŜące do grupy kontrolnej. Porównanie zjawiska dla grupy biorącej udział w programie i grupy kontrolnej przeprowadzono dla kolejnych 12 miesięcy, co dało podstawy do wyciągnięcia rzetelnych wniosków dotyczących wystąpienie efektu netto realizowanego programu.

Rysunek 1 Odsetek zatrudnionych po określonym czasie od udziału w programie aktywizacyjnym

Źródło: R. Konarski, M. Kontarowski, Zastosowanie metody propensity score matching w ewaluacji ex-post, w: Ewaluacja ex-post Teoria i praktyka badawcza, pod red. A Haber, PARP, Warszawa 2007

Innym przykładem zastosowania metody szacowania efektu netto jest ewaluacja typu ex-post Programu SAPARD w Polsce i na Słowacji prowadzona przez zespół z Uniwersytetu w Kiel (Niemcy)13. NaleŜy zaznaczyć, Ŝe badacze zajmują się szerszym wykorzystaniem metody szacowania efektu netto przy uŜyciu analizy stanów kontrfaktycznych interwencji w sektorze rolnym14.

Autorzy w raporcie metodologicznym bardzo wyraźnie podkreślają istotność zastosowania metody porównania stanów kontrfaktycznych, jako jedynego narzędzia gwarantującego rzetelne oszacowanie rzeczywistego efektu netto danego programu/projektu. Najczęściej wykorzystywaną w badaniach ewaluacyjnych metodę badania efektów, polegającą na zmierzeniu wybranych wskaźników przed i po realizacji danej interwencji, nazywają „oceną naiwną” (naive evaluation), gdyŜ nie jest ona w stanie uwzględnić innych czynników (np. koniunktury, zmian w przepisach prawnych) oddziałujących na zjawisko/beneficjentów, których dotyczy projekt/program. I tak zbadanie wzrostu zatrudnienia czy dochodów per capita beneficjentów programu zakładającego wsparcie producentów sektora rolnego, nie jest w stanie wytłumaczyć na ile zmiany te wynikały właśnie z faktu otrzymania dotacji, a nie były wynikiem innych, niezaleŜnych od programu czynników.

13 Michalek, Zarnekow, Stulrajter, and Klank, (2008), Cartographic and statistical analysis of RDI in Poland and Slovakia. Regional Report RR3-2, University of Kiel 14 Por. Michalek 2008 (a), Kaufmann, Stagl, Zawalinska, Michalek 2007, Michalek 2008 (b).


13 | S t r o n a

Rysunek 2 Przykład „naiwnej” ewaluacji efektów programu

Dlatego badacze powinni dokonać doboru grupy porównawczej. Podobieństwo jednostek poddanych interwencji i tych, które nie otrzymały wsparcia powinno być zweryfikowane statystycznie na podstawie analizy rozkładu róŜnych obserwowanych zmiennych współzmiennych. Pomocna okazuje się w tym przypadku analiza Propensity Score Matching (o której w dalszej części niniejszego raportu).

Zastosowanie metody analizy sytuacji kontrfaktycznych pozwala na udzielenie odpowiedzi na najwaŜniejsze z punktu widzenia oceny rzeczywistych efektów projektu pytanie: „Jaka byłaby sytuacja beneficjentów, gdyby nie mieli oni moŜliwości skorzystania ze wsparcia w ramach programu?”15. Dzięki niej moŜemy wskazać na wystąpienie pozytywnego lub negatywnego efektu netto danej interwencji, co pokazuje poniŜszy wykres(rysunek).

15 Michalek, Zarnekow, Stulrajter, and Klank, (2008), Cartographic and statistical analysis of RDI in Poland and Slovakia. Regional Report RR3-2, University of Kiel


14 | S t r o n a

Rysunek 3 Istotność uwzględnienia w badaniach jednostek niebiorących udziału w ewaluowanym

programie/projekcie (porównania sytuacji kontrfaktycznej do sytuacji badanej)

Ciekawym przykładem zastosowania metody analizy sytuacji kontrfaktycznych autorzy niniejszego raportu odnaleźli w badaniu przeprowadzonym na zlecenie Komisji Europejskiej przez Agrosynergie Groupement Européen d’Intérêt Economique16. Dotyczyło ono oceny uruchomienia płatności bezpośrednich z tytułu upraw owoców i warzyw według modelu regionalnego. Podejście ewaluacyjne opierało się na wynikach etapu strukturyzacji metody wynikającej z podstaw ekonomicznych. Taka analiza umoŜliwiła sformułowanie załoŜeń, które zostały skonfrontowane z wynikami analizy ilościowej i jakościowej i pozwoliły na udzielenie odpowiedzi na pytania ewaluacyjne. Teoretyczne podejście mikroekonomiczne polegało na analizie zachowania producentów w odpowiedzi na róŜne sygnały z rynku i środki wsparcia.

Sytuacja kontrfaktyczna odpowiadająca sytuacji rynkowej bez środka wsparcia została porównana z trzema sytuacjami:

� całkowitym oddzieleniem płatności od produkcji,

� wyjątkami w stosowaniu całkowitego oddzielenia płatności od produkcji w postaci zasad uŜytkowania gruntów

� wyjątkami w całkowitym oddzieleniu płatności od produkcji w postaci pomocy częściowo związanej z produkcją lub częściowo oddzielonej od produkcji.

Metodologia zastosowana do oceny była w tym badaniu połączeniem analizy ilościowej (klasyczna statystyczna analiza ilościowa i analiza modelizacyjna – Pozytywne Programowanie Matematyczne) z gromadzeniem i analizą informacji jakościowych. Analiza danych dotyczących róŜnych kierunków techniczno-ekonomicznych gospodarstw rolnych dokonana została dla sześciu regionów Unii Europejskiej (Emilia-Romania, Andaluzja, Akwitania, Wschodnia Anglia, Dania i Nadrenia-Północna Westfalia).

16 Ocena uruchomienia płatności bezpośrednich z tytułu upraw owoców i warzyw według modelu regionalnego Agrosynergie Groupement Européen d’Intérêt Economique, 2008.


15 | S t r o n a

W ramach opracowania analizy state of art, dla uzyskania pełniejszego obrazu wykorzystania metody szacowania efektów netto interwencji publicznych autorzy dokonali przeglądu metodologii stosowanych w badaniach ewaluacyjnych wykonanych dotychczas w naszym kraju. Przeanalizowano wszystkie raporty typu ex-post znajdujące się w bazie badań ewaluaycjnych17. Na 12 raportów w 1 zastosowano analizę sytuacji kontrfaktycznych. W badaniu przeprowadzonym na zlecenie PARP-u w 2006/2007 pn Ewaluacja ex-post komponentu regionalnego programu Phare 2002 SSG- Komponent RZL porównano odsetek zatrudnionych w grupie beneficjentów, w grupie kontrolnej oraz w puli nie biorącej udziału w programie.

17 http://www.funduszestrukturalne.gov.pl/NR/rdonlyres/8292BC86-7BE0-4D50-8F02-DEBECDCE56AF/49191/bazabadan171008.xls - opracowanie stan na 01.10.2008.


16 | S t r o n a

3.3 METODY STOSOWANE PRZY EWALUACJI PROJEKTÓW/PROGRAMÓW Z

ZAKRESU INFRASTRUKTURY TRANSPORTOWEJ

W sektorze transportowym ocena efektu netto jest bardzo istotna, ze względu na duŜą jego zaleŜność od innych działów gospodarki, co bardzo zniekształca wiele współczynników. Przykładem moŜe być tutaj chociaŜby łączna liczba wypadków drogowych i ich ofiar, które w ostatnim roku – mimo wielu działań prewencyjnych, w tym wprowadzenia obowiązku jazdy na światłach – wzrosły. Jest jednak prawdopodobne, Ŝe wzrost ten nastąpił wskutek zwiększenia liczby samochodów, zaś podjęte działania prewencyjne charakteryzują się pozytywnym efektem netto (tj. bez nich obserwowany wzrost wypadkowości byłby jeszcze większy).

Przeprowadzona kwerenda literatury oraz raportów z europejskich i amerykańskich badań ewaluacyjnych (zgodnie z wykazem na końcu dokumentu) wskazuje, Ŝe w przypadku przedsięwzięć infrastrukturalnych pomiar efektu netto nie był dot ychczas stosowany.

Pewną analogią do efektu netto moŜe być monitorowanie wybranych współczynników nie tylko w wartościach bezwzględnych, ale równieŜ względem prognoz referencyjnych. Tego typu podejście stosowane jest w pewnym zakresie równieŜ w Polsce, czego przykładem mogą być chociaŜby projekty zakupu i modernizacji taboru realizowane przez PKP Przewozy Regionalne18.

Brak jest przy tym jednak prób weryfikacji ex-post prognoz referencyjnych, bazujących przecieŜ na szeregu innych załoŜeń makroekonomicznych, dokonanych ex-ante, a zatem z duŜo mniejszą wiedzą. W przypadku analizowanych badań amerykańskich19 operuje się jedynie zakładanymi i faktycznie osiągniętymi wielkościami wybranych współczynników, nie wyodrębniając przy tym efektów badanej interwencji oraz oddziaływania innych czynników – a zatem zmian, które nastąpiłyby równieŜ bez interwencji. Przykład takiego wskaźnika – analogicznego do planowanego badania – zawiera poniŜsza tabela.

18 Wolański M., Gil M., Pander W., (2008), Wpływ projektów dotyczących zakupu lub modernizacji pojazdów szynowych na osiągnięcie głównego celu poddziałania 1.1.2 tzn. poprawę warunków przejazdów pasaŜerów transportem kolejowym między aglomeracjami miejskimi i w aglomeracjach, CASE-Doradcy i EGO, Warszawa 19 Detailed Information on the Amtrak Assessment, http://www.whitehouse.gov/omb/expectmore/detail/10004000.2005.html#performancemeasures, dostęp w dniu 10.11.2008 Detailed Information on the Railroad Safety Program Assessment, http://www.whitehouse.gov/omb/expectmore/detail/10001127.2003.html, dostęp w dniu 10.11.2008 Detailed Information on the Federal Motor Carrier Safety Administration Grant Program Assessment, http://www.whitehouse.gov/omb/expectmore/detail/10000410.2008.html, dostęp w dniu 10.11.2008 Detailed Information on the Highway Infrastructure Assessment, http://www.whitehouse.gov/omb/expectmore/detail/10000412.2007.html, dostęp w dniu 10.11.2008


17 | S t r o n a

Tabela 1 Przykład konstrukcji amerykańskiego wskaźnika, dotyczącego bezpieczeństwa ruchu drogowego –

liczba ofiar śmiertelnych na 100 mln mil przebiegu pojazdów ciężarowych i autobusów. Wyraźny brak analiz

rozwoju wskaźnika w przypadku braku interwencji

Rok Cel Wykonanie

2005 0,185 0,185

2006 0,179 0,176

2007 0,175 Pending

2008 0,171

2009 0,167

2010 0,164

2011 0,160

2012 0,157 (wstępny)

2013 0,154 (wstępny)

Źródło: Detailed Information on the Federal Motor…,

Podobne systemy wskaźników stosuje się równieŜ w Niemczech, chociaŜ to autorzy analizowanej ewaluacji niemieckiej zauwaŜają, Ŝe: „w zasadzie skutki działań polityki transportowej powinny być oceniane poprzez porównanie sytuacji, w której dane działanie wprowadzamy (przypadek >>with<<) i w której go nie wprowadzamy (przypadek >>without<<). W przypadku stosowanych tabel wskaźników opisywany jest tymczasem jedynie przypadek >>with<<.”20.

Przyczyn braku porównania ex-post przypadku „with” i przypadku „without” moŜna dopatrywać się m.in. w duŜej skali podejmowanych działań, co utrudnia określenie stanu kontrfaktycznego. Problemem jest równieŜ określenie jednostek obrazujących stan kontrfaktyczny – uŜytkowników, bądź elementów infrastruktury, a wreszcie – stworzenie odpowiednio trafnych wskaźników oddziaływania i rezultatu.

Nie ulega jednak wątpliwości, Ŝe kwestia oddzielenia wpływu interwencji od innych czynników w przypadku transportu jest zasadna, o czym świadczy fakt, Ŝe większość wskaźników oddziaływania oraz rezultatu, monitorowanych w ramach programów i projektów infrastrukturalnych jest podatna na wiele czynników w skali makro.

Prostym, lecz dobitnym przykładem mogą być tutaj zmiany PKB. Wpływają one istotnie na mobilność społeczeństwa, przez co mają wpływ na wielkość przewozów, a z drugiej – równieŜ ryzyko wypadku,

20 Ridder M. et. al., (2003), Halbzeitbewertung des Operationellen Programms Verkehrsinfrastruktur 2000-2006 für das Deutsche Zeil-1-Gebiet. MR, Gefra, IVM, Delmenhorst, Münster, s. 36


18 | S t r o n a

rosnące przy zatłoczeniu dróg, ale malejące dzięki zakupom bezpieczniejszych samochodów. Wszystko to oddziałuje na typowe wskaźniki projektów i programów infrastrukturalnych, takie jak wielkość przewozów, czy liczba wypadków.

3.4 SZACOWANIE EFEKTU NETTO INTERWENCJI PUBLICZNYCH W ZAKRESIE

OCHRONY ŚRODOWISKA

Przed przystąpieniem do analizy metod stosowanych w ocenie wpływu realizacji projektów/programów na środowisko naleŜy zwrócić uwagę, iŜ w krajach starej unii oraz USA zakres problemów związanych z sektorem transportowym jest róŜny od tego z jakimi obecnie spotykamy się w Polsce. W krajach zachodnich dobrze rozwinięta i o wysokiej jakości infrastruktura drogowa powoduje, iŜ badania prowadzone w zakresie wpływu na środowisko nie skupiają się na pomiarach efektu netto związanego z podwyŜszeniem jakości infrastruktury drogowej, lecz raczej koncentrują się na szacowaniu wpływu na środowisko emisji z samych pojazdów, tj. analizują wpływ takich czynników jak: jakość paliwa oraz jakość pojazdów na poziom emisji zanieczyszczeń21.

Innym często poruszanym w analizach tematem jest badanie efektów pośrednich oraz kumulatywnych związanych z emisją z sektora transportu do środowiska. Są to badania wykonane w celu określenia faktycznego wpływu, a nie bezpośredniego oddziaływania.

W krajach takich jak Polska, gdzie stan infrastruktury drogowej wciąŜ wymaga wzmocnienia, a problemem jest nie tylko wzrastająca liczba pojazdów poruszających się po drogach, lecz istotne niedostatki w samej infrastrukturze drogowej, potrzebne są badania dotyczące efektu netto związanego z podwyŜszeniem jakości infrastruktury. Złej jakości infrastruktura drogowa przyczynia się nie tylko do pogorszenia płynności ruchu i związanej z nią wyŜszą emisją do środowiska, lecz wpływa takŜe na zwiększenie wypadkowości.

Zgodnie z Podręcznikiem dobrych praktyk22 wykonywania opracowań środowiskowych dla dróg krajowych, głównym uzasadnieniem dla budowy, przebudowy lub remontu drogi, skrzyŜowania, węzła lub innych obiektów drogowych są zazwyczaj korzyści społeczne i ekonomiczne odnoszone przez uŜytkowników drogi (kierowców, podróŜnych, firm transportowych). Korzyści te mogą obejmować:

- uzyskanie dostępności dojazdu;

- redukcję czasu podróŜy;

- zmniejszenie kosztów ruchu i kosztów utrzymania drogi;

- poprawę bezpieczeństwa ruchu uŜytkowników nowej lub przebudowanej drogi/skrzyŜowania w porównaniu do korzystania z dotychczasowej („starej’) drogi/skrzyŜowania;

- zwiększenie przepustowości oraz zmniejszenie przeciąŜenia istniejących odcinków dróg i skrzyŜowań;

- moŜliwość skoncentrowania ruchu cięŜkich pojazdów na drogach przebiegających przez tereny

21 Por. np. EEA Report, Transport and environment: on the way to a new common transport policy, TERM 2006: indicators tracking transport and environment in the European Union 22 Podręcznik dobrych praktyk wykonywania opracowań środowiskowych dla dróg krajowych. GDDKIA, 2008


19 | S t r o n a

mniej wraŜliwe środowisko;

- podwyŜszenie komfortu jazdy;

- wpływ na rozwój turystki;

- pobudzenie aktywności gospodarczej osiedli i miejscowości usytuowanych wzdłuŜ drogi.

Budowa nowej drogi oprócz wyŜej wymienionych korzyści moŜe pociągać za sobą wiele uciąŜliwości dla sąsiadującego z nią otoczenia. Inwestycje liniowe mogą powodować wiele negatywnych oddziaływań na bezpośrednie otoczenie drogi, tj. na środowisko oraz na zdrowie i warunki Ŝycia ludzi.

Z drugiej strony budowa nowej drogi moŜe przynieść takŜe pewne korzyści w bezpośrednim lub/i bardziej odległym otoczeniu, np. w obrębie juŜ istniejących dróg. Przykładem moŜe być budowa obwodnicy miasta, która skanalizuje ruch pojazdów poza miasto, ograniczy uciąŜliwości wynikające z ruchu pojazdów w samym mieście, jednocześnie jednak spowoduje powstanie efektów ubocznych w najbliŜszym otoczeniu nowej obwodnicy.

Niestety trudno jest wskazać dobre praktyki w zakresie badania efektu netto w tym zakresie. Sam wpływ ulepszenia infrastruktury drogowej na zmianę emisji do środowiska jest analizowany w opracowanych na etapie planowania projektu dokumentach, a więc w Raportach Oddziaływania na Środowisko. Te dokumenty zawierają zwykle wyniki pomiarów hałasu w stanie obecnym (przed realizacją projektu) oraz ocenę, co w tym zakresie moŜe się zmienić po zakończeniu jego realizacji. Weryfikacja rzeczywistego wpływu odbywa się w pewnym okresie po zakończeniu realizacji projektu w ramach przygotowywanych analiz porealizacyjnych.

JednakŜe w literaturze amerykańskiej i europejskiej nie znaleziono przykładów, w których skupiono by się na pomiarze efektu netto aspektów środowiskowych dla wszystkich projektów. Jako pewien rodzaj próby zebrania wyników efektu realizacji kilku projektów moŜna wskazać badanie ewaluacyjne „Przewidywany wpływ wybranych projektów realizowanych w ramach Sektorowego Programu Operacyjnego Transport na stan środowiska naturalnego oraz stan zdrowia ludzi naraŜonych na negatywne oddziaływanie infrastruktury transportowej”. W badaniu tym w miarę dostępności wyników dokonano analizy, w jaki sposób wartości zakładane w Raportach Oddziaływania na Środowisko w zakresie emisji do środowiska zostały osiągnięte w rzeczywistości. JednakŜe z uwagi na zbyt krótki czas, jaki upłynął od zakończenia realizacji projektów w większości przypadków dane z analiz porealizacyjnych nie były jeszcze dostępne.

Wykonana kwerenda literatury oraz raportów z europejskich i amerykańskich badań ewaluacyjnych (zgodnie z wykazem na końcu dokumentu) wskazuje, Ŝe w przypadku przedsięwzięć infrastrukturalnych właściwy pomiar efektu netto nie był dotychczas stosowany.


20 | S t r o n a

3.5 ASPEKT STATYSTYCZNY BADANIA EFEKTU NETTO – ZASTOSOWANIE

„PROPENSITY SCORE MATCHING (PSM)”

W literaturze przedmiotu zwykło się utoŜsamiać badanie efektu netto w ewaluacjach z uŜyciem metody Propensity Score Matching (PSM)23. Propensity score matching to metoda, którą w latach 80-tych stworzono w celu wsparcia wyników badań eksperymentalnych. Chodziło m. in. o to, aby zniwelować efekt wpływu nielosowego doboru do grup eksperymentalnej i kontrolnej. W załoŜeniu powinny być one dobrane losowo z określonej populacji (czasem bardzo duŜej!), w praktyce jest to jednak mało realne. W konsekwencji pojawia się trudny do oszacowania błąd, który moŜe być na tyle duŜy, aby mieć znaczący wpływ na całkowity wynik badania. Propensity score matching zakłada wykorzystanie dodatkowych zmiennych towarzyszących i za ich pomocą wyrównanie róŜnic i błędu związanego z nielosowym doborem. Na ich podstawie wylicza się metodą regresji logistycznej propensity score i dopasowuje obie grupy.

Metoda ta dobrze się sprawdza w przypadku, gdy efekt netto jest dobrze zdefiniowany. O ile nam wiadomo, większość, jeśli nie wszystkie, dotychczasowe ewaluacje ex-post mające za zadanie ocenić efekt netto poszczególnych przedsięwzięć nie miały problemu z definicją, co rzeczywiście jest pozytywnym efektem projektu24. W takich przypadkach modelowanie metodą PSM przynosi wymierne rezultaty.

Z punktu widzenia statystyka, metoda PSM ma swoje ograniczenia. Po pierwsze wymaga dobrze określonego i – najlepiej – dychotomicznie określonego efektu netto (taką sytuację mamy w przypadku projektów aktywizacji zawodowej25). Po drugie metoda dobierania „bliźniaka” lub „bli źniaków” do ewaluowanego obiektu wymaga zazwyczaj duŜej bazy wyjściowej, z której dobierane są obiekty do parowania. Ponownie – w przypadku projektów, w których beneficjentami są konkretne jednostki, nie nastręcza to problemów.

Metodę PSM z powodzeniem zaczyna się wprowadzać równieŜ do standardowych badań rynkowych, w przypadku, gdy wylosowana próbka nie pokrywa dostatecznie szerokiego spektrum populacji. RównieŜ tam PSM wymaga jednak spełnienia określonych warunków wejściowych, których nie będziemy tu omawiać26.

23 Strawiński P., (2008), Quasi-eksperymentalne metody ewaluacji, w: „Środowisko i warsztat ewaluacji”, PARP: Warszawa; Konarski R., Kotnarowski M., (2007), Zastosowanie metody propensity score matching w ewaluacji ex post, , w: „Ewaluacja ex-post, teoria i praktyka badawcza”, PARP: Warszawa 24 Dobrze obrazuje to poniŜszy fragment z artykułu Jarosława Górniaka i Karoliny Keller: „śeby określić, czy cel został osiągnięty lub w jakim stopniu zbliŜyliśmy się do jego osiągnięcia (gdy dystans do celu jest co najmniej stopniowalny), musimy mieć moŜliwość wyznaczenia istotnych wymiarów celu w kategoriach zmiennych poddających się pomiarowi”, Górniak J., Keller K., „Wskaźniki w ewaluacji ex-post programów publicznych”; PARP 2007. W przypadku projektów transportowych jedynie część wskaźników daje się skategoryzować w kategoriach zmiennych, problematyczne byłoby wykorzystanie PSM jako metody słuŜącej do wyłonienia pełnego efektu netto. 25 Konarski R., Kotnarowski M., op.cit. 26 Jedynym znanym autorowi, choć z całą pewnością nie jedynym zrealizowanym do tej pory był pilotaŜowy projekt badawczy, którego wyniki zostały przedstawione na tegorocznym kongresie PTBRiO („Wykorzystanie Propensity Score do poprawy wnioskowań z wyników badań marketingowych.” opracowane przez Lilianę Stołowską, Lecha Komendanta oraz Włodzimierza Daaba).


21 | S t r o n a

Oczywiście, metoda PSM nie jest jedyną, która nadaje się do szacowania efektu netto. Do szacowania efektywności programów, w przypadku których nie mamy do czynienia z obszerną i relewantną bazą danych, z których moŜemy dobierać jednostki metodą PSM moŜna posiłkować się analizą szeregów czasowych. Analiza ta umoŜliwia predykcję na podstawie analizy kilku punktów czasowych przeprowadzonych dla tego samego obiektu. Inaczej mówiąc, jeśli mamy kilka punktów czasowych opisujących dany obiekt, moŜemy przewidzieć, jakie byłyby parametry owego obiektu, gdyby nic się nie zmieniło, w przyszłości. Szacowanie efektu netto na tej podstawie polegałoby na porównywaniu predykcji wynikającej z analizy szeregów czasowych z rzeczywistością obserwowalną.

Pojawia się tutaj jednak ponownie problem, z którym borykałaby się metoda PSM, gdyby jej wykorzystanie doszło do skutku – złoŜoność, a przez to rozmycie, efektu netto w przypadku badań ewaluujących projekty transportowe27.

Warto zauwaŜyć jeszcze jedną niedogodność, niezaleŜną od wykorzystanej metody (lub metod). Dane historyczne dla omawianego w tym raporcie projektu nie są zbierane w sposób ciągły. Skutkuje to tym, Ŝe dla skrzyŜowania x w danym okresie, zazwyczaj dość szerokim, zaobserwowano y wypadków. Wypadki nie są jednak czymś, co zdarza się codziennie i na kaŜdym skrzyŜowaniu. Mając więc dane dla ocenianego skrzyŜowania moŜemy mieć do czynienia z sytuacją, gdy nie zdarzyło się na nim jeszcze Ŝaden wypadek, gdyŜ po prostu dane referencyjne nie obejmują dostatecznie długiego odcinka czasu. W przypadku modelowania za pomocą szeregów czasowych jesteśmy w stanie określić poziom wypadkowości w dowolnym momencie objętym analizą: moŜemy stwierdzić, Ŝe wypadkowość na danym skrzyŜowaniu powinna przykładowo wynieść 0,7 dziennie. Z faktu, Ŝe na danym skrzyŜowaniu nie wydarzył się Ŝaden wypadek nie moŜemy wnosić, Ŝe jego stopa wypadkowości wynosi 0%.

MoŜna równieŜ do szacowania efektu netto w przypadku projektów, w których beneficjentami nie są poszczególne i dobrze zdefiniowane jednostki, stosować metodą triangulacyjną, wykorzystującą: z jednej strony statystyki bazujące na danych zastanych, obrazujących ogólne trendy, z drugiej strony na analizie szeregów czasowych biorących pod uwagę dane historyczne i współczesne dotyczące poszczególnych, ewaluowanych obiektów i z trzeciej strony metodę PSM jako łącznik pomiędzy analizą ogólną a szczegółową, stanowiącą niejako wagę słuŜącą wystandaryzowaniu wyników.

27 Gdzie sukcesem jest i zmniejszenie poziomu hałasu, i zmniejszenie wypadkowości, i poprawienie płynności ruchu.


22 | S t r o n a

RealizacjaRealizacjaRealizacjaRealizacja badania badania badania badania

4.1 KONCEPCJA SZACOWANIA EFEKTU NETTO INTERWENCJI PUBLICZNYCH

NA PRZYKŁADZIE PROJEKTU „PRZEBUDOWA SZCZEGÓLNIE

NIEBEZPIECZNYCH SKRZYŻOWAŃ NA SIECI DRÓG KRAJOWYCH”

Opracowanie modelu szacowania efektu netto interwencji publicznych z zakresu inwestycji w infrastrukturę transportową dokonane zostało na przykładzie projektu o nazwie „Przebudowa szczególnie niebezpiecznych skrzyŜowań na sieci dróg krajowych”. Projekt ten realizowany był od maja 2003 do marca 2008 roku przez Generalną Dyrekcję Dróg Krajowych i Autostrad. Koszt realizacji projektu wyniósł 71 mln złotych. 61% tej kwoty pochodziło ze środków Unii Europejskiej alokowanych w ramach Sektorowego Programu Operacyjnego – Transport.

GDDKiA w załoŜeniach projektu wskazywała, Ŝe główne problemy bezpieczeństwa ruchu drogowego w Polsce to: niebezpieczne zachowanie uczestników ruchu oraz nieodpowiednia jakość infrastruktury drogowej. Poziom wypadkowości podnoszą niebezpieczne obiekty w pasie drogowym, przejścia dróg tranzytowych przez miasta i miejscowości, błędne rozwiązania skrzyŜowań i przejść dla pieszych. W związku z tak postawioną diagnozą, po szczegółowej analizie wypadkowości skrzyŜowań w całym kraju, do przebudowy wybrano 25 z nich28, które dotychczas charakteryzowały się podwyŜszoną wypadkowością, świadczącą o ich niebezpiecznej konstrukcji. Na skrzyŜowaniach objętych projektem zaobserwowano wyŜszy i odbiegający od średniej poziom wypadkowości, co skłoniło GDDKiA do podjęcia prac w celu ich przebudowy na bardziej bezpieczne.

Podstawowym celem realizowanego projektu było podniesienie poziomu bezpieczeństwa ruchu drogowego, a w szczególności ograniczenie liczby wypadków na kaŜdym z zaznaczonych na poniŜszej mapie skrzyŜowań.29

28 W rzeczywistości przebudowanych zostało 26 skrzyŜowań. 29 Pełna lista skrzyŜowań poddanych interwencji w ramach opisanego projektu znajduje się w załączniku do niniejszego raportu.


23 | S t r o n a

Mapa 1 Lokalizacja skrzyżowań poddanych interwencji w ramach projektu „Przebudowa szczególnie

niebezpiecznych skrzyżowań na sieci dróg krajowych”

Źródło: Materiały zamieszczonych na stronie http://www.gddkia.gov.pl

W wyniku realizacji projektu oczekiwano (w zaleŜności od typu skrzyŜowania) wystąpienia pozytywnych efektów dotyczących:

• zapewnienia bezpiecznego przejazdu uŜytkownikom krzyŜujących się dróg,

• ograniczenia prędkości i uspokojenie ruchu w obszarze skrzyŜowania,

• wzrostu czytelności układu skrzyŜowania,

• maksymalnego rozdzielenia i ograniczenia liczby punktów kolizji na skrzyŜowaniu,

• poprawy przepustowości i płynności ruchu na skrzyŜowaniu,

• zapewnienia odpowiedniej dostrzegalności i percepcji układu drogowego,

• zapewnienia właściwych (bezpiecznych) warunków ruchu pieszych w obrębie skrzyŜowania,

• dostosowania rozwiązań geometrycznych do obowiązujących wymagań technicznych,


24 | S t r o n a

• przywrócenia właściwego stanu technicznego infrastruktury drogowej.30

4.2 WYBÓR METODY ANALIZY DANYCH – DOBÓR JEDNOSTEK

REFERENCYJNYCH

Zazwyczaj do badania efektu netto w ewaluacjach korzysta się z metody Propensity Score Matching. W przypadku niniejszego badania zachodziła uzasadniona obawa, Ŝe PSM nie da rzetelnych wyników, bądź w ogóle nie da się zastosować ze względu na słabą jakość dopasowania. Obawa ta bazowała na przesłance dotyczącej faktu, Ŝe baza danych jednostek niepoddanych interwencji powinna być dość obszerna tak, by moŜna było dobrać do jednostek ewaluowanych odpowiedniej jakości obserwacje bliźniacze.

W toku konceptualizacji metody do badania zakładano, Ŝe w razie zaistnienia sytuacji uniemoŜliwiającej wykorzystanie w zadowalający sposób PSM, będą poszukiwane inne metody, które pozwolą na dobranie jednostek referencyjnych do jednostek ocenianych. Na tym etapie przygotowań zakładano nie tylko moŜliwość wykorzystania metody szeregów czasowych, ale nawet, zwaŜywszy na niewielką liczbę ewaluowanych obiektów, na ręczny dobór skrzyŜowań bliźniaczych. Oczywiście ostatnią z wymienionych metod posłuŜonoby się w ostateczności, gdyby metoda PSM oraz TS nie dały zadowalających rezultatów.

Obawy co do rzetelności zastosowanych metod budziła takŜe jakość bazy danych, jak równieŜ konieczność nielosowego doboru skrzyŜowań referencyjnych. Dobór nielosowy był konieczny, gdyŜ skrzyŜowania wybrane do przebudowy zostały określone, jako „szczególnie niebezpieczne”. Siłą rzeczy członkowie zespołu projektowego zmuszeni zostali do wyszukania równie „niebezpiecznych” skrzyŜowań referencyjnych. Stało się więc jasne, Ŝe nie moŜna było wziąć pod uwagę całej populacji skrzyŜowań, a jedynie wybrać spośród nich te, które – zdaniem badaczy – są szczególnie niebezpieczne. Konsekwencją takiego podejścia był celowy dobór jednostek do próby.

Podstawą przeprowadzonych w ramach niniejszego badania analiz statystycznych była baza danych, skonstruowana na potrzeby projektu obejmująca kilka róŜnych zbiorów danych. Wszystkie z niŜej wymienionych, wykorzystanych baz danych, zostały pozyskane za pośrednictwem Biura Studiów Generalnej Dyrekcji Dróg Krajowych i Autostrad:

� baza danych dotycząca wypadków na przestrzeni lat 2002 – 2007, tworzona na podstawie raportów policyjnych, która była podstawą do określenia liczby wypadków oraz ich skutków;

� Generalny Pomiar Ruchu 2005, który pozwolił określić wielkość ruchu na tych wlotach analizowanych skrzyŜowań, które miały rangę drogi krajowej lub wojewódzkiej;

� dane wygenerowane z Banku Danych Drogowych dla wybranych regionów, które stanowiły podstawę do opisu geometrii skrzyŜowań (w szczególności kontrfaktycznych);

� studium wykonalności projektu SPOT „Przebudowa szczególnie niebezpiecznych skrzyŜowań na sieci dróg krajowych” (pomocniczo – przykładowo zawarte w nim dane dotyczące natęŜenia ruchu miały format nieporównywalny z GPR, brak było pikietaŜy niektórych skrzyŜowań itp.).

30 Opracowane na podstawie materiałów zamieszczonych na stronie http://www.gddkia.gov.pl


25 | S t r o n a

Dla kaŜdego rekordu – a zatem skrzyŜowania – określono:

� jego dokładną lokalizację wraz z piketaŜem oraz informacją o połoŜeniu w terenie zabudowanym lub niezabudowanym;

� liczbę wlotów;

� kategorię dróg na poszczególnych wlotach;

� kształt skrzyŜowania i jego ewentualne wyposaŜenie w sygnalizację świetlną;

� dane o łącznej wypadkowości w latach 2001-2005 (a zatem sprzed rozpoczęcia projektu) oraz w roku 2007 (po jego realizacji).

NaleŜy przy tym zwrócić uwagę, Ŝe:

• otrzymana baza danych zawierała tylko wypadki – czyli te zdarzenia, w których co najmniej jedna osoba została ranna i w przypadku których obowiązkowa jest interwencja policji; brak było jakichkolwiek danych o kolizjach;

• jakość danych, dotyczących wypadkowości jest średnia, ze względu na błędny opis części zdarzeń (w szczególności w bazie wykryto sprzeczności, takie jak np. wypadki, które opisano jako mające miejsce na „odcinku między skrzyŜowaniami”, a jednocześnie zaznaczone na pikietaŜu wskazującym skrzyŜowanie;

• rekord w bazie stanowił jeden wypadek, a zatem przypisywanie wypadków do skrzyŜowania następowało ręcznie (nie naleŜy tego mylić z ręcznym doborem skrzyŜowań bliźniaczych, rozwaŜanym jako alternatywna wobec PSM metoda) i niemoŜliwe było określenie całej populacji skrzyŜowań szczególnie niebezpiecznych, czy ich w pełni usystematyzowana analiza;

• w studium wykonalności projektu zakładano przebudowę 26 z góry wybranych „czarnych punktów” – nie analizując jako wariantu projektu innych skrzyŜowań; w ten sposób Beneficjent nie tylko nie udowodnił dlaczego taki zestaw skrzyŜowań jest najtrafniejszy, ale równieŜ utrudnił określenie stanu kontrfaktycznego (co jest moŜliwe np. w projektach EFS dzięki analizie jednostek odrzuconych na etapie aplikacji);

• nie dysponowano danymi, dotyczącymi ruchu na tych wlotach skrzyŜowań, które stanowiły drogi powiatowe lub drogi kategorii niŜszych.

Dodatkowo w projekcie uwzględniono tylko 24 z 26 przebudowanych skrzyŜowań, ze względu na brak dokładnych danych o pikietaŜu jednego z nich oraz duŜą specyficzność skrzyŜowania ul. Morskiej z Obwodnicą Trójmiasta w Gdyni, która mogłaby negatywnie wpłynąć na rzetelność otrzymanych wyników.

W początkowej fazie prowadzonych badań zdecydowano się na klasyczny sposób doboru skrzyŜowań referencyjnych, czyli na model regresji logistycznej. W modelu uwzględnione zostały następujące zmienne: liczba wlotów skrzyŜowania, ruch na wszystkich wlotach skrzyŜowania, rodzaj terenu (zabudowany, niezabudowany), rodzaj skrzyŜowania (jednopoziomowe, dwupoziomowe, rondo) oraz liczba poszkodowanych w latach 2001-2005 (wypadki ogółem, zabici, ranni).


26 | S t r o n a

Okazało się, Ŝe taki sposób doboru daje bardzo dobre rezultaty. Ostatecznie otrzymano dopasowanie skrzyŜowań referencyjnych do wszystkich skrzyŜowań ewaluowanych na poziomie 98,1%. W związku z tak wysokim poziomem dopasowania zarzucono inne pomysły na dobór skrzyŜowań referencyjnych, pozostawszy przy metodzie PSM.

Metodę tę wykorzystano zarówno w przypadku oceny całego projektu, jak równieŜ zaimplementowano do ewaluacji poszczególnych skrzyŜowań wchodzących w skład projektu.

Jak zaznaczono powyŜej, przy szacowaniu skłonności do partycypacji wykorzystano model regresji logistycznej. Na podstawie rozkładu prawdopodobieństw sukcesu zmiennej zaleŜnej oszacowano bliskości poszczególnych skrzyŜowań i ostateczny dobór skrzyŜowań referencyjnych.

4.3 WYNIKI ANALIZY EFEKTU NETTO INTERWENCJI PUBLICZNEJ W ZAKRESIE

BEZPIECZEŃSTWA RUCHU DROGOWEGO

Ostatecznie do 24 ocenianych skrzyŜowań dobrano 23 skrzyŜowania referencyjne (pełniące w badaniu funkcje stanów kontrfaktycznych). Okazało się, Ŝe jedno ze skrzyŜowań referencyjnych jest najlepszym „bliźniakiem” dla dwóch ocenianych skrzyŜowań. Nadano mu więc wagę „2”, podczas, gdy pozostałym skrzyŜowaniom referencyjnym przypisano wagę „1”. Rzecz jasna wagi te istotne były wyłącznie w przypadku ewaluowania całego projektu, nie zaś poszczególnych skrzyŜowań.

Przebieg zastosowania metody moŜna podzielić na trzy etapy. Pierwszym jest uzupełnienie braków danych dotyczących ruchu na wlotach skrzyŜowania, będących drogą o kategorii niŜszej niŜ wojewódzka. Jeśli chodzi o średni ruch na wlotach skrzyŜowania, to ostateczna baza w wielu miejscach świeciła pustkami. Podzielono więc wloty skrzyŜowania na kategorie (droga wojewódzka, powiatowa, gminna, lokalna, wewnętrzna) i oszacowano te wartości, których brakowało. Okazało się, Ŝe w Ŝadnej ze składowych baz danych nie zostały zawarte dokładniejsze informacje inne niŜ wypadkowość. Innymi słowy, członkowie zespołu badawczego skoncentrowali się na wypadkowości nie tyle ze względów merytorycznych, co raczej z racji na fakt niedostępności innych danych.

Drugim etapem był dobór skrzyŜowań referencyjnych, opisany w poprzednim punkcie, trzecim etapem zaś - przeprowadzenie właściwej analizy tak przygotowanych danych.

Analizę danych przeprowadzano w sposób stopniowy. Najpierw wyliczono średnie roczne wartości wypadkowości w latach 2001-2005 dla skrzyŜowań referencyjnych i ewaluowanych. W przypadku skrzyŜowań, które wzięły udział w projekcie, był to okres przed przebudową. Następnie wyliczono wypadkowość w roku 2007 (czyli juŜ po przebudowie 24 skrzyŜowań, które wzięły udział w projekcie). Następnie oszacowano proporcje mówiące o tym, jaki odsetek wypadkowości 2001-2005 stanowi wypadkowość z roku 2007. Otrzymane proporcje od siebie odjęto otrzymując cztery składowe całościowego efektu netto. Były to: efekt netto dotyczący wypadkowości, liczby rannych oraz liczby zabitych.

Na tym etapie zrezygnowano z prostszej metody polegającej na odjęciu od siebie róŜnic wynikających ze wzrostu/spadku wypadkowości w latach 2001-2005 i roku 2007. PoniewaŜ dobór skrzyŜowań referencyjnych na wstępnym etapie został dokonany w sposób celowy, w związku z tym nie było moŜliwości sprawdzenia, jakie są średnie wartości błędów oszacowania wypadkowości i liczby osób poszkodowanych. Oznaczało to de facto, Ŝe moŜliwy obserwowalny spadek z 3 do 2 wypadków


27 | S t r o n a

między średnią z lat 2001-2005 a rokiem 2007 nie implikuje koniecznie spadku o jedność, lecz spadek o 66,7%. Dopiero porównując obie frakcje (dla skrzyŜowań referencyjnych i skrzyŜowań, które poddane zostały interwencji) moŜemy określić ostateczny efekt netto. PowyŜsza metoda opiera się na załoŜeniu, Ŝe o ile konkretne wartości wypadkowości są nieoszacowywalne (ze względu na dobór próby), o tyle proporcje wypadkowości powinny dobrze oddawać stan faktyczny – zarówno w przypadku skrzyŜowań referencyjnych, jak i przebudowanych.

Na ostatnim etapie podjęto próbę zredukowania efektu netto do dwóch tylko wskaźników: efektu netto liczby wypadków i efektu netto ich najwaŜniejszych skutków, a zatem liczby poszkodowanych w wypadkach. Co prawda istniała teoretyczna moŜliwość zintegrowania tych dwóch wskaźników w jeden, lecz powstały w ten sposób wskaźnik byłby trudny do zinterpretowania, dlatego teŜ zespół badaczy zaproponował pozostanie przy dwóch miarach efektu netto.

W poniŜszej pracy stanęliśmy przed dylematem z jakim znakiem pokazywać ostatecznie efekt netto. W literaturze przyjęło się, Ŝe ujemny efekt netto oznacza pogorszenie wyniku, zaś dodatni efekt netto oznacza, Ŝe osiągnięto sukces. Problem polega na tym, Ŝe efekty netto w niniejszej pracy są same z siebie zdefiniowane negatywnie: zmniejszenie wypadkowości i zmniejszenie liczby ofiar to dodatnie efekty netto, natomiast zwiększenie wypadkowości oznaczałoby efekt netto ujemny. Rodzi się w związku z tym pokusa, by ujemnym efektem netto oznaczać zmniejszenie wypadkowości, zaś dodatnim – zwiększenie. Choć jest to rozwiązanie ze wszech miar intuicyjne, kłóci się jednak z ogólnie przyjętymi definicjami, w których ujemny efekt netto oznacza poraŜkę. W poniŜszych wyliczeniach stosowaliśmy taką właśnie notację: za dodatni efekt netto uznajemy sukces, czyli zmniejszenie wypadkowości/liczby poszkodowanych zaś za ujemny efekt netto przyjmujemy poraŜkę, czyli zwiększenie wypadkowości/liczby ofiar lub ich zmniejszenie, ale słabsze na skrzyŜowaniach ewaluowanych w porównaniu z refernecyjnymi.

Zgodnie z zaproponowaną metodologią, dla 24 ewaluowanych skrzyŜowań oraz dla skrzyŜowań referencyjnych otrzymano wyniki zamieszczone w poniŜszej tabeli.

Tabela 2 Wyniki analiz dla 24 ewaluowanych skrzyżowań oraz dla skrzyżowań referencyjnych

Wypadki

Średnia wypadków rocznie

Średnia liczba zabitych rocznie

Średnia liczba rannych rocznie

2001-2005

Ewaluowane 1,03 0,22 1,93

Referencyjne 0,81 0,33 1,29

2007

Ewaluowane 0,83 0,00 1,33

Referencyjne 0,46 0,08 1,00

Na podstawie przedstawionych wartości wyliczono względny wzrost/spadek wypadkowości zakładając, Ŝe będzie on interpretowalny empirycznie. Posługując się wzorem na przyrost względny

( 10020052001

200520012007 ⋅−

−

−

W

WW) wyliczamy dane do kolejnej tabeli 3


28 | S t r o n a

Tabela 3 Względny przyrost/spadek wypadkowości na badanych skrzyżowaniach




Względny przyrost poziomu wypadkowości

Ewaluowane -19,4% -100% -31,1%

Referencyjne -43,2% -75,8% -22,5%

Po uwzględnieniu zaokrągleń otrzymujemy ostatecznie składowe efekty netto, wyliczone ze wzoru

WpWper

−, gdzie Wpr oznacza względny przyrost poziomu wypadkowości dla skrzyŜowań

referencyjnych, zaś Wpe – dla skrzyŜowań ewaluowanych. Wyniki przekształcenia zawarto w tabeli 5.

Tabela 4 Wartości składowych efektu netto

Składowe efekty netto (1)




Efekt netto - 23,8% 24,2% 8,6%

Wyniki mają prostą empiryczną interpretowalność. Wartość –23,8% oznacza, Ŝe w porównaniu ze skrzyŜowaniami z grupy kontrolnej, osiągnięto pogorszenie wyników, czyli de facto przebudowa przyczyniła się do zwiększenia wypadkowości. Jednocześnie warto jest zwrócić uwagę na dodatnie wartości składowych efektów netto w przypadku szacowania osób poszkodowanych, zwłaszcza jeśli chodzi o szacowaną liczbę osób zabitych. MoŜna więc stwierdzić, Ŝe choć wypadkowość na ewaluowanych skrzyŜowaniach spadła mniej niŜ na referencyjnych, liczba osób poszkodowanych w wypadkach spadła znaczniej na skrzyŜowaniach ewaluacyjnych niŜ referencyjnych. Co więcej, wynik ten nie jest spowodowany ogólnym wzrostem bezpieczeństwa samochodów, czy koniecznością zapinania pasów, gdyŜ wówczas, jak moŜna przypuszczać, podobne zjawisko obserwowalibyśmy w przypadku skrzyŜowań referencyjnych i ostatecznie efekt netto byłby niŜszy (lub nie byłoby go w ogóle).

JeŜeli weźmiemy pod uwagę, Ŝe przedstawione liczby odzwierciedlają względny procent wzrostu/spadku danego zjawiska, który jest wynikiem interwencji, moŜemy procentowe wyniki efektu netto odnieść do statystyk zawartych w tabeli1. Otrzymujemy wówczas efekt netto wyraŜony w jednostkach (liczbie wypadków oraz liczbie osób rannych i zabitych), które zostały „zaoszczędzone” w wyniku interwencji. Otrzymany składowy efekt netto mnoŜymy razy wartość uzyskaną przez

ewaluowane skrzyŜowania w latach 2001-2005 ()2005;2001(φ

aaEn •),gdzie Ena oznacza

składowy efekt netto dla wskaźnika a (np. wypadkowości), zaś φ(2001;2005)a wartość danego wskaźnika (np. wypadkowości) w latach 2001-2005 dla ewaluowanych skrzyŜowań. Wyniki przedstawiono w tabeli 5:

Tabela 5 Wartości składowych efektu netto

Składowe efekty netto (2)


29 | S t r o n a




Efekt netto

- 24% * 1,03 = -0,245 wypadku

rocznie

24% * 0,22 = 0,053 osoby zabitej

rocznie

9% * 1,93 = 0,166 osoby rannej

rocznie

Tutaj teŜ, jak w przypadku tabeli 4 ujemny efekt netto oznacza pogorszenie wyniku, dodatni zaś – polepszenie. Przekształcenie to ma tę zaletę, Ŝe pozwala interpretować nie względne wzrosty/spadki wypadkowości i odsetki osób poszkodowanych, lecz pozwala na interpretację w jednostkach mierzalnych: pojedynczych wypadków i osób poszkodowanych. Z powyŜszego przekształcenia wynika, Ŝe w wyniku przebudowy zwiększono wypadkowość o ok. 1 wypadek na 4 lata, jak równieŜ zmniejszono liczbę ofiar śmiertelnych o jedną w ciągu 20 lat (0,053 ofiary rocznie * 20 lat ≈ 1 ofiara śmiertelna).

Przekształcenie to pozwala równieŜ na zredukowanie liczby składowych efektów netto do dwóch tylko wskaźników: wzrostu/spadku wypadkowości per se i wzrostu/spadku liczby osób poszkodowanych. Wyniki zamieszczono w tabeli 6:

Tabela 6 Wartości składowych efektu netto (w jednostkach)

Składowe efekty netto (3a)


Wskaźnik poszkodowanych w

wypadkach (w przeliczeniu na osoby

ranne)

Efekt netto (w jednostkach) -0,245 wypadku

rocznie

0,539 osób

poszkodowanych

rocznie

Tak, jak wspomniano powyŜej, zdecydowano się nie łączyć ze sobą efektu netto związanego z wypadkowością i efektu netto związanego z liczbą osób poszkodowanych. Wziąwszy jednak pod uwagę dane zamieszczone w niebieskiej księdze31 moŜna załoŜyć, Ŝe koszt zewnętrzny wypadku przypadający na 1 osobę zabitą jest w przybliŜeniu równy kosztowi zewnętrznemu 7 osób rannych i na tej podstawie wyliczyć syntetyczny wskaźnik kosztów zewnętrznych szkód na osobach. Zgodnie z tym przeliczeniem otrzymujemy dla średniej wypadkowości wynik toŜsamy z poprzednio prezentowanym, zaś pozostałe dwa składowe efekty netto zostały przedstawione w sposób zagregowany. Wynik 0,539 oznacza, Ŝe dzięki przebudowie udało się uniknąć ponad dwóch osób rannych w wypadkach w skali dwóch lat.

31 Niebieska księga, Infrastruktura drogowa, nowe wydanie, Jaspers, Warszawa 2008, s. 65.


30 | S t r o n a

Oczywiście, te same dane moŜna przedstawić takŜe w przeliczeniu na osoby zabite, co pokazuje tabela 7:

Tabela 7 Wartości składowych efektu netto (w przeliczeniu na osoby zabite)

Składowe efekty netto


Wskaźnik poszkodowanych w

wypadkach (w przeliczeniu na osoby

zabite)

Efekt netto (w jednostkach) -0,245 wypadku

rocznie

0,077 osób

poszkodowanych

rocznie

Wynik ten równieŜ otrzymano na podstawie opisanego powyŜszej przelicznika 1:7.

Interpretacja otrzymanych wyników nie nastręcza większych trudności. Ze względu na naukowy wymiar niniejszego projektu badawczego, najistotniejszy jest fakt, Ŝe zastosowana metodyka pozwoliła na dokładny i wiarygodny dobór skrzyŜowań podobnych, zaś wielkość efektu netto istotnie róŜniła się od efektu brutto, co uzasadnia konieczność szacowania tego pierwszego.

Natomiast z punktu widzenia ewaluacyjnego – oceny efektywności i skuteczności analizowanego projektu SPOT – bardzo ciekawy jest fakt, Ŝe zaobserwowany efekt brutto równieŜ miał wartość ujemną, czyli Ŝe równieŜ na skrzyŜowaniach referencyjnych zaobserwowano istotny spadek wypadkowości, w szczególności zaś – spadek liczby zabitych. Wartości te są sprzeczne z ogólnymi trendami w panującymi w naszym kraju, w którym liczba ofiar wypadków drogowych jest od 2000 roku praktycznie na stałym poziomie, zaś liczba rannych jedynie nieznacznie spada (o nie więcej, niŜ 10%) – patrz wykres(rysunek) poniŜej.

Rysunek 4 Wypadkowość w Polsce w latach 1998-2007

Źródło: E. Symon, Wypadki drogowe w Polsce w 2007 roku, KGP, Warszawa 2008, s. 4.


31 | S t r o n a

Przyczyn takiego stanu rzeczy moŜna upatrywać w kilku czynnikach.

• Po pierwsze – część dobranych w niniejszym projekcie alternatywnych „czarnych punktów” mogła mieć charakter efemeryczny - były to miejsca, gdzie kilka wypadków zdarzyło się bez istotnej przyczyny (upodabniając je do czarnych punktów) i podobnie bez większej interwencji – ustały. Tutaj jeszcze raz naleŜy podkreślić, Ŝe problemem był fakt, Ŝe Beneficjent w dokumentacji projektowej nie uzasadnił wyboru przebudowywanych skrzyŜowań, spośród większej liczby rzeczywistych „czarnych punktów”, mogących łatwo stanowić skrzyŜowania referencyjne. Problem ten moŜna jednak równieŜ rozwiązać poprzez bardziej szczegółowe analizy na etapie późniejszych badań ewaluacyjnych (w skrajnym przypadku – poprzez oględziny wytypowanych wstępnie skrzyŜowań referencyjnych).

• Po drugie – skrzyŜowania referencyjne równieŜ mogły zostać poddane innej interwencji, np. budowie obwodnicy danej miejscowości, budowie sygnalizacji świetlnej, budowie chodnika, oświetlenia, czy postawieniu fotoradaru. Do tej uwagi odnosi się równieŜ postulat analiz eksperckich umieszczony w poprzednim punkcie, aczkolwiek naleŜy się wówczas zastanawiać równieŜ nad rzeczywistą zasadnością interwencji współfinansowanej z środków unijnych – być moŜe istniejące problemy były moŜliwe do rozwiązania na szczeblu lokalnym, czy krajowym (chociaŜ z drugiej strony unijna polityka transportowa zwraca uwagę na istotny problem wąskich gardeł).

• Po trzecie – mogło się okazać, Ŝe kierowcy generalnie zaczęli uwaŜać w punktach, w których niegdyś zdarzało się duŜo wypadków i „czarne punkty” podlegają równieŜ pewnym naturalnym przesunięciom.

• Po czwarte – moŜe się równieŜ okazać, Ŝe część istniejących czarnych punktów została wybrana nie tylko w sposób niesformalizowany, ale równieŜ błędnie, gdyŜ wśród przebudowywanych skrzyŜowań znajdowały się takie, na których wypadkowość nie była duŜa (być moŜe miały one ograniczoną przepustowość, jednak zwiększanie płynności ruchu nie było celem tego projektu). O tym moŜe świadczyć fakt, Ŝe według bazy KGP w latach 2001 – 2005 na prawie połowie (11) z przebudowanych skrzyŜowań zdarzyły się co najwyŜej 2 wypadki32.

• Po piąte wreszcie – analizowany okres po przebudowie był krótki i chociaŜ dotyczył łącznie 24 lub 23 obiektów (a zatem odpowiadał prawdopodobieństwu wystąpienia wypadku na jednym skrzyŜowaniu w ciągu ćwierci wieku), to jednak wciąŜ moŜliwe jest zniekształcenie wyników, ze względu na rzadkość wybranych zdarzeń.

NaleŜy zauwaŜyć, Ŝe zaproponowany model szacuje prawdopodobieństwo wybrania skrzyŜowania do projektu tylko na podstawie dość ograniczonego zestawu zmiennych niezaleŜnych, opisanych we wcześniejszej części tekstu. Nie bierze jednak pod uwagę zmiennych, które mogły istotnie wpłynąć na ostateczną wypadkowość na ewaluowanych skrzyŜowaniach, a których wpływ jest często 32 NaleŜy tutaj podkreślić niedoskonałość istniejącej bazy – dla potrzeb studiów wykonalności opracowano bardziej szczegółowe dane, wraz z liczbą kolizji, jednakŜe brak było porównywalnych danych dla skrzyŜowań referencyjnych. Niedoskonałość ta moŜe być ograniczona wraz ze wprowadzeniem Systemu Ewidencji Wypadków i Kolizji SEWIK.


32 | S t r o n a

niemierzalny, bądź w ogóle ukryty. Mamy tu na myśli przede wszystkim kwestię przyzwyczajenia kierowców oraz rozmaite zdarzenia o charakterze intencjonalnym, które w Ŝadnej bazie danych nie figurują.

Jeśli chodzi o kwestię przyzwyczajenia, nie moŜemy wykluczyć, Ŝe poniewaŜ do projektu przebudowy wybrane zostały skrzyŜowania określone, jako „najbardziej niebezpieczne”, to kierowcy, którzy korzystali z tych skrzyŜowań przestali je za takowe uwaŜać po przebudowie. SkrzyŜowanie, które zostaje przebudowane moŜe w świadomości uŜytkowników dróg zmienić swój status ze „szczególnie niebezpiecznego” w „bezpieczne” – inaczej po co w ogóle je przebudowywać? Zbadanie zmian świadomościowych prowadzących – być moŜe do brawury bądź przynajmniej do wygaszenia szczególnej ostroŜności jest zadaniem niezwykle trudnym, jeśli nie niemoŜliwym. Na poziomie konstruowania modelu efektu netto dla projektów transportowych nie jesteśmy w stanie oszacować wpływu tego rodzaju zmiennych ukrytych.

Druga kategoria zmiennych, które nie poddają się modelowaniu dotyczy uwzględnienia tych wszystkich zdarzeń, które są nierejestrowane w bazach danych, a które mogą mieć bezpośrednie przełoŜenie na wypadkowość. Mowa tu na przykład o znakach dotyczących ograniczenia prędkości oraz znakach „czarny punkt”. Niestety, nie wiemy, czy w przypadku przebudowanych skrzyŜowań, z ich bezpośredniego otoczenia nie zdjęto rygorystycznych oznaczeń dotyczących ograniczenia prędkości lub czy po przebudowie nie zdecydowano się na usunięcie oznaczenia miejsca szczególnie niebezpiecznego.

Oczywistym jest, Ŝe zarówno zmienne słabo mierzalne, jak i ukryte mogą mieć większy wpływ na skrzyŜowania przebudowane niŜ na skrzyŜowania referencyjne właśnie z tego powodu, Ŝe te pierwsze uległy przeobraŜeniom, a drugie nie. Są to ograniczenia modelu, z których trzeba zdawać sobie sprawę, które jednak nie sprawiają, Ŝe otrzymane wartości efektu netto są empirycznie nieoszacowywalne. Otrzymane i opisane powyŜej wartości składowych efektów netto zostały opracowane w oparciu o pewne dobrze określone i łatwe do zmierzenia zmienne i na tej podstawie moŜna mówić o sukcesach lub poraŜkach ocenianych projektów.

Zaproponowany model moŜna równieŜ zastosować do oceny efektu netto poszczególnych skrzyŜowań, które wzięły udział w przebudowie. PoniŜej (tabela 8 i 9) przedstawiono ostateczne wyniki dla dwóch ewaluowanych skrzyŜowań, wyliczonych zgodnie z podanym powyŜej algorytmem33:

33 W przypadku szacowania efektu netto dla pojedynczych skrzyŜowań wykorzystano metodę kernel PSM, bazującą na wyliczeniu bliskości dla kaŜdego skrzyŜowania z osobna bliskości wszystkich skrzyŜowań z grupy kontrolnej. Oznacza to de facto, Ŝe wyników dla poszczególnych, konkretnych skrzyŜowań nie porównujemy z jednym skrzyŜowaniem-bliźniakiem, a ze wszystkimi skrzyŜowaniami referencyjnymi, które przyjmują w stosunku do danego skrzyŜowania róŜne wagi. Szerzej na temat tej metody: R.Konarski i M.Kornatowski „Zastosowanie metody PSM w ewaluacji ex-post” w: „Ewaluacja ex-post. Teoria i praktyka badawcza” pod redakcją A.Haber


33 | S t r o n a

Tabela 8 Składowe całościowego efektu netto interwencji (Skrzyżowanie 1)

Składowe całościowego efektu netto interwencji (SkrzyŜowanie

1)




Efekt netto

67,3% * 0,8 =

0,539 wypadku

rocznie

53,4%*0,4 =

0,213 osoby zabitej

rocznie

73,9% * 1,4 =

1,035 osoby rannej

rocznie

Tabela 91 Składowe całościowego efektu netto interwencji (Skrzyżowanie 2)

Składowe całościowego efektu netto interwencji (SkrzyŜowanie

2)




Efekt netto

-307,7% * 0,8 =

-2,462 wypadku

rocznie

-232,3% * 0,2 =

-0,465 osoby

zabitej rocznie

-211,8% * 1,4 =

-2,996 osoby

rannej rocznie

W powyŜszym przykładzie mieliśmy do czynienia z sytuacją, gdy dla pierwszego skrzyŜowania nie zaobserwowano Ŝadnego wypadku w 2007, zaś wypadkowość w latach 2001-2005 była umiarkowana. W przypadku drugiego skrzyŜowania mieliśmy do czynienia z sytuacją zgoła odwrotną:, podczas gdy statystyki dla lat 2001-2005 utrzymywały się na niewielkim poziomie (zbliŜonym zresztą – jak widać – do statystyk dla skrzyŜowania 1), o tyle dane dla roku 2007 były zatrwaŜająco wysokie. Stąd teŜ bardzo wysokie wartości ujemne efektu netto w przypadku skrzyŜowania 2.

Jak widać szacowanie efektu netto na poziomie pojedynczych skrzyŜowań jest moŜliwe, jednak niewielka ilość danych (chodzi tu głównie o niewielką liczbę danych zbieranych juŜ po interwencji), moŜe wpływać na rzetelność oszacowania, a co za tym idzie moŜe dawać to w wyniku dość duŜe rozbieŜności efektów netto dla poszczególnych skrzyŜowań. Jesteśmy jednak przekonani, Ŝe wraz z upływem czasu składowe efekty netto dla poszczególnych skrzyŜowań będą zarówno mniej „rozstrzelone”, jak i rzetelniejsze.


34 | S t r o n a

4.4 ZAŁOŻENIA BADANIA EFEKTU NETTO ASPEKTÓW ŚRODOWISKOWYCH

Zgodnie z przyjętymi załoŜeniami, analogicznie jak dla przedstawionej powyŜej analizy bezpieczeństwa ruchu drogowego, w ramach projektu planowano przeprowadzić badanie efektu netto aspektów środowiskowych związanych z realizacją projektu SPOT „Przebudowa szczególnie niebezpiecznych skrzyŜowań na sieci dróg krajowych”’.

W tym przypadku, tak jak w przypadku analizy bezpieczeństwa ruchu drogowego, naleŜałoby zestawić ze sobą dane dla skrzyŜowań badanych z danymi dla skrzyŜowań referencyjnych w okresach przed i po realizacji projektu. Aby więc dokonać oszacowania efektu netto niezbędne byłoby dysponowanie danymi dotyczącym stanu jakości środowiska przed realizacją inwestycji, a więc niezbędne byłyby w takim przypadku pomiary wielkości hałasu, jakości powietrza oraz skaŜenia wód i gruntu. Następnie analogiczne dane naleŜałoby zebrać po zakończeniu realizacji inwestycji. W zbliŜonych okresach czasu, w jakich dokonywane byłyby pomiary stanu środowiska dla analizowanych inwestycji, naleŜałoby wykonać z uŜyciem tych samych metod badawczych, badania na skrzyŜowaniach referencyjnych.

W zakresie analiz środowiskowych, często stosowane jest podejście, w którym w uproszczeniu zakłada się, iŜ tylko porównanie wyników parametrów jakości środowiska dokonane przed i po realizacji inwestycji pozwoli na oszacowanie efektu netto. JednakŜe, szczególnie w przypadkach, gdy pomiary wykonywane są w odstępie dłuŜszego okresu czasu, lub gdy w okresie pomiędzy jedną a drugą serią pomiarów nastąpi istotna zmiana technologiczna w branŜy transportowej (np. ograniczenie stosowania Pb w paliwach, lub stosowanie domieszek tzw. biopaliw) lub inna zmiana społeczno-gospodarcza (np. wzrost liczby starszych uŜywanych aut importowanych z innych krajów), takie załoŜenie obarczone jest istotnym błędem.

Stan środowiska w najbliŜszym otoczeniu drogi czy skrzyŜowania jest wypadkową wielu czynników takich jak:

� natęŜenie i płynność ruchu (duŜa emisja podczas ruszania) � jakość uŜywanego paliwa (nie tylko zawartość PB, ale teŜ czy jest to gaz ziemny, olej

napędowy, benzyna, czy teŜ z domieszką tzw. biopaliw) � efektywność zuŜycia paliwa przez pojazdy � jakość oraz wiek uŜytkowanych pojazdów � typ samochodów (osobowe, cięŜarowe itd.) � jakość nawierzchni drogi.

Jak pokazują wyniki badań Europejskiej Agencji Ochrony Środowiska (European Environment Agency)34, w okresie między rokiem 1990 a 2004 emisja gazów cieplarniach pochodzących z sektora transportu w krajach członkowskich UE wzrosła o ponad 32 %, z czego największy udział w emisji ma transport drogowy. Ten wzrost emisji gazów cieplarniach jest przede wszystkim interpretowany jako efekt wzrostu intensywności transportu drogowego (zarówno ilości samochodów osobowych jaki cięŜarowych).

34 EEA Report, Transport and environment: on the way to a new common transport policy, TERM 2006: indicators tracking transport and environment in the European Union


35 | S t r o n a

Rysunek 5 Emisja gazów cieplarnianych z sektora transportu w krajach członkowskich EEA

Z drugiej strony w analizowanym okresie (1990-2004) emisja z sektora transportu (z wyłączeniem lotnictwa i transportu morskiego) znacznie spadła w krajach członkowskich EEA. Spadła emisja pyłów o 29%, substancji zakwaszających o 32% oraz lotnych związków organicznych o 41%. Spadek zanieczyszczeń jest spowodowany udoskonaleniem procesu oczyszczania spalin samochodowych oraz poprawą jakości uŜywanych paliw w pojazdach. Istotne znaczenie w tym przypadku miało wdroŜenie norm UE w zakresie emisji zanieczyszczeń z aut oraz jakości uŜywanych paliw (szczególną rolę odegrała tu redukcja zawartości siarki). W najbliŜszych latach w związku z zaostrzaniem norm UE moŜna spodziewać się dalszej redukcji w zakresie emisji do powietrza z transportu z uwagi na zastępowanie starych aut, nowoczesnymi pojazdami.

Rysunek 6 Zmiana emisji do powietrza z sektora transportu w krajach członkowskich EEA

W zakresie emisji CO2 (w przeliczeniu na ilość gram wyemitowanych na kilometr) celem ustalonym przez kraje Unii Europejskiej w roku 2005 jest osiągnięcie efektywności na poziomie 120 g CO2/km


36 | S t r o n a

przejechany. Cel wyznaczony przez stowarzyszenie producentów samochodów jest nieco wyŜszy i wynosi 140 g CO2/km przejechany. JednakŜe jest bardzo mało prawdopodobne, Ŝe w najbliŜszym czasie cele te zostaną osiągnięte. W tym zakresie istnieje potrzeba zmian zachowania konsumenta. O ile na rynku dostępne są samochody emitujące poniŜej powyŜszych limitów CO2, to nie są kupowane w wystarczającej ilości by wywołać wpływ na całkowitą średnią emisję z uŜytkowanych samochodów. Jak pokazuje poniŜsza rycina, o ile na przestrzeni lat emisja CO2 ma tendencje spadkowe, to spadki te nie są wystarczające by pozwolić na osiągnięcie wyznaczonych limitów.

Rysunek 7 Emisja CO2 g/km z sektora transportu

Z powyŜej przytoczonych danych z badań emisji z sektora transportu wynika, iŜ zmiana trendów i zachowań konsumentów (uŜytkowników pojazdów i podróŜnych) wpływa na zmianę oddziaływania transportu na środowisko. Dlatego teŜ aby oszacować oddziaływanie realizowanych projektów w zakresie wzmocnienia infrastruktury transportowej naleŜałoby dokonać pomiaru efektu netto z wykorzystaniem wskaźników referencyjnych. Taki zabieg pozwoliłby na wyeliminowanie wpływu innych czynników na zmianę jakości środowiska w najbliŜszym otoczeniu drogi (skrzyŜowania) przed i po realizacji inwestycji infrastrukturalnych.

W przypadku pomiarów i obliczeń wykonywanych na potrzeby badania efektu netto naleŜałoby takŜe rozwaŜyć, czy w okresie, jaki upłynął przed i po realizacji inwestycji, w najbliŜszym jej otoczeniu nie pojawiły się istotne zmiany w sposobie zagospodarowania oraz uŜytkowania terenu (np. wybudowanie/lub zamknięcie innych istotnych emitorów).

Pewnym istotnym ograniczeniem w wykorzystaniu metody pomiaru efektu netto w sektorze środowiska jest wysoki koszt prowadzenia pomiarów jakości środowiska. W polskiej praktyce niektóre najbardziej naraŜone i newralgiczne tereny objęte są siecią monitoringu środowiskowego wykonywanego przez specjalne słuŜby (inspektoraty ochrony środowiska), lecz sieć monitoringowa w większości przypadków jest niewystarczająca.


37 | S t r o n a

Ponadto w pewnych, określonych prawem i procedurami przypadkach, inwestor realizujący inwestycję drogową ma nałoŜony obowiązek wykonania pomiarów jakości środowiska przed jej realizacją, a takŜe po pewnym czasie od oddania danego obiektu (nowego lub zmodernizowanego) do uŜytku.

W przypadku omawianego projektu SPOT dla kaŜdego skrzyŜowania przeprowadzono ocenę wpływu inwestycji na środowisko. W zaleŜności od tego czy inwestycja została zaliczona do przedsięwzięć mogących znacząco oddziaływać na środowisko czy teŜ nie, ocenę taką sporządzono w formie raportu o oddziaływaniu na środowisko w rozumieniu Prawa ochrony środowiska lub w formie syntetycznej oceny.

W części przypadków, gdzie właściwą procedurą zlecono wykonanie Oceny Oddziaływania na Środowisko, wykonano takŜe pomiary jakości środowiska przed rozpoczęciem realizacji inwestycji. Zgodnie z procedurami, właściwymi decyzjami (pozwolenie budowlane) organ zezwalający na realizację inwestycji (starosta/wojewoda) moŜe takŜe w przypadku stwierdzenia konieczności nałoŜyć na inwestora wykonanie analizy porealizacyjnej (a więc pomiarów jakości środowiska w okresie po zakończeniu realizacji inwestycji). W praktyce zwykle wyniki analizy porealizacyjnej potwierdzają skuteczność zastosowanych działań mitygujących negatywny wpływ infrastruktury transportowej na środowisko i ludzi (np. ekranów akustycznych, separatorów ropopochodnych itd.)

JednakŜe jak wynika z analizy dokumentów związanych z projektem SPOT, analizy porealizacyjne zostały zlecone do wykonania tylko w przypadku 4 projektów. Co ciekawe, są to po dwa projekty z województw opolskiego i świętokrzyskiego. MoŜna więc ryzykować stwierdzenie, Ŝe zlecenie badań po realizacji inwestycji niekoniecznie musi wiązać się z najpilniejszą potrzebą w tym konkretnym przypadku, lecz z uznaniowością organu wyjącego decyzje (wojewodowie).

Dane związane ze stanem środowiska oraz wielkością emisji nie były zbierane i agregowane na poziomie projektu SPOT (zarówno dane z pomiarów przed jak i po realizacji inwestycji). Takie podejście nie pozwala na szacowanie efektów realizacji projektu.

JednakŜe, jak zapisano w sprawozdaniu końcowym z realizacji Zadania, analiza oddziaływań wykonanych inwestycji wskazuje, Ŝe przebudowa skrzyŜowań nie przyczyniła się do pogorszenia jakości środowiska przyrodniczego i standardu Ŝycia lokalnych społeczności. Przedmiotowe inwestycje wpłynęły na poprawę jakości środowiska w zakresie zanieczyszczeń wód, zanieczyszczeń powietrza oraz klimatu akustycznego w bezpośrednim otoczeniu skrzyŜowania. Poprawa stanu w w/w zakresie nastąpiła w efekcie uregulowania gospodarki wodno-ściekowej, nasadzeń, przebudowa urządzeń odwadniających oraz podniesienia stanu technicznego drogi. W wyniku realizacji przedsięwzięcia zauwaŜa się równieŜ, Ŝe ulegną poprawie warunki klimatu akustycznego oraz zmniejszenie zanieczyszczeń powietrza w bezpośrednim otoczeniu omawianych inwestycji.

PowyŜsze stwierdzenia powstały zapewne na podstawie załoŜeń poczynionych na etapie Ocen Oddziaływania na Środowisko oraz analiz doświadczeń innych podobnych projektów, a takŜe obserwacji organoleptycznych. Nie są to jednak stwierdzenia poparte usystematyzowanymi wynikami badań czy pomiarów.

Źródłem niekorzystnych oddziaływań dróg na wody powierzchniowe są zanieczyszczenia spływów deszczowych i roztopowych z nawierzchni skrzyŜowania, a takŜe z innych uszczelnionych powierzchni oraz zrzuty niebezpiecznych dla środowiska substancji w przypadku ewentualnych powaŜnych awarii. Spływy opadowe mogą być silnie zanieczyszczone, w szczególności po długim


38 | S t r o n a

okresie pogody bezdeszczowej lub zalegania śniegu (kumulacja zanieczyszczeń), a takŜe w przypadku ewentualnych powaŜnych awarii związanych z wyciekami substancji toksycznych. W ramach niektórych projektów przebudowy skrzyŜowania zaprojektowano systemy przejęcia wód opadowych do kanalizacji z powierzchni skrzyŜowania, ulic i chodników, lub tez zaprojektowano systemy ich podczyszczania.

Źródłem zanieczyszczeń gleb w najbliŜszym sąsiedztwie drogi są przede wszystkim produkty pochodzące z poruszających się pojazdów. Oprócz produktów spalania paliw, opadających najbliŜej drogi, powstawać będą takŜe pyły czerni węglowej i kadmu pochodzące ze ścierania opon samochodowych, asfaltu oraz azbestu. Koncentracja metali cięŜkich jest największa w warstwie powierzchniowej gleby (do 5 cm). W glebach przyległych do drogi moŜna spodziewać się równieŜ podwyŜszonej zawartości związków chemicznych, stosowanych do zimowego utrzymania dróg (głównie sole sodu i wapnia). Wymienione substancje są przyswajane przez rośliny rosnące w pobliŜu dróg. Wynika z tego konieczność wyłączenia pasów gruntu przylegających do drogi z upraw roślin spoŜywanych przez ludzi i zwierzęta. Zgodnie z projektem pas ten zajmować będą chodniki i zieleńce. Na terenach przylegających do skrzyŜowania nie występują uprawy rolne mogące być potencjalnie naraŜone na zanieczyszczenie. Pierwsza linia zabudowy zlokalizowana blisko jezdni krzyŜujących się dróg oraz rosnące wzdłuŜ ulic drzewa w pewnym stopniu ograniczą rozprzestrzenianie się zanieczyszczeń na dalej połoŜone tereny. Emisja zanieczyszczeń w tym przypadku jest generowana przez ruch pojazdów, a upłynnienie ruchu wpływa na spadek emisji zanieczyszczeń.

TakŜe wielkość emisji do atmosfery zaleŜna jest od takich czynników jak szybkość i płynność ruchu pojazdów oraz stanu nawierzchni drogi, to zakłada się Ŝe modernizacja drogi i usprawnienie ruchu pojazdów wpływa na nieznaczne ograniczenie emisji.

Upłynnienie ruchu pojazdów pozwala na bardziej równomierną pracę silników, a w efekcie zmniejsza emisję spalin i hałasu do środowiska. TakŜe poprawa jakości nawierzchni (likwidacja deformacji) wpływa na mniejsze zuŜycie elementów zawieszenia. Ograniczenie wypadkowości zapobiega powstaniu nadzwyczajnych zagroŜeń środowiska.


39 | S t r o n a

WWWWnioski i rekomendacjenioski i rekomendacjenioski i rekomendacjenioski i rekomendacje

5.1 WNIOSKI DOTYCZĄCE ZASTOSOWANYCH METOD STATYSTYCZNYCH

W toku przygotowywania projektu opracowania uniwersalnej metody słuŜącej do oszacowania efektu netto dla projektów infrastrukturalnych napotkano na szereg braków, który uniemoŜliwił w tym konkretnym przypadku, analizę innych składowych efektów netto. Wziąwszy pod uwagę, Ŝe badacze dysponowali wyłącznie bazą skonstruowaną na potrzeby projektu na podstawie kilku innych zbiorów danych, skupiono się na najbardziej oczywistej mierze efektu netto projektu przebudowywania skrzyŜowań, czyli na wypadkowości i powiązanej z nią liczbie osób poszkodowanych. ZałoŜenia badania były znacznie szersze, niewykonalne jednak ze względu na ograniczone moŜliwości pozyskania niezbędnych do wykonania analiz danych. Uniwersalność zaproponowanej metody umoŜliwia jednak badanie innych składowych efektów netto, takich jak efekt netto ograniczenia uciąŜliwości akustycznej czy wpływu środowiskowego – pod warunkiem rzetelnego gromadzenia, a następnie udostępnienia ewaluatorom danych z tego zakresu.

Co więcej, dostęp do danych związanych z innymi aspektami efektów netto pozwoli w przyszłości na lepsze dopasowanie skrzyŜowań referencyjnych. MoŜna by określać inne aspekty podobieństwa skrzyŜowań przebudowanych do skrzyŜowań referencyjnych, czyli mówiąc językiem statystyki, poprawić (i tak juŜ wysokie) dopasowanie jednostek badanych i jednostek kontrfaktycznych, stosując szerszy wachlarz zmiennych niezaleŜnych.

Oprócz tego, tak, jak zasygnalizowano to w poprzednim rozdziale, model umoŜliwia ocenę nawet pojedynczych skrzyŜowań (czy teŜ, szerzej: jednostek poddanych interwencji), do tego celu niezbędny jednak jest szerszy horyzont czasowy badania. Konstruując wskaźniki efektu netto dla wypadkowości nie moŜemy pominąć specyfiki zdarzenia, jakim jest wypadek. W przypadku innych badań ewaluacyjnych mamy bowiem do czynienia z sytuacją, gdy jednostka poddana interwencji stale doświadcza korzyści związanej z udziałem w projekcie (np. osoba biorąca udział w szkoleniu znajduje pracę), bądź teŜ wynik ma charakter ciągły i jest mierzalny na skali (np. szacowanie wpływu realizowanych projektów na fluktuacje związane z bezrobociem w danym regionie). W przypadku wypadkowości mamy do czynienia z pojedynczym i nieprzewidywalnym zdarzeniem losowym. Mówiąc prostym językiem: w pewnym konkretnym miejscu wypadki się zdarzają. Częstotliwość tego zdarzenia jest dość nikła, w związku, z czym do rzeczywistego oszacowania długofalowego efektu netto naleŜałoby było zebrać dane z kilku kolejnych lat i dopiero poddać je analizie wg załoŜeń zaproponowanej metody.

PowyŜsza uwaga dotyczy przede wszystkim oceny pojedynczych skrzyŜowań, w mniejszym stopniu zaś dotyczy oceny całego projektu.

Przygotowany model, bazujący na metodzie PSM, będącej z kolei pochodną analizy regresji logistycznej nadaje się do przewidywania prawdopodobieństwa sukcesu (wzięcia udziału w programie) równieŜ w przypadku innych rodzajów projektów infrastrukturalnych, choć nie wszystkich. NaleŜy przy tym pamiętać, Ŝe metoda ta ma równieŜ swoje ograniczenia i w pewnych warunkach dopasowanie jednostek referencyjnych moŜe być obarczone nieakceptowanym poziomem


40 | S t r o n a

błędu, bądź teŜ analiza moŜe nie dać w ogóle rzetelnych (czy konkluzywnych) wyników. Stałoby się tak w dwóch przypadkach:

� gdyby baza danych, z której dobierane są jednostki referencyjne była zbyt uboga w rekordy; � gdyby podobieństwo jednostek poddanych interwencji oraz referencyjnych określane miało

być na podstawie słabej jakości zmiennych.

W przygotowanym modelu zadbano o to, by liczba przypadków, z których wybierane były jednostki referencyjne była dość obszerna, po drugie zaś w poszukiwaniu skrzyŜowań referencyjnych badacze posłuŜyli się szeroką gamy róŜnorodnych zmiennych, określających nie tylko specyfikę połoŜenia danego skrzyŜowania i jego budowę, ale równieŜ przepustowość i liczbę zaobserwowanych wypadków w okresie do 2005 roku.

W przypadku stosowania zaproponowanego modelu do innych badań ewaluacyjnych naleŜałoby zadbać o wystarczającą liczbę przypadków, do których dobierane byłyby jednostki kontrfaktyczne, liczbę i jakość zmiennych, na których opisane byłyby jednostki oraz, jeśli to moŜliwe, wzięcie pod uwagę szerokiego horyzontu czasowego: zarówno, jeśli chodzi o okres przed, jak i po interwencji.

Osobną sprawą jest kwestia poruszona juŜ we wcześniejszej części niniejszego raportu, a która dotyczy tego, Ŝe przedstawiony model w prowadzonym przez zespół projektowy badaniu został ograniczony i wielu zmiennych nie bierze pod uwagę: po pierwsze ze względu na brak odpowiednich danych, co – jak wierzymy – jest kwestią otwartą i stosunkowo łatwą do zmienienia ze względu na rosnącą świadomość istotności gromadzenia danych przez instytucje korzystające z funduszy unijnych, po drugie zaś z powodów obiektywnej niemierzalności niektórych zjawisk.

NaleŜy w tym miejscu podkreślić jednak, Ŝe model ten jest otwarty: oznacza to tyle, Ŝe w przypadku zbierania odpowiednich danych (dotyczących poziomu hałasu czy innych zmiennych środowiskowych) istnieje moŜliwość zaimplementowania ich do poszukiwania jednostek referencyjnych oraz ostatecznie do szacowania efektów netto, biorących pod uwagę te właśnie zmienne.

5.2 REKOMENDOWANY MODEL ZBIERANIA DANYCH I ANALIZY EFEKTU

NETTO PRZEDSIĘWZIĘĆ INFRASTRUKTURALNYCH

Przeprowadzony pilotaŜ wskazał, Ŝe pomiar efektu netto w przypadku inwestycji infrastrukturalnych moŜe być przeprowadzony i moŜe prowadzać do istotnych statystycznie oraz uŜytecznych strategicznie wniosków.

NaleŜy jednak pamiętać, Ŝe konieczne jest spełnienie następujących warunków:

• określenie precyzyjnego wskaźnika (-ów) EFEKTÓW, które mogą być mierzone i rzeczywiście odzwierciedlają sukces projektu, a jednocześnie wpływają na nie równieŜ czynniki zewnętrzne – a zatem pomiar efektu brutto moŜe być niewystarczający;

• zapewnienie odpowiedniej dostępność danych, umoŜliwiających zarówno parowanie jednostek do badań, jak i określenie efektu netto – w szczególności duŜe znaczenie ma tutaj pozyskanie danych historycznych dotyczących potencjalnych obiektów kontrfaktycznych, stanowiące z reguły największą trudność (w przypadku obiektów poddanych interwencji odpowiednie dane moŜna często zaleźć w studiach wykonalności).


41 | S t r o n a

W niniejszej części opisane zostaną typowe projekty w zakresie infrastruktury transportu, wraz z analizą moŜliwości pomiaru efektu netto oraz zaleceniami, dotyczącymi gromadzenia danych.

Remont linii kolejowej

Wzrost udziału transportu kolejowego – jako ekologicznej gałęzi transportu – jest jednym z celów krajowej oraz unijnej polityki transportowej. Realizacji tego celu słuŜą m.in. przedsięwzięcia modernizacji linii kolejowej, przyczyniające się do zwiększania konkurencyjności kolei, zwłaszcza poprzez skracanie czasu przejazdu.

Współczynnik oddziaływania:

• praca przewozowa na danej linii [paskm] / [tkm].

Współczynniki, umoŜliwiające parowanie jednostek do badania:

• praca przewozowa na danej linii przed modernizacją [paskm] / [tkm] – najlepiej w kolejnych latach, moŜliwie wielu.

Przewidywana dostępność danych:

Niestety brak jest ogólnodostępnych i jednolitych danych, dotyczących przewozów na liniach kolejowych (z wyjątkiem danych o bruttotonokilometrach, będących pewnym estymatorem pracy przewozowej w transporcie towarowym oraz danych zawartych w studiach wykonalności dla linii modernizowanych).

MoŜliwość przeprowadzenia badania efektu netto:

Ze względu na stosunkowo niską liczbę linii kolejowych parowanie moŜe być trudne, brak jest równieŜ dostępnych danych wejściowych.

Zalecenia:

Monitorowanie wielkości przewozów na sieci kolejowej, nie tylko pod kątem badania efektu netto, ale równieŜ ujednolicenia innych analiz, w tym studiów wykonalności.35 Ewentualne przeprowadzanie badań w przypadku udanych pomiarów efektu netto przy przebudowie dróg, gdzie szansa uzyskania wiarygodnych rezultatów jest większa (lepsza dostępność danych, większe populacje).

Remont (przebudowa lub rozbudowa) drogi

Przebudowa przestarzałej sieci drogowej w kraju wiąŜe się najczęściej z dwoma celami strategicznymi – poprawą bezpieczeństwa ruchu drogowego (w Polsce jest najwięcej ofiar wypadków drogowych w całej Unii Europejskiej) oraz poprawą płynności ruchu, a co za tym idzie – dostępności i spójności komunikacyjnej kraju. Tak jak juŜ wcześniej wspomniano, poprawa płynności ruchu wiąŜe się takŜe z niŜszą presją transportu na środowisko. Ponadto podczas modernizacji dróg, zwykle w celu zmniejszeniu jej negatywnego oddziaływania na środowisko stosuje się róŜnego rodzaju środki mitygujące (odstojniki, separatory ropopochodnych, zebranie spływów z drogi do kanalizacji, ekrany i wały akustyczne, nasadzenia roślinności ochronnej).

35 Zalecenie to w szerszym kontekście wypracowano w badaniu ewaluacyjnym „Ocena procesu zarządzenia projektami infrastruktury transportowej w kontekście realizacji Narodowego Planu Rozwoju na lata 2004-2006”


42 | S t r o n a


• wypadkowość [szt.] (liczba wypadków, liczba ofiar śmiertelnych);

• średnia prędkość na danym odcinku [km/h] (ew. w wybranych godzinach) lub inny

współczynnik określający płynność ruchu.

• poziom hałasu [dB]

• jakość powietrza (stęŜenie NOx, Co2 /m3)

• jakość gleb (zawartość metali cięŜkich)

Współczynniki, umoŜliwiające parowanie jednostek do badania:

• kategoria drogi;

• dane dotyczące jej geometrii (liczba pasów ruchu, liczba skrzyŜowań poszczególnego rodzaju,

• wielkość ruchu na danym odcinku [poj/czas].

• sposób uŜytkowania i zagospodarowania terenu

Przewidywana dostępność danych: W przypadku danych dotyczących wypadkowości ich dostępność jest stosunkowo dobra, w przyszłości będzie dodatkowo poprawiona dzięki realizacji przez Komendę Główną Policji w ramach SPOT Systemu Ewidencji Wypadków i Kolizji SEWIK.

Problemem moŜe być zebranie danych historycznych dotyczących średniej prędkości na danym odcinku lub innego wskaźnika płynności ruchu – tym bardziej Ŝe stosunkowo rzadko są one uwzględniane w monitoringu projektów.

W przypadku danych związanych z parametrami jakości środowiska, jeśli nawet są one dla niektórych inwestycji wykonane, to problem występuje z ich dostępnością. Dane te nie są agregowane i gromadzone.


W przypadku bezpieczeństwa ruchu drogowego badanie jest moŜliwe do przeprowadzenia równieŜ dla projektów, obejmujących modernizację odcinków dróg. Jedyną barierą jest tutaj upłynięcie odpowiedniego czasu od momentu zakończenia inwestycji. Problemem w tym przypadku moŜe być równieŜ skonstruowanie potencjalnej populacji odcinków kontrfaktycznych, jednak udane wyniki niniejszego projektu (bazującego wszakŜe na skrzyŜowaniach kontrfaktycznych tylko z kilku regionów) pozwalają na pewien optymizm.

W przypadku płynności ruchu – przy załoŜeniu braku danych historycznych – moŜliwe jest przeprowadzenie badań dla inwestycji, których uruchomienie jest dopiero planowane. Wymagałoby ono dwufazowego dobrania i „opomiarowania” obiektów kontrfaktycznych, gdzie w pierwszej fazie oceniałoby podobieństwo geometryczne, zaś w drugiej – w toku pomiarów - natęŜenie ruchu oraz jego płynność.

Przeszkodą w przypadku danych środowiskowych moŜe być wysoki koszt pomiarów jakości środowiska.


43 | S t r o n a

Zalecenia:

Przeprowadzenie badań efektu netto dla inwestycji liniowych.

Stworzenie pilotaŜowego systemu monitoringu efektu netto płynności ruchu dla inwestycji, których realizacja dopiero się rozpoczyna.

Stworzenie pilotaŜowego systemu monitoringu efektu netto dla wybranych parametrów środowiskowych (np. hałasu i powietrza) dla inwestycji, których realizacja dopiero się rozpoczyna.

Budowa nowej drogi

Budowa zupełnie nowych dróg – w szczególności autostrad – wnosi zupełnie nową jakość w transporcie drogowym, ale jednocześnie wiąŜe się z powstawaniem niekorzystnego ekologicznie ruchu zaindukowanego.

NajwaŜniejszym wskaźnikiem sukcesu jest w tym przypadku poprawa wskaźników dostępności komunikacyjnej, które wyraŜone w wartościach brutto powinny dostarczyć wiarygodnych informacji.

Ewentualnie moŜna rozpatrywać dostępność komunikacyjną pewnych miast jako poddanych interwencji, względem innych – kontrfaktycznych, jednakŜe przy obecnej skali inwestycji unijnych trudno będzie znaleźć jednostki na których dostępność nie wpływa Ŝadne z nowych przedsięwzięć.

Modernizacja systemu miejskiego transportu zbiorowego

ZrównowaŜony transport w miastach bazuje na konkurencyjnym transporcie zbiorowym, grającym duŜą rolę w planach strategicznych regionów i miast. Wiele miast realizuje grupy projektów mające na celu budowę konkurencyjności transportu miejskiego, trudno jednak wydzielić bezpośrednie oddziaływanie tych działań na wielkość przewozów w całym mieście – zdeterminowaną równieŜ przez wiele czynników zewnętrznych (np. ceny paliwa, rosnące korki) oraz wewnętrznych (np. polityka handlowa komunikacji miejskiej). Co więcej –w niektórych przypadkach istnieje moŜliwość, Ŝe przeprowadzane inwestycje mają charakter ściśle odtworzeniowy, nie wnoszący istotnej nowej jakości36.


• wielkość przewozów komunikacją miejską w danym mieście [pas/rok].

• Współczynniki, umoŜliwiające parowanie:

• liczba mieszkańców;

• podaŜ usług komunikacji miejskiej [wozokm];

• wielkość przewozów komunikacją miejską przed realizacją projektu [pas/rok];

• wielkość dotacji miejskiej do komunikacji miejskiej [zł/rok] w poszczególnych latach;

• cena biletu miesięcznego [zł].

36 Szerzej: M. Wolański, Potrzeba i moŜliwości ewaluacji projektów unijnych w zakresie modernizacji miejskiego transportu zbiorowego, „Transport Miejski i Regionalny”, s. 26 – 29.


44 | S t r o n a

Przewidywana dostępność:

Dla większości miast dane są ogólnodostępne, m.in. w wydawnictwach „Izby Gospodarczej Komunikacji Miejskiej”, chociaŜ dostęp do nich wymaga zgody zarządu Izby. Problemem moŜe okazać się badanie efektu netto na poziomie konkretnych projektów z perspektywy 2007-2013, a nie na poziomie globalnym, czyli całej aglomeracji. Konstrukcja Programu Operacyjnego Infrastruktura i Środowisko zakłada bowiem dofinansowanie jedynie szynowego transportu miejskiego, co w sytuacji łączonych biletów w aglomeracjach moŜe powodować utrudnienia w dostępie do dokładnych danych liczbowych. Niemniej jednak moŜliwe jest szacowanie na podstawie podziału pracy przewozowej na poszczególne rodzaje transportu.


Badanie jest moŜliwe do przeprowadzenia dla perspektywy 2006 – 2008. W perspektywie 2007 – 2013 kłopotliwe moŜe być określanie stanu kontrfaktycznego (zbyt wielu beneficjentów).

Zalecenia:

Badanie pilotaŜowe.

Transport lotniczy, morski oraz śródlądowy

Ze względu na skalę wsparcia oraz niewielką liczbę populacji obiektów ogółem, niemoŜliwe jest szacowanie efektów netto metodą grup porównawczych.


45 | S t r o n a

5.3 WNIOSKI KOŃCOWE

W chwili obecnej zasadne wydaje się mierzenie efektu netto w przypadku nowych, dopiero planowanych do wdroŜenia projektów polegających na przebudowie danych odcinków dróg.

W przypadki inwestycji drogowych przed jej rozpoczęciem, a po akceptacji wniosku, naleŜy stworzyć bazę obiektów podobnych oraz dobrać obiekty obrazujące stan kontrfaktyczny, a takŜe zmierzyć wybrane wskaźniki (płynność ruchu) dla wszystkich obiektów. Następnie po kilku latach naleŜy ponownie przeprowadzić pomiar dla wszystkich obiektów.

MoŜliwe jest takŜe przeprowadzenie ewaluacji ex-post, obejmującej wpływ inwestycji liniowych (np. przebudowy dróg) na bezpieczeństwo ruchu drogowego. Tego typu badania mogą być przeprowadzone juŜ w niedalekiej przyszłości, konieczne jest upłynięcie ok. 3 lat od zakończenia inwestycji, w celu zgromadzenia odpowiedniej liczby rzetelnych danych, zwłaszcza dotyczących tak rzadkich zjawisk, jak wypadki śmiertelne (zwłaszcza na krótszych odcinkach dróg).

PoŜądane byłoby takŜe badanie efektu netto w przypadku projektów szerokiej modernizacji systemów komunikacji miejskiej. W tym zakresie nie przeprowadzano w Polsce badań ewaluacyjnych, natomiast istniejący system wskaźników jest prawdopodobnie niedoskonały, ze względu na szereg czynników zewnętrznych i wewnętrznych, kształtujących wielkość przewozów. Stąd teŜ pomiar efektu netto moŜe okazać się odpowiednią metodyką ewaluacji.

Z technicznego punktu widzenia ta populacja jest stosunkowo liczna, natomiast wskaźniki oddziaływania są silnie obciąŜone działaniem czynników zewnętrznych. W tym przypadku prawdopodobnie konieczne będzie jednak opisanie stanu kontrfaktycznego przy uŜyciu danych z kilku innych miast, ze względu na zróŜnicowanie lokalnej polityki transportowej.

NaleŜy przy tym pamiętać, Ŝe statystyczny dobór obiektów podobnych (jako wstępna selekcja) musi być wsparty ich jakościową analizą ekspercką, tak by zarówno zweryfikować podobieństwo, jak i dobrze poznać przyczyny wielkości efektu brutto (np. inne interwencje na szczeblu lokalnym).


46 | S t r o n a

BBBBibliografia:ibliografia:ibliografia:ibliografia:

Publikacje:

Babbie E. (2007), Badania społeczne w praktyce. Warszawa: Wydawnictwo Naukowe PWN

Center for Global Development, (2006), ‘When Will We Ever Learn? Improving Lives Through Impact Evaluation’, Evaluation Gap Working Group, Centre for Global Development, New York

de Dios Ortuzar J., Willumsen L. G., (2001) Modelling Transport. Willey, Chicester

EEA Report, Transport and environment: on the way to a new common transport policy, TERM 2006: indicators tracking transport and environment in the European Union

Ewaluacja programów wydatków Unii Europejskiej. Przewodnik. Komisja Europejska, styczeń 1997

Ewaluacja programów wydatków Unii Europejskiej: Przewodnik Ewaluacja w połowie okresu i ex-post XIX/02 – Synthèse budgétaire et évaluation, Dyrekcja Generalna XIX – BudŜet Komisja Europejska, 1997

Górniak J., (2007), Ewaluacja w cyklu polityk publicznych, w: Ewaluacja funduszy strukturalnych – perspektywa regionalna, red. S. Mazur, wyd. Uniwersytet Ekonomiczny w Krakowie Małopolska Szkoła Administracji Publicznej: Kraków

Henscher D., Button K. et. al., (2005), Handbook of Transport Modelling. Pergamon, Amsterdam.

Kaufmann P., Stagl S., Zawalinska K., Michalek J., (2007) Measuring Quality of Life in Rural Europe - A Review of Conceptual Foundations. Eastern European Countryside, 13:1–21. Konarski R., Kotnarowski M., (2007) „Zastosowanie metody propensity score matching w ewaluacji ex post”, , w: „Ewaluacja ex-post, teoria i praktyka badawcza”, PARP: Warszawa

Michalek J., (2007), Construction and the measurement of the Rural Development Index. Application to evaluation of RD policies. Part II. Conceptual Reports CR3-2, University of Kiel Michalek J, Zarnekow N., (2008a), Empirical measurement of quality of life in rural areas in Slovakia using the RDI Index. Regional Report RR3-1, University of Kiel Michalek J., Zarnekow N., Stulrajter Z., Klank L. (2008b) Cartographic and statistical analysis of RDI in Poland and Slovakia. Regional Report RR3-2, University of Kiel

Morris P, Therivel R, (2001) Methods of Enviromental Impact Assesment, Spoon Pres

Przewidywany wpływ wybranych projektów realizowanych w ramach Sektorowego Programu Operacyjnego Transport na stan środowiska naturalnego oraz stan zdrowia ludzi naraŜonych na negatywne oddziaływanie infrastruktury transportowej, (2008), Agrotec i EVEKO

Ridder M. et. al., (2003), Halbzeitbewertung des Operationellen Programms Verkehrsinfrastruktur 2000-2006 für das Deutsche Zeil-1-Gebiet. MR, Gefra, IVM, Delmenhorst, Münster


47 | S t r o n a

Schnabel W., Lohse D., (1997), Grundlagen der Straßenverkehrstechnik und der Verkehrsplanung. Verlag für Bauwesen, Berlin

Strawiński P., (2008), Quasi-eksperymentalne metody ewaluacji”, w: „ Środowisko i warsztat ewaluacji”, PARP: Warszawa

White H., (2006), ‘Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank’, World Bank, Washington

Wolański M., Gil M., Pander W., (2008), Wpływ projektów dotyczących zakupu lub modernizacji pojazdów szynowych na osiągnięcie głównego celu poddziałania 1.1.2 tzn. poprawę warunków przejazdów pasaŜerów transportem kolejowym między aglomeracjami miejskimi i w aglomeracjach, CASE-Doradcy i EGO, Warszawa Wolański M. (2008), Potrzeba i moŜliwości ewaluacji projektów unijnych w zakresie modernizacji miejskiego transportu zbiorowego, „Transport Miejski i Regionalny”, s. 26 – 29.

Strony internetowe:

http://www.gddkia.gov.pl

http://www.whitehouse.gov/omb/expectmore/index.html

http://environment.transportation.org/environmental_issues/indirect_effects/

http://www.eea.europa.eu/themes/transport/indicators

http://www.gsdrc.org/go/topic-guides/monitoring-and-evaluation/impact-evaluation

http://interactive.cabinetoffice.gov.uk/strategy/survivalguide/skills/eb_counter.htm

http://web.worldbank.org/WBSITE/EXTERNAL/TOPICS/EXTPOVERTY/EXTISPMA/0,,menuPK:384339~pagePK:162100~piPK:159310~theSitePK:384329,00.html

http://www.funduszestrukturalne.gov.pl/NR/rdonlyres/8292BC86-7BE0-4D50-8F02-DEBECDCE56AF/49191/bazabadan171008.xls

Considering Cumulative Effects Under the National Environmental Policy Act http://ceq.hss.doe.gov/nepa/ccenepa/ccenepa.htm

Detailed Information on the Amtrak Assessment, http://www.whitehouse.gov/omb/expectmore/detail/10004000.2005.html#performancemeasures, dostęp w dniu 10.11.2008

Detailed Information on the Railroad Safety Program Assessment, http://www.whitehouse.gov/omb/expectmore/detail/10001127.2003.html, dostęp w dniu 10.11.2008

Detailed Information on the Federal Motor Carrier Safety Administration Grant Program Assessment, http://www.whitehouse.gov/omb/expectmore/detail/10000410.2008.html, dostęp w dniu 10.11.2008

Detailed Information on the Highway Infrastructure Assessment, http://www.whitehouse.gov/omb/expectmore/detail/10000412.2007.html, dostęp w dniu 10.11.2008


48 | S t r o n a

SSSSpis wykresów, tabel i mapis wykresów, tabel i mapis wykresów, tabel i mapis wykresów, tabel i mapppp

Mapa 1 Lokalizacja skrzyŜowań poddanych interwencji w ramach projektu „Przebudowa szczególnie niebezpiecznych skrzyŜowań na sieci dróg krajowych” ....................................................................... 23

Rysunek 1 Odsetek zatrudnionych po określonym czasie od udziału w programie aktywizacyjnym.. 12

Rysunek 2 Przykład „naiwnej” ewaluacji efektów programu ............................................................... 13 Rysunek 3 Istotność uwzględnienia w badaniach jednostek niebiorących udziału w ewaluowanym programie/projekcie (porównania sytuacji kontrfaktycznej do sytuacji badanej)................................. 14 Rysunek 4 Wypadkowość w Polsce w latach 1998-2007 ..................................................................... 30

Rysunek 5 Emisja gazów cieplarnianych z sektora transportu w krajach członkowskich EEA ........... 35

Rysunek 6 Zmiana emisji do powietrza z sektora transportu w krajach członkowskich EEA.............. 35

Rysunek 7 Emisja CO2 g/km z sektora transportu................................................................................ 36

Tabela 1 Przykład konstrukcji amerykańskiego wskaźnika, dotyczącego bezpieczeństwa ruchu drogowego – liczba ofiar śmiertelnych na 100 mln mil przebiegu pojazdów cięŜarowych i autobusów. Wyraźny brak analiz rozwoju wskaźnika w przypadku braku interwencji ........................................... 17 Tabela 2 Wyniki analiz dla 24 ewaluowanych skrzyŜowań oraz dla skrzyŜowań referencyjnych ....... 27 Tabela 3 Względny przyrost/spadek wypadkowości na badanych skrzyŜowaniach............................. 28

Tabela 4 Wartości składowych efektu netto.......................................................................................... 28 Tabela 5 Wartości składowych efektu netto.......................................................................................... 28 Tabela 6 Wartości składowych efektu netto (w jednostkach) ............................................................... 29

Tabela 7 Wartości składowych efektu netto (w przeliczeniu na osoby zabite)..................................... 30

Tabela 8 Składowe całościowego efektu netto interwencji (SkrzyŜowanie 1)...................................... 33

Tabela 9 Składowe całościowego efektu netto interwencji (SkrzyŜowanie 2)...................................... 33

Adaptacja metodologii pomiaru efektu netto interwencji ... · GGGłówne cele badania ... ramach...

Documents

Transcript of Adaptacja metodologii pomiaru efektu netto interwencji ... · GGGłówne cele badania ... ramach...