Warszawa, 19 lutego 2015 r. Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego w ramach EOG

Ewaluacja budżetów partycypacyjnych 

Rafał Rudnicki

2 

Plan pracy 

1.  Wstęp 2.  Przygotowanie do ewaluacji

•  Po co robić ewaluacje? •  Kto może przeprowadzić ewaluacje? •  Kiedy zacząć ewaluacje?

3. Przeprowadzenie ewaluacji •  Krok 1. Zrozumienie programu i jego celów •  Krok 2. Postawienie pytań badawczych •  Krok 3. Stworzenie wskaźników •  Krok 4. Przeprowadzenie badań

4. Konsumpcja wyników •  Co zrobić z wynikami badań?

3 

PRZYGOTOWANIE DO EWALUACJI 

4 

Po co robić ewaluację? 

•  Żeby pokazać efekt/wartość swojej pracy •  Żeby mieć pewność, że nasza praca ma sens •  Żeby przekonać innych, że BP ma sens 

•  Żeby wiedzieć jak prowadzić BP  •  Żeby dowiedzieć się, co warto w nim poprawić •  Żeby projekt był lepszy, bardziej skuteczny, efektywny •  Żeby się uczyć i rozwijać •  Żeby wszyscy uczestnicy byli z niego zadowoleni

…aby poprawić proces na przyszłość 

…aby zobaczyć czy osiągnęliśmy cele 

5 

Kto może przeprowadzić ewaluacje?  

1. Zewnętrzni eksperci 2. Osoby koordynujące projekt 3.  Miejscy aktywiści

4.  Zespół ewaluacyjny

6 

Kto może przeprowadzić ewaluacje? 

 

Zewnętrzny ewaluator 

Organizator procesu 

Uczestnik  procesu 

Dystans do procesu  Duży  Mały  Mały 

Doświadczenie w realizacji badań  Duża  Mała   Mała 

Znajomość lokalnego kontekstu procesu 

 Mała 

 Duża 

 Duża 

7 

ZESPÓŁ EWALUACYJNY 

  W skład  12‐osobowego Zespołu weszli: 

 Miejscy aktywiści   Przedstawiciele Urzędu Miasta  Przedstawiciele Rad Dzielnic i Miasta  Przedstawiciele mieszkańców Krakowa  Ewaluatorzy z Fundacji PBIS „Stocznia” 

  

8 

ZADANIA ZESPOŁU EWALUACYJNEGO   Zadania Zespołu Ewaluacyjnego: 

  Uzgodnienie oraz wybór kryteriów i pytań ewaluacyjnych. 

  Obserwacja, zbieranie informacji i bieżąca autoewaluacja realizowanych działań. 

  Nadzór nad realizowanymi badaniami ewaluacyjnymi 

  Interpretacja wyników badań.   Praca nad rekomendacjami na przyszłość. 

9 

BP

Ewaluacja

Początek Koniec

Planowanie ewaluacji

Zbieranie informacji

Koniec / podsumowanie

Kiedy rozpocząć ewaluacje? 

10 

Kiedy rozpocząć ewaluacje? ETAPY REALIZACJI BO

akcja  edukacyjna  i  kampania  promocyjna 

zgłaszanie przez mieszkańców propozycji

projektów

weryfikacja i opiniowanie propozycji projektów

głosowanie mieszkańców na projekty

DZIAŁANIA BADAWCZE

ogłoszenie projektów do realizacji

Warsztaty ewaluacyjne 

 z mieszkańcami 

Analiza

 danych zastanych: GUS, BO w innych m

iastach, dane z 

weryfikacji w

niosków, złożone

 projekty, dane z g

łosowania 

Obserwacja spotkań  

informacyjno‐ konsultacyjnych 

Badanie 

ankietow

e wnioskodawców 

Warsztat  Zespołu 

Ewaluacyjnego 

Warsztat  Zespołu 

Ewaluacyjnego 

Warsztat  Zespołu 

Ewaluacyjnego 

Warsztat  Zespołu 

Ewaluacyjnego 

Sondaż telefoniczny 

Wywiad grupowy z nieuczestniczącymi  Warsztaty 

ewaluacyjne  z mieszkańcami 

Ankiety z uczestnikami 

spotkań konsultacyjnych + sprawozdania moderatorów 

Warsztaty ewaluacyjne 

 z mieszkańcami 

11 

PRZYGOTOWANIE DO EWALUACJI 

12 

 Zrozumienie programu i jego celów. 

  

13 

Postawienie pytań badawczych 

Przykładowe pytania badawcze:    Jak ie  było  za interesowanie  mieszkańców 

z g ł a s z a n i e m  p r o j e k t ó w  d o  B u d ż e t u Partycypacyjnego? 

  Kto  zgłaszał  projekty?  Czy  grupa  ta  jest reprezentatywna? Kto w niej nie uczestniczył? 

  W jaki sposób powstawały projekty?   Jakie były przyczyny nie złożenia projektów?   Jakiego typu projekty zostały zgłoszone?   Jak  procedurę  składania  projektów  oceniają 

wnioskodawcy?  

14 

Stworzenie wskaźników 

   Określamy wskaźniki oraz kryteria oceny 

  Dobrze jest znaleźć zewnętrzne punkty odniesienia, które ułatwią nam ocenę naszego procesu i jego skuteczności 

  Przykład: 1.  Standardy procesów budżetów 

partycypacyjnych w Polsce (ocena organizacji procesu) 

2.  Podobne procesy realizowane w innych miejscach  (ocena rezultatów) 

15 

Ocena przebiegu  procesu 

Standardy minimalne BP  BO w Krakowie 

Wykorzystano różnorodne kanały komunikacyjne i formy materiałów informacyjnych 

Tak. W promocji wykorzystano reklamę zewnętrzną (plakaty, ulotki, billboardy, citylighty), prasę, Internet, ulotki. 

Do animowania dyskusji włączone zostały organizacje pozarządowe i rady pomocnicze gminy 

Tak. Spotkania prowadzili moderatorzy wywodzący się z NGO oraz radni dzielnic. 

Weryfikacja projektów ma wyłącznie charakter technicznie‐prawny  

Nie. W praktyce w weryfikacji stosowano również ocenę wartości projektu przez urzędnika 

16 

Ocena skutków realizacji 

Miasto Liczba złożonych 

wniosków 

Liczba złożonych wniosków na 10 tysięcy uprawnionych 

mieszkańców 

Łódź  871 12

Kraków 657 10

Wrocław 481 10

Gdańsk  180 5

Poznań  127 3

17 

Przykładowe wskaźniki 

  % mieszkańców deklarujących w badaniu ankietowym, dobrą znajomość procedur BP 

  % głosów nieważnych w głosowaniu   % projektów odrzuconych w trakcie weryfikacji ze względów formalnych 

Mieszkańcy znają procedury BP (wiedzą jak głosować, składać wnioski) 

Mieszkańcy angażują się w sprawy lokalne 

  Frekwencja wyborcza   Liczba organizacji pozarządowych   Liczba mieszkańców uczestniczących w konsultacjach społecznych   Liczba obywatelski projektów uchwały zgłoszonych do rady miasta 

18 

Jak przeprowadzić badanie ewaluacyjne? 

Metody   Ilościowe  odpowiadają  na pytania  o powszechność 

zjawisk: jak często? Ile? Np. sondaż telefoniczny z mieszkańcami, samowypełnialna ankieta dla uczestników spotkania na którym dyskutowane są projekty,  ankieta internetowa rozsyłana  wnioskodawcom.    

  Jakościowe  pozwalają na zrozumienie przyczyn zjawiska: dlaczego?  Warsztaty/wywiady indywidualne z różnymi grupami uczestniczącymi w projekcie (mieszkańcami, urzędnikami z miejskich jednostek, radnymi itp.) Obserwacje. Dużo nieoczywistych czasem zabawowych metod badania opinii. Zaletą jest też niski koszt realizacji. 

  Analiza danych zastanych 

19 

METODOLOGIA BADANIA 

Przykład zestaw metod badawczych:  

  Obserwacja spotkań informacyjno‐konsultacyjnych. 

  Otwarte warsztaty ewaluacyjne z mieszkańcami.   Analiza danych zastanych    Badanie ankietowe wnioskodawców   Wywiad grupowy z mieszkańcami nie uczestniczącymi w procesie BO   Sondaż telefoniczny z mieszkańcami 

20 

Analiza danych zastanych 

17% 

0% 

5% 

10% 

15% 

20% 

25% 

30% 

0  2  4  6  8  10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80 82 84 86 88 90 92 94 96 98 

Frekwencja w BO ze względu na wiek 

Frekwencja w  grupach wiekowych  Frekwencja w całej populacji 

48 lat

21 

Analiza danych zastanych 

Frekwencja Aktywność w składaniu wniosków

22 

Analiza danych zastanych 

Stare Miasto 

Grzegórzki 

Prądnik Czerwony 

Prądnik Biały 

Krowodrza 

Bronowice 

Zwierzyniec Dębniki 

Łagiewniki  ‐Borek Fałęcki 

Swoszowice 

Podgórze Duchackie 

Bieżanów Prokocim 

Podgórze 

Czyżyny 

Mistrzejowice 

Bieńczyce 

Wzgórza Krzęsławickie 

Nowa Huta 

0% 

2% 

4% 

6% 

8% 

10% 

12% 

14% 

16% 

18% 

20% 

0  2  4  6  8  10  12  14  16 

Frekwen

cja w dzielnicy 

Liczba wniosków dzielnicowych zgłoszonych na 10 tys. uprawnionych mieszkańców 

23 

Analiza danych zastanych 

 

21% 

78% 

1% 

Projekty odrzucone na etapie weryfikacji 

Projekty zweryfikowane pozytywnie 

Projekty wycofane przez wnioskodawce 

7 

9 

12 

19 

0  5  10  15  20 

Brak kalkulacji przewidywanych kosztów 

Projekt inwestycyjny 

Brak oświadczenia  właściciela na 

dysponowanie gruntem 

Przekroczenie kwoty przeznaczonej na BO w 

dzielnicy 

24 

Weryfikacja źródeł 

76% 83% 

69%  69%  70% 

84% 78% 

65% 

78% 84% 

0% 

10% 

20% 

30% 

40% 

50% 

60% 

70% 

80% 

90% 

100% 

Ogółem  Mężczyźni  Kobiety   15‐25 lat   25‐39 lat   40‐54 lat   55+  niższe niż średnie 

 średnie   wyższe 

Odsetek osób, które słyszały o BO w Gdyni 

Wszystkie osoby biorące udział w badaniu sondażowym (n=300) Źródło: sondaż przeprowadzony na reprezentatywnej próbie mieszkańców Gdyni

25 

Jakie metody można wykorzystać? Co mieszkańcom sprawiło trudność w trakcie tworzenia propozycji zadań (projektów)?   •  Wywiady z wnioskodawcami •  Wywiady z osobami oceniającymi wnioski •  Analiza uzasadnień odrzucenia wniosków na etapie weryfikacji 

W jakim stopniu mieszkańcy dzięki BP spotykają się i rozmawiają o lokalnych potrzebach?  

•  Analiza frekwencji na spotkaniach w dzielnicach •  Analiza sprawozdań moderatorów spotkań •  Obserwacja przebiegu spotkań w dzielnicach •  Monitoring prasy/Internetu pod kątem spotkań/dyskusji 

organizowanych przez organizacje społeczne •  Ankieta z mieszkańcami  

26 

KONSUMPCJA WYNIKÓW 

27 

Co zrobić z wynikami badania? 

  Jak wprowadzać zmiany?  Zmiana kursu – żaglówka czy tankowiec?  

  Kto jest „właścicielem” wniosków z badania? Materiał zewnętrzny czy wewnętrzny organizatora procesu? 

28 

Przykładowe wnioski i rekomendacje 

Duży udział projektów zweryfikowanych negatywnie wśród wszystkich zgłoszonych projektów  

  Większe wsparcie merytoryczne wnioskodawców przez UMK na wcześniejszych etapach procesu

Brak możliwości odwołania się od decyzji podjętych przez podmioty weryfikujące projekty 

  Wprowadzenie do przyjętego modelu BO mechanizmu odwołania od decyzji o odrzuceniu wniosku na etapie weryfikacji

Nieskuteczny kontakt urzędników z osobami, które zgłosiły wnioski w celu ich modyfikacji 

  Wprowadzenie możliwość składania wniosku przez grupę osób lub wpisania w formularz drugiej osoby do kontaktu po stronie wnioskodawcy

  Wydłużenie czasu na wprowadzenie zmian przez wnioskodawcę

Arbitralność weryfikacji dokonywanej przez miejskiej instytucje 

  Ścisłe przestrzeganie przez podmioty weryfikujące projekty określonych w regulaminie kryteriów oceny.

Brak przejrzystości procedury weryfikacji 

  Upublicznienie informacji, jaki podmiot zweryfikował projekt

Brak wiedzy o kryteriach weryfikacji dla część wnioskodawców  

  Umieszczenie na stronie internetowej kryteriów wraz z ich opisem

29 

PYTANIA I WĄTPLIWOŚCI 

30 

Film… 

hpps://www.youtube.com/watch?v=R7cbicqQSZo  

 

Dziękuję za uwagę! 

Rafał Rudnicki  Pracownia Badań i Innowacji Społecznych „Stocznia” rrudnicki@stocznia.org.pl