VIII KONFERENCJA EWALUACYJNA

REALIZACJA BADAŃ EWALUACYJNYCH W ŚWIETLE PRAWA ZAMÓWIEŃ PUBLICZNYCHBARTOSZ LEDZION

Realizacja badań ewaluacyjnych w świetle Prawa Zamówień Publicznych

Bartosz Ledzion: b.ledzion@evaluation.plEGO: www.evaluation.pl

3

Jaki jest związek procesu wyboru wykonawców z wykorzystaniem wyników badań

Jakość polityk publicznych

(trafność podejmowanych

decyzji)

Poziom wykorzystania badań

(w sensie poznawczym, użytkowym)

Jakość badań(wiarygodność,

dowód empiryczny)

Sprawność procedury selekcji i

wyłaniania wykonawców

Procedura zapewnia wybór zespołu badawczego posiadającego kompetencje w zakresie danego badania

4

> Przegląd orzecznictwa (KIO, TS) pozwala stwierdzić, że w judykaturze dopuszcza się stosowanie niemierzalnych (niewymiernych) kryteriów pod warunkiem ich zobiektywizowania

> Argumentu prawne:

> W orzeczeniach Krajowej Izby Odwoławczej

» Orzeczenie KIO 1280/09 „prawem zamawiającego jest ustalanie takich kryteriów wyboru oferty najkorzystniejszej, które jego zdaniem , w najlepszy sposób pozwolą wybrać urządzenie najlepiej odpowiadające jego wymaganiom ...”

» Orzeczenie KIO 1804/09 „kryterium jakość realizowanej usługi jest dopuszczalne w świetle art. 91 ust. 2 ustawy PZP

» Orzeczenie KIO 1168/10 odnosząca się do kryterium „Koncepcja wykonania usługi” Izba wyraziła pogląd iż „Wskazane w przepisie art. 91 ust. 2 Pzp kryteria oceny ofert są kryteriami przykładowymi, ... , zaś poza zakazem stosowania kryteriów , które mogą dotyczyć właściwości wykonawcy, brak jest innych zakazów”.

> W wyroku Trybunału Sprawiedliwości UE( C-448/01) według którego zamawiający dysponuje swobodą określania kryteriów pod warunkiem, że nie przyznają zamawiającemu prawa arbitralnego wyboru oferty

Jakie są uwarunkowania prawne zlecania badań ewaluacyjnych

5

> Polska praktyka oceny ofert opiera się na 1) niedopasowaniu prawa, jak i jego 2) wypaczonej interpretacji, co przejawia się w szczególności w:

>1) zakazie porównywania ofert wbrew logice faktycznego postępowania, zmuszając oceniających do przyjęcia nieformalnego punktu odniesienia , co prowadzi do oceny swobodnej, nieobiektywnej opartej na niewyartykułowanych nieformalnych miarach ... (zależnych od różnych kompetencji oceniających)

>2) sposobie formułowania kryteriów merytorycznych, często w sposób bardzo ustrukturyzowany, pozbawiając je mocy rzeczywistego rozstrzygania o wartości proponowanej koncepcji badawczej oraz metodologii. Takie podejście doprowadza do automatyzacji i uniwersalizacji tworzenia koncepcji badawczych ...

Jakie są uwarunkowania prawne zlecania badań ewaluacyjnych

6

> Jak wygląda proces logicznej oceny ...

>porównanie w czasie - pozwala ocenić postęp lub regres (zmianę) - brak zastosowania w PZP

>porównanie do wzorca - nasz przedmiot oceny przyrównujemy do ideału i mierzymy na ile odbiega lub jest bliski ideału – w przypadku PZP wymagałoby ustalenia i bardzo szczegółowego zdefiniowania jednego, modelowego podejścia do danego problemu badawczego

>porównanie do innych przedmiotów z ocenianej grupy – jest to ocena relatywna, gdyż zakłada, że nie ma jednego słusznego wzorca, jednej poprawnej odpowiedzi, ocena danego przedmiotu jest dokonywana w ramach grupy, porównujemy rzeczy między sobą, wynik zależy więc od składu grupy poddawanej ocenie, od tego jakie przedmioty porównujemy ze sobą - wydaje się, że jest to adekwatny sposób oceny ofert

Jakie są uwarunkowania prawne zlecania badań ewaluacyjnych

7

> W przypadku badań ewaluacyjnych mamy do czynienia z pozornie wysokim udziałem kryteriów merytorycznych, jednak ze względu na błędne stosowanie ich faktyczny udział w wyborze jest niższy i dominuje cena ...

Jak zlecamy badania w Polsce – jakie czynniki faktycznie wpływają na wybór wykonawcy

Źródło: Analiza zamówień publicznych w kontekście badań dla sektora publicznego, PTE, czerwiec 2011

8

> Kluczowe czynniki wpływające na rzeczywiste zmniejszenie udziału kryteriów merytorycznych w stosunku do kryterium cenowego:

> wysoki udział (od 6 do 20 na ok. 50 pkt jakościowych) kryteriów odnoszących się do organizacji procesu badawczego, za które w praktyce oferenci otrzymują podobną liczbę punktów (bo wszyscy przedstawiają w miarę poprawne: harmonogramy, sposób rozdysponowania pracy pomiędzy członków zespołu badawczego oraz sposób prezentacji wyników badania);

> powtarzające się i ustrukturyzowane kryteria jakościowe - sporo doświadczonych firm specjalizujących się badaniach ewaluacyjnych, posiadających wypracowane rozwiązania metodologiczne i organizacyjne) powoduje, że ostateczne różnice w punktacji za część merytoryczną pomiędzy oferentami nie są wysokie;

Jak zlecamy badania w Polsce – jakie czynniki faktycznie wpływają na wybór wykonawcy

9

> Ocena jakości kryteriów merytorycznych nie wypada pozytywnie, w ponad 80 % przeglądanych SIWZ pojawiały się następujące błędy:

> Brak wskazania czynnika oceniającego w kryteriach (np. zasadność, trafność, etc.), co w praktyce może oznaczać, że wystarczy, aby dany element (np. dobór próby czy model badania) znalazł się w ofercie, a nie musi już być sensowny z punktu widzenia realizacji celów badania;

> Jedno kryterium/podkryterium zawiera więcej niż jeden czynnik oceniający (np. trafność i spójność logiczna), co sprawia, że nie jest jasne, jak będzie rozkładała się punktacja - nie wiadomo ile punktów za trafność, a ile za spójność;

> Brak definicji jak rozumiemy jakość / trafność ...

> Brak rozdysponowania punktów pomiędzy poszczególne podkryteria (np. „do 45 pkt za metodykę i do 15 za organizację badania”),

> Powtarzają się kryteria, które dotyczą tej samej kwestii;

> Ocenianie elementów zawartych w SOPZ (np. strukturalizacji badania);

> W przypadku punktowania dodatkowych elementów (np. metody, pytania) brak wskazania liczby ocenianych elementów, co powoduje niepotrzebny rozrost ofert ...

> Ocenianie sposobu doboru próby bez zapewnienia danych odnośnie populacji badania.

Jak zlecamy badania w Polsce – jaka jest jakość kryteriów merytorycznych

10

Jak zlecane są badania zagranicą ?Dominujące

kryterium - cena

•Czechy•Hiszpania•Rumunia•Słowacja•Słowenia•Węgry

Kryterium jakości przeważa nad kryterium ceny

•Austria•Bułgaria•Dania•Estonia•Irlandia•Litwa•Niemcy

Dominujące kryterium - jakość

•Cypr•Finlandia•Grecja•Holandia•Portugalia•Szwecja•Wielka Brytania> Kraje które zdecydowały się na kryterium ceny jako dominujące przy wyborze ofert, mają

problemy z jakością dostarczanych im ewaluacji, a co za tym idzie z użytecznością ekspertyz. Poczynione oszczędności odbijają się negatywnie na poziomie kultury ewaluacyjnej danego kraju,

> Państwa o najdłuższej tradycji kultury ewaluacyjnej i największym doświadczeniu w prowadzeniu polityk publicznych opartych na dowodach wykorzystują kryteria jakościowe do oceny i wyboru wykonawców badań.

> W praktyce doświadczonych administracji kryteria jakościowe są sformułowane syntetycznie i nie są rozbijane na konkretne skale punktowe. Terminy takie jak np. „adekwatność metodyki badawczej”, „spójność koncepcji”, „jakość operacjonalizacji badania” są pozostawiane do interpretacji i oceny członkom komisji przetargowych.

>

11

> W instytucjach europejskich (np: KE) dominuje podejście do oceny ofert oparte na zdefiniowanych kryteriach jakościowych (zrozumienie przedmiotu badania, metodyka badania i organizacja badania),

> Cena ma marginalny wpływ na wybór,

> W kryteriach jakościowych zawsze stosowana jest forma „stopniowalna” (jakość, stopień zrozumienia „do ... pkt. „, takie podejście powoduje, że ocenia nie jest zautomatyzowana,

> W przypadku rozbieżności punktowych powoływani są dodatkowi eksperci,

> Częstą praktyką jest powoływanie do oceny grup zewnętrznych ekspertów,

Jak zlecane są badania ewaluacyjne zagranicą ?

12

Jak możemy ulepszyć stosowane kryteria ?

> Uwzględniając uwarunkowania prawne stosowania niemierzalnych kryteriów jakościowych należy zalecić, aby : >Kryteria były dopasowane do konkretnego badania, nie można

powtarzać jedno zestawu kryteriów do badań różnych typów i o różnym stopniu uszczegółowienia,

>Kryteria były dokładnie opisane przy pomocy szczegółowych podkryteriów,

>Poszczególnym kryteriom /podkryteriom przypisane były odpowiednie wagi,

>W opisie sposobu oceny ofert należy określić zasady przyznawania punktów poszczególnym ofertom w ramach kryteriów i podkryteriów, przy czym zalecana jest ich kwantyfikacja – filozofie kwantyfikowania kryteriów ...

13

> Filozofie kwantyfikowania kryteriów tj:

>zastosowanie widełek w formie „do … pkt” – wtedy kryterium powinno zawierać czynnik oceniający „stopień” (np. przydatności, spójności, etc.);

>stopniowanie, np. „za 2 dodatkowe trafne pytania – 1 pkt, za 3 – 2 pkt, za 4 – 3 pkt” – w tym przypadku kryterium również powinno mieć czynnik oceniający (np. przydatności, spójności, trafność etc.);

>punktowanie zerojedynkowe (na zasadzie „spełnia – nie spełnia”) – w tym przypadku kryterium powinno mieć formę „trafność”, „spójność” (np. „3 pkt – zidentyfikowano trafne potencjalne obszary ryzyka, mogące wystąpić w trakcie realizacji badania oraz środki je minimalizujące; 0 pkt – nie zidentyfikowano potencjalnych obszarów ryzyka i/lub środków je minimalizujących lub któreś ze zidentyfikowanych są nietrafne”).

Jak możemy ulepszyć stosowane kryteria ?