Ewaluacja systemu wyboru projektów w Programie Operacyjnym … · 2016-10-14 · 2 „Ewaluacja...

„Ewaluacja systemu wyboru projektów w Programie Operacyjnym Polska Wschodnia 2014-2020”

Raport powstał w ramach projektu współfinansowanego z Europejskiego Funduszu Rozwoju Regionalnego

Ewaluacja systemu wyboru projektów w

Programie Operacyjnym Polska Wschodnia 2014-

2020

Raport końcowy

Policy & Action Group Uniconsult sp. z o.o.

ul. Kierbedzia 4 , 00-728 Warszawa

[email protected] , www.pag-uniconsult.pl

imapp sp. z o.o.

ul. Rejtana 15/25, 02-516 Warszawa

[email protected], www.imapp.pl

Warszawa, czerwiec 2016

W imieniu Konsorcjum PAG Uniconsult Sp. z o.o. / imapp Sp. z o.o. Maciej Gajewski Kierownik Projektu


Spis treści

Streszczenie ........................................................................................................................................ 2

Summary .............................................................................................................................................. 4

Wykaz skrótów .................................................................................................................................. 6

1 Wprowadzenie ........................................................................................................................... 7

2 Koncepcja i metodologia badania ....................................................................................... 7

Cel ewaluacji .............................................................................................................................................. 7

Przedmiot ewaluacji ............................................................................................................................... 7

Zagadnienia badawcze ....................................................................................................................... 12

Podejście i metody badawcze .......................................................................................................... 13

3 Ustalenia i wnioski badawcze, dotyczące systemu wyboru projektów

w działaniach / poddziałaniach I OP .............................................................................. 15

4 Ustalenia i wnioski badawcze, dotyczące kryteriów oceny projektów

w zakresie logiki interwencji ............................................................................................ 28

5 Ustalenia i wnioski badawcze, dotyczące kryteriów oceny projektów

w zakresie ich trafności i użyteczności .......................................................................... 34

6 Ustalenia i wnioski badawcze, dotyczące technicznych aspektów budowy

kryteriów i dostosowania kryteriów do etapów procedury oceny ...................... 41

7 Szczegółowe wnioski z analizy systemu wyboru projektów .................................. 47

8 Wnioski i rekomendacje ..................................................................................................... 98

9 Spis tabel i rysunków ........................................................................................................... 99

10 Bibliografia ............................................................................................................................ 100

11 Kryteria wyboru projektów dla poszczególnych działań /poddziałań ............ 101

2


Streszczenie

Niniejszy raport końcowy przedstawia wyniki badania ewaluacyjnego, dotyczącego systemu

wyboru i kryteriów oceny projektów w I Osi Priorytetowej Programu Operacyjnego Polska

Wschodnia, 2014-2020 (POPW; Program).

Badanie zostało zrealizowane przez konsorcjum firm doradczych PAG Uniconsult Sp. z o.o.

oraz imapp Sp. z o.o. na zamówienie Ministerstwa Infrastruktury i Rozwoju w okresie od

sierpnia 2015 roku do czerwca 2016 roku. Celem badania była ocena systemu wyboru

projektów, w tym kryteriów wyboru, przewidzianych w działaniach/poddziałaniach I Osi

Priorytetowej POPW pn. Przedsiębiorcza Polska Wschodnia.

W badaniu wykorzystano różne źródła informacji. Były to źródła zastane (czerpane z analizy

dokumentacji Programu, innych ewaluacji, aktów prawnych i literatury), jak i informacje

empiryczne, pochodzące z indywidualnych wywiadów pogłębionych. Wywiady te

przeprowadzono z przedstawicielami partnerów społecznych i samorządowych - członków

Komitetu Monitorującego POPW oraz członkami komisji oceniających projekty, w tym

ekspertami dokonującymi oceny w ramach paneli eksperckich. Źródłem informacji były

również spotkania (o charakterze warsztatowym) z przedstawicielami Instytucji Zarządzającej

(Ministerstwo Rozwoju) i Instytucji Pośredniczącej (Polska Agencja Rozwoju

Przedsiębiorczości).

W toku badania przeprowadzono analizy systemu wyboru projektów, w tym kryteriów dla

poszczególnych działań / poddziałań I Osi Priorytetowej POPW1.

Przeprowadzone analizy oraz sformułowane w ich ramach wnioski i rekomendacje

wykorzystano w niniejszym raporcie jako główne źródła informacji. Ponadto, raport

uzupełniają ustalenia badawcze o charakterze horyzontalnym, a więc odnoszące się do całej I

Osi Priorytetowej.

W raporcie udzielono odpowiedzi na pytania badawcze oraz przedstawiono wszystkie

wnioski i rekomendacje. Do najważniejszych wniosków i rekomendacji można zaliczyć

następujące:

• System oceny i kryteriów oceny wniosków został co do zasady zaprojektowany

prawidłowo, z zachowaniem odpowiednich reguł i wymogów, związanych z

obowiązującymi przepisami prawa.

• W przypadku niektórych działań POPW, kryteria oceny projektów warto

doprecyzować i dokładniej wyjaśnić ich istotę, aby nie stwarzały one istotnych

problemów w trakcie oceny. Analogicznie, warto bardziej szczegółowo i przejrzyście

opisać wybrane wymogi, na przykład dotyczące trybu wyboru zewnętrznych

wykonawców w ramach Działania 1.2 i 1.4 - etap I.

1 Szczegółowe wnioski z analiz znajdują się w rozdziale 7 niniejszego raportu.

3


• W przypadku niektórych działań należy rozważyć wprowadzenie mechanizmu

preselekcji, ograniczającego liczbę wniosków ocenianych w formie panelu ekspertów.

• W celu przyśpieszenia procedury oceny należy upowszechniać wysyłanie wniosków o

uzupełnienia/wyjaśnienia w formie elektronicznej, jednakże z zachowaniem zasady

weryfikacji dostarczenia wiadomości do adresata.

4


Summary

This final report presents the results of the evaluation study, concerning the system of

selection and evaluation criteria for projects in I Priority Axis Operational Programme

Eastern Poland, 2014-2020 (POPW; Program).

The evaluation was conducted by a consortium of consulting firms PAG Uniconsult Ltd. and

imapp Ltd. on request of the Ministry of Infrastructure and Development in the period from

August 2015 until June 2016.. The aim of the study was to evaluate the project selection

system, including the selection criteria provided for in measures / sub-measures of 1st

Priority Axis POPW ‘Entrepreneurial Eastern Poland’. The study used various sources of

information. They included desk research (derived from the analysis of the Program

documents, other evaluations, legislation and literature), as well as empirical information

derived from in-depth interviews. These interviews were conducted with representatives of

the social partners and local and regional government - members of the Monitoring

Committee POPW and members of the expert panels evaluating the projects applications.

The sources of information included also meetings with representatives of the Managing

Authority (Ministry of Economic Development) and the Intermediate Body (Polish Agency for

Enterprise Development).

In the course of the study were undertaken analyses of projects' selection system, including

selection criteria for individual measures / sub-measures of 1st Priority Axis of POPW2.

The analyses and formulated conclusions and recommendations were used in the present

report as the main source of information. Moreover, the report is supplemented with other

research findings of horizontal scope, that is referring to the whole 1st Priority Axis.

The report answers the research questions and presents all conclusions and accompanying

recommendations.

The most important conclusions and recommendations include the following:

• The assessment and evaluation criteria are as a rule designed properly, with

appropriate rules and requirements respecting the applicable laws.

• In the case of certain measures and criteria they should be explained in detail in

order not to present significant problems during the applications assessment.

Similarly, it would be beneficial to describe more specifically and transparently the

selected requirements, for example relating to the selection mode of external

contractors under Measure 1.2 and 1.4 - Stage I.

• For some actions should be considered usage of the pre-selection mechanism,

limiting the number of applications examined in a panel of experts.

2 Detailed conclusions are presented in chapter 7 of the present report.

5


• In order to accelerate the assessment procedure electronic way of sending requests

to supplement / explain certain aspects of application should be used, however, the

principle of verification of successful delivery of the electronic message to the

recipient, should be respected.

6


Wykaz skrótów

Skrót Rozwinięcie

EFSI Europejskie Fundusze Strukturalne i Inwestycyjne

KOP Komisja Oceny Projektów

IP Instytucja Pośrednicząca

MŚP Małe i średnie przedsiębiorstwa

NCBiR Narodowe Centrum Badań i Rozwoju

IZ Instytucja Zarządzająca (Ministerstwo Rozwoju)

OP Oś Priorytetowa

IP / PARP Instytucja Pośrednicząca / Polska Agencja Rozwoju

Przedsiębiorczości

POPW Program Operacyjny Polska Wschodnia 2014-2020

7


1 Wprowadzenie

Niniejszy dokument jest raportem końcowym z realizacji badania pt. Ewaluacja systemu

wyboru projektów w Programie Operacyjnym Polska Wschodnia 2014-2020 (POPW lub

Program), wykonanego przez konsorcjum firm doradczych PAG Uniconsult Sp. z o.o. oraz

imapp Sp. z o.o. (Wykonawca) na zamówienie Ministerstwa Infrastruktury i Rozwoju

(Zamawiający)3.

Zasadniczą część raportu stanowią ustalenia końcowe, wnioski i rekomendacje,

sformułowane odpowiednio do celu ewaluacji i jej przedmiotu, z odpowiednim

wykorzystaniem przeprowadzonych w toku badania analiz na temat systemu wyboru i

kryteriów oceny poszczególnych działań / poddziałań, stanowiących przedmiot badania.

Poza tym, w raporcie przedstawiono streszczenie koncepcji i metodologii badawczej oraz

zwięzły opis logiki interwencji ewaluowanych działań / poddziałań Programu. Raport

uzupełniają załączniki.

2 Koncepcja i metodologia badania4

Cel ewaluacji

Celem przeprowadzonego badania ewaluacyjnego była ocena systemu wyboru projektów,

w tym kryteriów wyboru, przewidzianych w działaniach (odpowiednio, w poddziałaniach) I

Osi Priorytetowej POPW5 pn. Przedsiębiorcza Polska Wschodnia.

Przedmiot ewaluacji

W niniejszym badaniu, zgodnie z Opisem Przedmiotu Zamówienia, ewaluacja systemu

wyboru i oceny projektów objęła ocenę6:

•••• organizacji konkursów, w tym:

− dostępność informacji o konkursach;

− czytelność i kompletność ogłoszenia o konkursach (warunki udziału, wymagane

dokumenty, regulamin lub inne podobne dokumenty ustalające warunki

konkursu);

− sprawność i skuteczność przeprowadzania konkursów (czasu trwania konkursu,

przewidzianej kwoty alokacji środków w konkursie, organizacji oraz

wykorzystania potencjału administracyjnego instytucji organizującej konkurs);

•••• organizacji procesu oceny projektów, w tym:

3 Obecnie Ministerstwo Rozwoju.

4 W niniejszym rozdziale przedstawiamy zwięźle główne elementy koncepcji i metodologii badania. Szerzej,

podejście badawcze (koncepcja i metodologia badania) prezentuje raport metodologiczny, opracowany i uzgodniony z Zamawiającym na początkowym etapie badania (Raport metodologiczny, sierpień 2015 r.). 5 Opis Przedmiotu Zamówienia (OPZ), s. 2.

6 OPZ, s. 2-3.

8


− przejrzystość i jednoznaczność oceny projektów (list sprawdzających, ocen

projektów, terminów na uzupełnienie braków wynikających z wymogów

formalnych);

− transparentność oraz bezstronność systemu oceny i wyboru projektów (list

rankingowych oraz protokołów z oceny);

− kompletność, spójność oraz niezawodność systemu wyboru projektów

(prawdopodobieństwo wykluczenia projektu, który w mniejszym niż inne

projekty stopniu realizuje cele Programu);

− zdolność systemu do wyboru projektów innowacyjnych w ramach I Osi

Priorytetowej Programu;

− funkcjonalność i wydajność systemu informatycznego wspierającego konkursy w

instytucji je ogłaszającej.

W Programie we wszystkich działaniach / poddziałaniach I OP przewidziano konkursowy tryb

wyboru projektów. Ewaluacją objęto następujące interwencje POPW (Tabela 1).

Tabela 1. Przedmiot ewaluacji - działania / podziałania I OP POPW

Numer i nazwa działania / poddziałania

Dz. 1.1

Platformy startowe dla nowych pomysłów

Pdz. 1.1.1 Platformy startowe dla nowych pomysłów

Pdz. 1.1.2 Rozwój startupów w Polsce Wschodniej

Dz. 1.2 Internacjonalizacja MŚP

Dz. 1.3

Ponadregionalne powiązania kooperacyjne

Pdz. 1.3.1 Wdrażanie innowacji przez MŚP

Pdz. 1.3.2 Tworzenie sieciowych produktów przez MŚP

Dz. 1.4 Wzór na konkurencję

Poniżej przedstawiono zwięzłą charakterystykę ewaluowanych działań I OP POPW.

1) Działanie 1.1 POPW tworzy instrument interwencji, będący kompleksowym

programem akceleracji innowacyjnych przedsięwzięć gospodarczych w Polsce

Wschodniej, podejmowanych przez młodych ludzi (do 35 roku życia) - zawiązujących

w tym celu spółki kapitałowe. Poddziałanie 1.1.1 służy wsparciu budowy i

funkcjonowania tzw. platform startowych, świadczących pomoc doradczą dla

pomysłodawców, planujących wprowadzić innowacyjne produkty (wyroby / usługi)

na rynek. Pomoc obejmuje szeroki wachlarz wsparcia, poczynając od weryfikacji

pomysłów, poprzez prace niezbędne do rozwoju nowego pomysłu biznesowego - od

testowania i weryfikacji koncepcji danego przedsięwzięcia, aż po przygotowanie

modelu biznesowego, w tym powołanie przedsiębiorstwa (spółki kapitałowej).

Wypracowane przez pomysłodawców przy wsparciu platform przedsięwzięcia

biznesowe uzyskują możliwość pozyskania wsparcia na wprowadzenie

wypracowanych pomysłów do praktyki rynkowej, przy wykorzystaniu dotacji

9


przewidzianych w Poddziałaniu 1.1.2 POPW. W sumie, Działanie 1.1 tworzy logiczną

ścieżkę rozwojową, obejmującą wsparcie od pomysłu, aż do jego wprowadzenia na

rynek.

Rysunek 1. Model logiczny interwencji w Działaniu 1.1 POPW (Poddziałania 1.1.1 i 1.1.2)

Opracowanie własne.

2) Działanie 1.2 POPW to instrument interwencji wspierający miko, małe i średnie

przedsiębiorstwa z Polski Wschodniej we wprowadzaniu ich produktów na rynki

zagraniczne. W ramach tego Działania wsparcie ma charakter dwuetapowy.

Rysunek 2. Model logiczny interwencji w Działaniu 1.2 POPW (etap 1 i 2)


Pomysłodawcy ... koncepcje ... ... pomysły ...

Uruchomione platformy

startowe dla innowacyjnych

pomysłów

Wsparcie dla platform startowych - Pdz. 1.1.1

Opracowa-ne modele biznesowe

dla startupów

Rozwój startupów w

Polsce Wschodniej

Cel funkcjonowania

platform

inn

ow

acyj

no

ść i

wzr

ost

go

spo

dar

czy

w

Po

lsce

Wsc

ho

dn

iej

Wsparcie dla startupów - Pdz. 1.1.2

Mikro, mali i średni przedsiębiorcy z

makroregionu Polski Wschodniej

planujący rozwój działalności w skali międzynarodowej

Usługi doradcze prowadzące do wypracowania

nowego modelu biznesowego,

zapewniającego internacjonalizację działalności firmy

Działanie 1.2 Etap 1

Opracowany i zaakceptowany

przez PARP model biznesowy

internacjonalizacji działalności firmy

- wskazania wdrożeniowe

Wsparcie działań (zakupu usług doradczych,

oprogramowania, finansowanie

udziału w zagranicznych

targach, wystawach lub misjach

handlowych) określonych w

modelu biznesowym internacjonalizacji

firmy


Wzr

ost

akt

ywn

ośc

i MŚP

z P

ols

ki W

sch

od

nie

j na

ryn

kach

zagr

anic

znyc

h, w

zro

st w

olu

men

u e

ksp

ort

u, w

zro

st in

no

wac

yjn

ośc

i

i ko

nku

ren

cyjn

ośc

i

10


W pierwszym etapie beneficjent pozyskać może usługi doradcze, dotyczące

opracowania nowego modelu biznesowego, uwzględniającego internacjonalizację

jego działalności. Natomiast drugi etap wsparcia polega na dofinansowaniu usług

doradczych oraz zakupu wartości niematerialnych i prawnych, pozwalających na

przygotowanie do wdrożenia modelu biznesowego opracowanego w pierwszym

etapie. W ramach tego etapu możliwe jest również uzyskanie dofinansowania na

udział w targach, wystawach lub misjach gospodarczych za granicą - w zakresie

wynikającym z opracowanego modelu biznesowego internacjonalizacji.

3) Działanie 1.3 POPW obejmuje dofinansowanie dwóch rodzajów projektów, w obu

przypadkach ukierunkowanych na zwiększanie aktywności innowacyjnej istniejących

przedsiębiorstw.

− w Poddziałaniu 1.3.1 wsparcie przeznaczone jest na finansowanie procesów

wdrażania wyników prac badawczo-rozwojowych, wypracowanych samodzielnie

lub nabywanych od innych podmiotów, zapewniających stworzenie nowych lub

ulepszonych innowacyjnych produktów.

− Poddziałanie 1.3.2 dotyczy wsparcia konsorcjów MŚP w zakresie tworzenia i

rozwoju produktów sieciowych z wykorzystaniem istniejącego potencjału i

walorów makroregionu Polski Wschodniej.

Rysunek 3. Model logiczny interwencji w Poddziałaniu 1.3.1 POPW


Powiązania kooperacyjne i ich

uczestnicy, rozwijający lub

zamierzający rozwijać działalność

innowacyjną

Istniejące powiązania kooperacyjne, oparte

na współpracy przedsiębiorstw w

ramach różnych łańcuchów wartości

Poddziałanie 1.3.1

Wsparcie prowadzące do tworzenia i wprowadzania na rynek innowacyjnych w skali

kraju produktów i usług, poprzez wykorzystanie

nabywanych lub własnych wyników działalności B+R

Wzr

ost

inn

ow

acyj

no

ści M

ŚP z

mak

rore

gio

nu

Po

lski

Wsc

ho

dn

iej,

sku

tku

jący

wzr

ost

em ic

h

kon

kure

ncy

jno

ści.

Ro

zwó

j / u

trw

alen

ie z

wią

zkó

w

wsp

ółp

racy

po

mię

dzy

prz

edsi

ębio

rcam

i.

11


Rysunek 4. Model logiczny interwencji w Poddziałaniu 1.3.2 POPW


4) Działanie 1.4 POPW zaplanowano jako instrument wspierania działalności wzorniczej

przedsiębiorstw, prowadzącej do wprowadzenia na rynek produktów,

wykorzystujących nowe projekty wzornicze. Wsparcie ma charakter dwuetapowy. W

ramach pierwszego etapu finansowane są audyty wzornicze, prowadzące do

opracowania strategii wzorniczej. Natomiast, w etapie drugim istnieje możliwość

pozyskania dofinansowania na wdrożenie opracowanej strategii wzorniczej

(dofinansowanie usług doradczych oraz - w przypadku, gdy przedsięwzięcie dotyczy

innowacji produktowych - dofinansowanie zakupu środków trwałych i wartości

niematerialnych i prawnych).

Rysunek 5. Model logiczny interwencji w Działaniu 1.4 POPW (etap 1 i 2)


Biorąc pod uwagę wielkość udostępnianego w I OP POPW wsparcia, należy zaznaczyć, że

udział tej Osi w całkowitej wielkości alokacji Programu wynosi ok. 36%. Natomiast w

strukturze alokacji I OP POPW największą wartość wsparcia zaprogramowano w Działaniu 1.3

Potencjał makroregionu do

tworzenia i rozwoju

innowacyjnych produktów sieciowych

Sformowanie konsorcjów MŚP, niezbędnych do

zaprojektowania i wdrożenia sieciowych

produktów o ponadregionalnym

zasięgu

Wsparcie, umożliwiające stworzenie i

urynkowienie oferty produktów sieciowych

(inwestycje w infrastrukturę produktów

sieciowych, rozwój aplikacji ICT, wdrożenie

standardów dla funkcjonowania i

promocji produktu)

Poddziałanie 1.3.2

Ro

zwó

j dzi

ałal

no

ści g

osp

od

arcz

ej M

ŚP i

wzr

ost

kon

kure

ncy

jno

ści,

op

arte

na

inte

grac

ji (w

spó

łpra

cy)

prz

edsi

ębio

rstw

w r

amac

h k

on

sorc

jów

. Akt

ywiz

acja

spo

łecz

no

-zaw

od

ow

a n

a o

bsz

arac

h w

iejs

kich

.

Przedsiębiorcy planujący

udoskonalenie swoich produktów i

usług i/lub procesów zarządzania

wzornictwem w firmie

Przeprowadzone audyty wzornicze


Opracowana i zaakceptowana

przez PARP strategia

wzornicza

Realizacja strategii

wzorniczej (wsparcie

inwestycyjne i doradcze)


Zwię

ksze

nie

po

ten

cjał

u p

rze

dsi

ębio

rstw

w z

akre

sie

um

ieję

tneg

o z

arzą

dza

nia

wzo

rnic

twem

ora

z w

zro

st

wyk

orz

ysty

wan

ia w

zorn

ictw

a, p

ow

od

ują

ce w

zro

st

inn

ow

acyj

no

ści i

ko

nku

ren

cyjn

ośc

i.

12


(36%), a następnie w Działaniu 1.1 (28%). Nieco mniejsze nakłady przewidziano na

interwencję wynikającą z działań 1.4 i 1.2 (odpowiednio 20% i 16%).

Zagadnienia badawcze

Zasadniczą część raportu stanowią ustalenia badawcze, wnioski i rekomendacje, wynikające z

przeprowadzonego badania systemu wyboru i oceny projektów w działaniach /

poddziałaniach I OP POPW.

Ustalenia i wnioski z badania prezentowane są w raporcie w przekroju poszczególnych pytań

badawczych, wskazanych przez Zamawiającego w Opisie Przedmiotu Zamówienia7. W celu

zapewnienia odpowiedniej przejrzystości raportu, dokonano grupowania pytań badawczych,

wyróżniając następujące grupy:

•••• dotyczącą systemu wyboru projektów (pytania badawcze nr 1-5 - dotyczące systemu)

- rozdział 3 raportu;

•••• dotyczącą oceny kryteriów wyboru projektów z punktu widzenia dopasowania do

logiki interwencji I OP POPW (pytania badawcze nr 1, 4, 5 i 11 - dotyczące kryteriów

oceny projektów) - rozdział 4 raportu;

•••• dotyczącą oceny kryteriów wyboru projektów z punktu widzenia ich trafności i

użyteczności (pytania badawcze nr 6-8 i 10 - dotyczące kryteriów oceny projektów) -

rozdział 5 raportu, oraz

•••• dotyczącą oceny technicznych aspektów budowy kryteriów wyboru projektów

(pytania badawcze nr 2 i 3 - dotyczące kryteriów oceny projektów) oraz ocena

dostosowania kryteriów do poszczególnych etapów oceny (pytanie badawcze nr 9 -

dotyczące kryteriów oceny projektów) - rozdział 6 raportu.

W przypadku ww. grup pytań, odpowiedzi na poszczególne pytania stanową efekt analiz

eksperckich, dokonywanych na podstawie informacji czerpanych ze źródłowych materiałów

badania, pochodzących zarówno ze źródeł zastanych, jak i wywołanych (pozyskanych dzięki

wykorzystanym w ewaluacji narzędziom badawczym), a także z odpowiednim odwołaniem

się do wniosków i rekomendacji sformułowanych w rozdziale 8 raportu.

Odpowiedzi na poszczególne pytania badawcze, co do zasady, sformułowane zostały w

odniesieniu do poziomu całej I OP Programu, z uwzględnieniem (jeśli takie zidentyfikowano)

odrębności, wynikających z rozwiązań charakterystycznych dla działań / poddziałań

Programu.

Natomiast, kwestie szczegółowe, występujące jednostkowo lub związane ze specyfiką

danego działania / poddziałania zostały uwzględnione w rozdziale 7 raportu, dotyczącym

szczegółowych analiz w zakresie systemu wyboru projektów, w tym kryteriów.

7 OPZ, s. 3-4.

13


Podejście i metody badawcze

Ewaluacja realizowana była etapowo. Etap pierwszy objął prace przygotowawcze, które

posłużyły do zgromadzenia i przeanalizowania informacji, dotyczących logiki interwencji

poszczególnych działań / poddziałań I OP POPW oraz systemu wyboru i oceny projektów (w

praktyce, analizy te realizowane były przez cały okres badania). Natomiast w ramach etapu

drugiego dokonano właściwej ewaluacji, w ramach której oceniano konkretne rozwiązania

systemu wyboru i oceny projektów w badanych działaniach / poddziałaniach, korzystając w

tym celu z wyników analiz źródeł zastanych, jak i informacji pozyskiwanych z indywidualnych

wywiadów pogłębionych.

Tabela 2. Zastosowanie metod badawczych

Metody badawcze Prace

przygotowawcze Ewaluacja właściwa

Analiza danych zastanych: dokumentacja programowa i konkursowa (kryteria oceny i system wyboru projektów) √ √

Analiza danych zastanych: dokumentacja aplikacyjna (wybrane wnioski o dofinansowanie) √

Warsztaty z przedstawicielami IZ/IP √

Wywiady indywidualne pogłębione (IDI) z partnerami społecznymi i samorządowymi, będącymi członkami Komitetu Monitorującego POPW

√

Wywiady indywidualne pogłębione (IDI) z członkami komisji oceniających projekty i paneli eksperckich √

Legenda:

√ Metoda stosowana Metoda nie stosowana

W ewaluacji, zgodnie z OPZ, zobowiązaniami wynikającymi z oferty Wykonawcy, a także

zgodnie z ostatecznymi uzgodnieniami z Zamawiającym, podjętymi na etapie raportu

metodologicznego, wykorzystane zostały trzy metody badawcze, tj.:

•••• Badanie dokumentów zastanych, obejmujące analizę informacji zawartych w

dokumentach programowych (Program), dokumentach ogólnych, określających

uwarunkowania wdrażania funduszy strukturalnych Unii Europejskiej, dokumentacji

kształtującej system wyboru projektów POPW, dokumentacji obrazującej wyniki

konkursów oraz informacji zawartych w innych dokumentach / badaniach

ewaluacyjnych, pozostających przedmiotowo w związku z niniejszym badaniem,

•••• Spotkania warsztatowe z osobami reprezentującymi tzw. perspektywę systemową

przedmiotu ewaluacji, tj. z przedstawicielami instytucji odpowiedzialnych za

zarządzanie i wdrażanie I osi priorytetowej POPW8 - głównie w zakresie odtworzenia

8 Pracownicy IZ (Departament Programów Ponadregionalnych MR) oraz odpowiednie departamenty IP (Polskiej

Agencji Rozwoju Przedsiębiorczości).

14


logiki interwencji działań / poddziałań I OP POPW oraz identyfikacji pożytecznych

doświadczeń (dobrych praktyk) z wdrażania wsparcia w poprzedniej perspektywie

funduszy strukturalnych w Polsce (2007-2013),

•••• Indywidualne wywiady pogłębione, zrealizowane z przedstawicielami komisji

oceniających projekty i paneli eksperckich oraz z osobami reprezentującymi

partnerów społecznych i samorządowych w Komitecie Monitorującym POPW.

Wywiady indywidualne posłużyły do oceny zrozumiałości, adekwatność, spójności i

użyteczność kryteriów wyboru w stosunku do zakresu i logiki interwencji, jak również

służyły ocenie sprawności i skuteczności działania systemu wyboru projektów w

analizowanych działaniach i poddziałaniach - w zakresie wyznaczonym pytaniami

badawczymi. W przypadku wywiadów z uczestnikami komisji oceniających projekty

(w tym członkami paneli ekspertów), przedmiot wywiadów stanowiły dodatkowo

kwestie / wnioski płynące z doświadczeń z pierwszych konkursów zrealizowanych w

działaniach / poddziałaniach I OP, identyfikacja skutecznych i nieskutecznych

(wadliwych) rozwiązań oraz ogólna, ekspercka ocena przygotowania i realizacji

procesu naboru projektów.

Szczegółowy rozkład wywiadów indywidualnych w badaniu przedstawia Tabela 3.

Tabela 3. Lista indywidualnych wywiadów pogłębionych (IDI)

Respondenci wywiadów

Okres realizacji wywiadów Liczba wywiadów

Partnerzy społeczni i samorządowi POPW

(Komitet Monitorujący)

Po zatwierdzeniu kryteriów wyboru projektów we wszystkich działaniach / poddziałaniach osi I POPW 2014-2020

(wywiady dotyczące całej osi priorytetowej).

6 x IDI

(w tym 2 osoby reprezentujące partnerów samorządowych9)

Przedstawiciele komisji oceniających

projekty i paneli ekspertów

Działania / poddziałania, w przypadku których w okresie ewaluacji zakończono pierwsze konkursy o dofinansowanie10

4 x IDI

(Pdz. 1.1.1)11

7 x IDI

(Pdz. 1.3.1)

7 x IDI

(Dz. 1.4)12

Razem 24 x IDI

9 Samorządu regionalnego (woj. warmińsko-mazurskie i lubelskie).

10 Zakończono ocenę projektów w ramach przeprowadzonego pierwszego naboru.

11 W tym wywiad dodatkowy (ponad wielkość określoną w raporcie metodologicznym) z przedstawicielem

PARP - zastępcą sekretarza Komisji Oceny Projektów w Poddziałaniu 1.1.1 POPW. 12

W tym wywiad dodatkowy (ponad wielkość określoną w raporcie metodologicznym) z przedstawicielem PARP (Departament Wsparcia Działalności Badawczo-Rozwojowej).

15


3 Ustalenia i wnioski badawcze, dotyczące systemu wyboru

projektów w działaniach / poddziałaniach I OP

Niniejszy rozdział raportu odpowiada na pytania badawcze dotyczące systemu wyboru

projektów zastosowanego w ramach OP I POPW. W jego pierwszej części koncentrujemy się

na ocenie informacji o konkursach, w tym m.in. ich zrozumiałości i jednoznaczności oraz

sposobie dotarcia z nimi do potencjalnych wnioskodawców. Następnie, omawiając przebieg

procesu wyboru i oceny projektów, przedstawiamy ustalenia dotyczące potencjału

administracyjnego instytucji organizującej konkurs i ocenę projektów, pod kątem jego

adekwatności do przeprowadzenia tego procesu. Na zakończenie podsumowujemy i

wskazujemy na obszary, w których zidentyfikowaliśmy potencjał do wprowadzenia zmian,

odnosząc się – tam gdzie to zasadne i możliwe – do doświadczeń z perspektywy 2007-2013.

Organizacja konkursów i informacja o konkursach

Pytania badawcze

�� Czy sposób dotarcia do potencjalnych wnioskodawców z informacją o konkursach jest skuteczny? [pyt. 1, dotyczące systemu]

�� Czy informacje o konkursach sformułowano w sposób zrozumiały, jednoznaczny, precyzyjny i kompletny? [pyt. 2, dotyczące systemu]

W okresie objętym niniejszą ewaluacją uruchomiono nabory w ramach 7 działań i poddziałań

OP I POPW 2014-2020. W przypadku każdego z konkursów – zgodnie z wymogami

określonymi w ustawie wdrożeniowej13 – informacja o poszczególnych naborach ogłoszona

została z co najmniej miesięcznym wyprzedzeniem w stosunku do daty rozpoczęcia każdego z

nich. Informacja o konkursach umieszczona została na podstronie Instytucji Pośredniczącej

(IP, Polska Agencja Rozwoju Przedsiębiorczości) poświęconej Programowi Polska Wschodnia

(popw.parp.gov.pl) oraz na stronie POPW (www.polskawschodnia.gov.pl). Zgodnie z art. 40

ustawy wdrożeniowej, ogłoszenia o planowanych naborach zawierały:

1) nazwę i adres instytucji odpowiedzialnej za przeprowadzenie naboru,

2) określenie przedmiotu konkursu, w tym typów projektów podlegających

dofinansowaniu,

3) określenie kwoty przeznaczonej na dofinansowanie projektów w konkursie,

4) określenie maksymalnego dopuszczalnego poziomu dofinansowania projektu lub

maksymalnej dopuszczalnej kwoty dofinansowania projektu,

5) określenie terminu, miejsca i formy składania wniosków o dofinansowanie projektu,

6) określenie sposobu i miejsca udostępnienia regulaminu konkursu.

13

Ustawa z dnia 11 lipca 2014 r. o zasadach realizacji programów w zakresie polityki spójności finansowanych w perspektywie finansowej 2014–2020, (t.j. Dz. U. z 2016 r. poz. 217).

16


Dodatkowo, na stronach dedykowanych poszczególnym naborom przedstawiono informacje

dotyczące m.in. kosztów kwalifikowanych w ramach poszczególnych działań i poddziałań oraz

rodzajów podmiotów mogących się ubiegać o dofinansowanie. W ramach każdego ogłoszenia

zawarto również odnośniki do stron zawierających dokumentację konkursową dla każdego z

naborów, obejmującą m.in. Regulamin konkursu wraz załącznikami, w tym: lista kryteriów

wyboru projektów w ramach danego działania, wzór wniosku o dofinansowanie wraz z

instrukcją wypełnienia, tabele finansowe oraz wzory oświadczeń.

Z analizy informacji o konkursach zamieszczonych na stronach IP oraz stronie Programu

wynika, że sposób ich sformułowania był pod względem językowym zrozumiały i

jednoznaczny dla potencjalnych wnioskodawców. Zaprezentowane informacje w precyzyjny i

kompletny sposób określały ramy czasowe naboru, formę składania dokumentacji

aplikacyjnej, wartość środków przewidzianych na konkurs oraz maksymalny poziom

dofinansowania pojedynczych projektów.

Analiza treści dokumentacji konkursowej, określającej ramy interwencji w każdym z

ocenianych działań i poddziałań POPW pozwala na ogólnie pozytywną ocenę tych

dokumentów. W większości przypadków - abstrahując od definicji poszczególnych kryteriów,

które są omawiane w kolejnych rozdziałach raportu - informacje w nich zawarte

sformułowane są w sposób wystarczająco zrozumiały i precyzyjny. W toku przeprowadzonych

analiz zidentyfikowano kilka obszarów, w stosunku do których wysunąć można kilka uwag.

Pierwsza z nich dotyczy Działania 1.2, podzielonego na dwa etapy.

•••• O ile sposób prezentacji informacji o naborze w ramach I etapu Działania 1.2 POPW

nie budzi wątpliwości, o tyle problematyczny jest zakres informacji nt. wymogów i

zatwierdzenia „modelu biznesowego internacjonalizacji” przez PARP – co jest

warunkiem udziału w II etapie. Wprawdzie w dokumentacji znajduje się standard

tworzenia ww. modelu, nie wiadomo jednak, w jaki sposób, przez kogo i według

jakich kryteriów merytorycznych jest on zatwierdzany (co ciekawe, nie jest to

element wyboru projektów w II etapie - tak więc kluczowa decyzja co do udziału

wnioskodawcy w II etapie nie wchodzi w kryteria wyboru projektów). Wydaje się, że z

punktu widzenia potencjalnych wnioskodawców zasadne byłoby bardziej

szczegółowe opisanie założeń poszczególnych etapów wsparcia w ramach Działania

1.2, już na etapie dokumentacji konkursowej.

Druga grupa uwag dotyczy doprecyzowania i uspójnienia zakresu informacji zawartych w

dokumentacji konkursowej.

•••• Po pierwsze, warto zwrócić uwagę na różnice w regulaminach konkursów, które nie

zawsze wydają się być uzasadnione specyfiką (różnicami) poszczególnych

instrumentów wsparcia. Regulaminy konkursów w ramach ocenianych działań i

poddziałań różnią się m.in. ze względu na sposób ujęcia informacji o przebiegu paneli

eksperckich, w szczególności prezentacji projektu przez wnioskodawcę. W

Regulaminie konkursu dla działań 1.2 i 1.4 zawarto informacje o tym, że podczas

17


panelu wnioskodawca powinien przeprowadzić prezentację swojego projektu w

odniesieniu do specyficznie wskazanych kryteriów. Takich informacji nie ma w

Regulaminach dla konkursów z poddziałań 1.3.1 i 1.3.2, mimo tego, że w każdym z

nich oczekuje się od wnioskodawcy takiej prezentacji14. Co prawda oczekiwania takie

wraz ze szczegółowymi wytycznymi były przekazywane wnioskodawcom razem z

wynikami oceny formalnej, niemniej jednak warto, mając na względzie spójność i

przejrzystość całego systemu, ujednolicić regulaminy w tym zakresie wszędzie tam

gdzie przebieg spotkania z wnioskodawcą ma być podobny.

•••• Po drugie, w przypadku przynajmniej części kryteriów – jak wynika z

przeprowadzonych wywiadów oraz analizy treści zapytań do PARP15 –

wnioskodawcom przydałyby się dodatkowe wytyczne dotyczące tego, jakiego typu

informacje powinni zawrzeć we wniosku o dofinansowanie, aby wypełnić dane

kryterium. Siłą rzeczy definicje poszczególnych kryteriów, nie mogą zawierać

wszystkich kluczowych wskazówek dla wnioskodawców (rozwiązanie takie niosłoby

ryzyko bardzo rozbudowanych i niekoniecznie czytelnych zapisów). W związku z tym -

z braku dodatkowych wytycznych dla wnioskodawców (poza definicjami kryteriów

oraz FAQ) - warto rozważyć rozszerzenie „Instrukcji wypełnienia wniosku o

dofinansowanie” o dodatkowe informacje, dotyczące kryteriów, w szczególności tych

najmniej oczywistych. Jest to o tyle dobre miejsce na takie uzupełnienia, że ocena

danego kryterium często opiera się na analizie informacji z wielu pól we wniosku o

dofinansowanie (co zresztą wskazane jest w Instrukcji).

•••• Zapisy takie powinny w możliwie przystępnej formie określać oczekiwania dotyczące

opisów kryteriów, tj. wyjaśniać jak rozumie się poszczególne kryteria i co będzie

brane pod uwagę w ich ocenie (jakie informacje należy uwzględnić we wniosku).

Punktem wyjścia dla rozszerzenia opisów instrukcji mogą być wnioski z pierwszych

naborów, w szczególności problemy/zapytania najczęściej zgłaszane przez

wnioskodawców (publikowane w ramach tzw. FAQ). Nawet jeśli przynajmniej

częściowo, zapisy takie powielały by informacje zawarte w definicjach poszczególnych

kryteriów, to ich powtórzenie na poziomie Instrukcji wypełniania wniosku byłoby

użytecznym rozwiązaniem z punktu widzenia wnioskodawców, którzy mieliby je

zgrupowane w jednym miejscu. Trzeba przy tym pamiętać, że zmiany w instrukcji

muszą korespondować z sugerowanymi zmianami dotyczącymi poszczególnych

kryteriów (patrz kolejne rozdziały raportu ).16

14

Zgodnie z §10 ust. 3 Regulaminu konkursu dla poddziałania 1.3.2 nie wymaga się prezentacji (slajdy), a podczas Panelu ekspertów wnioskodawca odpowiada na pytania i wątpliwości ekspertów. 15

Pytania publikowane w FAQ na stronach poszczególnych konkursów. 16

Oczywiście w sytuacji, w której opracowane zostaną oddzielne, rozbudowane wytyczne po kryteriach, zmiany w Instrukcji do wniosku nie będą musiały być tak rozbudowane, wystarczy, że uwzględnią ewentualne zmiany definicji poszczególnych kryteriów.

18


Pomimo tego, że w ramach niniejszej ewaluacji nie przewidziano badania wnioskodawców, to

- na podstawie informacji zebranych podczas badań terenowych, analizy danych zastanych

oraz skali zainteresowania konkursami (poczynając od liczby zapytań zgłoszonych do PARP,17

przez udział w spotkaniach informacyjnych na temat wsparcia18 oraz liczby złożonych

aplikacji) - można uznać, że sposób dotarcia do potencjalnych wnioskodawców z informacją o

konkursach był skuteczny.

W przypadku każdego z działań, oprócz informacji udostępnianych na stronie PARP i stronie

Programu, po ogłoszeniu informacji o naborach w ramach każdego działania i poddziałania

przeprowadzono również spotkania informacyjne w miastach województw Polski Wschodniej

(patrz tabela), na których potencjalni wnioskodawcy mogli zapoznać się bliżej z zakresem

oferowanego wsparcia oraz zadać pytania dotyczące kwestii, które są dla nich niejasne.19

Informacje o planowanych spotkaniach i konferencjach umieszczane były (i są nadal) na

podstronie Programu.20

Tabela 4. Cykl spotkań informacyjnych po ogłoszeniu naboru

(Pod)Działanie Data i miejsce spotkań informacyjnych (liczba uczestników)

1.1.1 29 września 2015 r. Białystok (62 osoby)

17 października 2015 r. Warszawa (36 osób)

1.1.2

Spotkania z przedstawicielami wyłonionych Platform startowych: 4 kwietnia 2016 r. Białystok (b.d.) 5 kwietnia 2016 r. Olsztyn (b.d.) 6 kwietnia 2016 r. Kielce (b.d.) 7 kwietnia 2016 r. Lublin (b.d.)

8 kwietnia 2016 r. Rzeszów (b.d.)

1.2

15 marca 2016 r. Lublin 16 marca 2016 r. Rzeszów

17 marca 2016 r. Kielce 22 marca 2016 r. Olsztyn

23 marca 2016 r. Białystok

1.3.1

19 sierpnia 2015 r. Warszawa (79 osób, 18 września (8 osób)

25 września 2015 r. Białystok (62 osoby) 15 października 2015 r. Kielce (37 osób)

17

Z danych przekazanych przez PARP wynika, że do samego tylko Działania 1.4 zgłoszono ponad 500 pytań. Co więcej, listy najczęściej zadawanych pytań publikowane na podstronach poświęconych poszczególnym naborom wskazują na duże zainteresowanie wsparciem, ich liczba wyniosła pomiędzy 40 a 50 w Poddziałaniach 1.3.1 i 1.1.1 oraz zdecydowanie przewyższa tę wartość w 1.3.1, gdzie nadal zgłaszane są kolejne pytania, a trzeba pamiętać, że nie są to wszystkie zapytania wnioskodawców, a jedynie te, które najbardziej powszechne i potencjalnie istotne dla innych potencjalnych wnioskodawców. 18

Nagrania z wybranych spotkań informacyjnych dostępne są na kanale PARP w serwisie youtube.com (https://www.youtube.com/user/parpgovpl). Stosunkowo liczna obecność na spotkaniach, z których dostępne są nagrania (poddziałanie 1.1.2) wskazuje na potencjalnie duże zainteresowanie wsparciem dedykowanym rozwojowi startupów w Polsce Wschodniej. 19

Nagrania z części tych spotkań dostępne są na kanale PARP w serwisie youtube.com (https://www.youtube.com/user/parpgovpl). 20

Informacje te dostępne są na stronie programu, w zakładce Dowiedz się więcej, po wybraniu karty weź udział w projektach, szkoleniach i konferencjach http://popw.parp.gov.pl/wez-udzial-w-projektach-szkoleniach-i-konferencjach-popw/spotkania-informacyjne-popw .

19


(Pod)Działanie Data i miejsce spotkań informacyjnych (liczba uczestników)

1.3.2

11 maja 2016 r. Lublin 12 maja 2016 r. Rzeszów 16 maja 2016 r. Białystok 17 maja 2016 r. Olsztyn 19 maja 2016 r. Kielce

1.421

27 sierpnia 2015 r., Olsztyn 21 września 2015 r., Rzeszów 25 września 2015 r., Białystok 15 października 2015 r. Kielce

6 listopada 2015 r. Lublin 24 listopada 2015 r. Olsztyn*

25 listopada 2015 r. Białystok* 30 listopada 2015 r. Lublin*

1 grudnia 2015 r. Kielce* 2 grudnia 2015 r. Rzeszów*

Źródło: Opracowanie własne na podstawie danych dostępnych na stronie PARP22

oraz przekazanych przez PARP

Co więcej, obok bezpośrednich spotkań z przedstawicielami PARP, odbywających się na

terenie województw Polski Wschodniej (częściej) oraz w siedzibie PARP (rzadziej), instytucja

ta przygotowała też cykl transmisji on-line na temat poszczególnych działań i poddziałań.

Dodatkowo, nagrania z części zorganizowanych spotkań informacyjnych dostępne są na

kanale PARP w serwisie youtube.com, a informacja o przynajmniej części z nich (Działania

1.2, 1.4.) widoczna jest również na podstronie programu.23

Stworzenie potencjalnym wnioskodawcom możliwości bezpośredniego uczestnictwa w

spotkaniach informacyjnych na terenie Polski Wschodniej, a więc bez konieczności udawania

się do Warszawy do siedziby PARP, uznać należy za wyjście naprzeciw potrzebom i

oczekiwaniom wnioskodawców i dobrą praktykę w zakresie dotarcia z informacją o

konkursach do potencjalnych grup docelowych wsparcia. Uwzględnienie, za sprawą transmisji

on-line, potrzeb tych podmiotów, które z różnych powodów nie mogą wziąć udziału w

organizowanych spotkaniach również ocenić należy pozytywnie.

Podjęte działania informacyjne uznać należy za skuteczny sposób dotarcia do potencjalnych

wnioskodawców z informacją o konkursach. Potwierdza to również skala zainteresowania

wsparciem w ramach poszczególnych konkursów, która zawsze przekraczała, pod względem

wnioskowanej alokacji, skalę wsparcia przewidzianego w danym konkursie. Wskazane

działania (zwłaszcza te w regionach) powinny być kontynuowane przed każdym konkursem.

21

W spotkaniach oznaczonych gwiazdką, organizowanych przez PARP wzięło łącznie udział 186, w pozostałych, organizowanych przez inne instytucje, w każdym wzięło udział ok. 40-50 osób. 22

Informacje te dostępne są w zakładce: http://popw.parp.gov.pl/wez-udzial-w-projektach-szkoleniach-i-konferencjach-popw/spotkania-informacyjne-popw 23

Informacje te dostępne są w zakładce: http://popw.parp.gov.pl/wez-udzial-w-projektach-szkoleniach-i-konferencjach-popw/spotkania-informacyjne-popw

20


Tabela 5. Skala zainteresowania wsparciem w konkursach z I OP POPW, w których zakończono nabory

(pod)działanie Alokacja na pierwszy

konkurs

Liczba złożonych aplikacji

Wartość złożonych aplikacji

% wnioskowanego wsparcia w stosunku

do alokacji na konkurs 1.1.1 25 mln 5 40 mln 160% 1.2 10 mln 365 12,8 mln 128%

1.3.1 142 mln24 82 301,7 mln 212%

1.4 etap I 5 mln 214 14,7 mln 294%

Źródło: Opracowanie własne na podstawie informacji dostępnych na stronach PARP

Niezależnie od tego, że sam sposób dotarcia do potencjalnych wnioskodawców z informacją

o konkursie uznać należy co do zasady za skuteczny, to analiza stron internetowych IP

wskazuje na potencjał do zwiększenia przejrzystości i łatwości znalezienia informacji o

poszczególnych naborach i zakresie oferowanego wsparcia. O ile na pewno bardzo

wygodnymi dla użytkownika rozwiązaniami są:

•••• łatwe do znalezienie odniesienie do poszczególnych działań ze strony głównej PARP,

bezpośrednio z zakładki dotyczącej POPW,

•••• kompletność przedstawianych informacji,

to na poziomie podstrony poświęconej Programowi (popw.parp.gov.pl) pewnych problemów

nastręcza:

•••• zastosowanie dwóch równoległych mechanizmów nawigacji po treści strony:

przykładowo, do większości treści na temat poszczególnych działań i konkursów dojść

można przez menu środkowe na stronie głównej, jednak np. do generatora wniosków

dostać się można jedynie przez menu boczne;

•••• na poziomie wiadomości nie ma możliwości filtrowania czy systemu tagów dla

konkretnych działań i/lub naborów, a znalezienie aktualności na temat interesującego

nas działania czy konkursu jest czasochłonne i trudne, tak samo jak znalezienie

informacji o cyklach spotkań on-line,

•••• brak jest informacji o nagraniach ze spotkań informacyjnych, dostępnych na kanale

PARP w serwisie youtube.com – zamieszczenie odnośników do konkretnych nagrań

na stronie PARP byłoby ułatwieniem dla wnioskodawców (można to zrobić np. w

sekcji Materiały informacyjne25),

•••• brak harmonogramu naboru wniosków w układzie tylko wybranego działania

(informacje te zawarte są tylko w zbiorczym harmonogramie dostępnym ze strony

głównej),

•••• nieczytelny układ stron dedykowanych poszczególnym działaniom / poddziałaniom,

dokumentacja poszczególnych konkursów zamieszczona jest bez omówienia plików i

24

W analizie uwzględniona jest ostateczna alokacja na każdy z naborów, tj. uwzględniająca zwiększenie m.in. w ramach poddziałania 1.3.1. 25

Podstrona: http://popw.parp.gov.pl/pobierz-poradniki-i-publikacje-popw/materialy-informacyjne

21


pełnej informacji na temat tego, jakiego konkursu dotyczy (przykładowo –

dokumentacja dla Działania 1.2 dostępna jest jedynie z adnotacją, że dotyczy 2016 r.,

nie wiadomo natomiast, czy odnosi się do wszystkich trzech planowanych konkursów,

czy tylko do dwóch konkursów z etapu I, czy też wyłącznie pierwszego konkursu z

etapu I). Ponadto kolejność dokumentów na stronie wydaje się całkowicie

przypadkowa (np. w poddziałaniu 1.3.2 zaczyna się od: najczęściej zadawanych pytań

i odpowiedzi, następnie wymieniona jest dokumentacja pomocnicza, dopiero później

Regulamin konkursu wraz z załącznikami, następnie załączniki do wniosku o

dofinansowanie, umowy o dofinansowanie i dokumenty archiwalne).

Co więcej, również ogólna strona PARP jest stosunkowo nieczytelna dla potencjalnego

wnioskodawcy, który chciałby znaleźć na niej informacje dotyczące interesującego go

działania/naboru. W szczególności:

•••• niejasne jest, jak skonstruowany jest system aktualności: ogólne aktualności PARP

zawierają m.in. wiadomości na temat POPW, przy czym nie da się ich filtrować np.

tylko po aktualności dotyczących POPW – z punku widzenia użyteczności strony dla

potencjalnych beneficjentów zasadne byłoby dodanie filtra pozwalającego wybrać

tylko te aktualności, które dotyczą POPW (a nie np. PO IR) oraz danego działania;

•••• brak jest harmonogramu naboru wniosków w układzie tylko POPW (informacje te

zawarte są tylko w zbiorczym harmonogramie dostępnym ze strony głównej).

Wprowadzenie zmian ułatwiających nawigację po stronach internetowych PARP, w

szczególności na podstronie poświęconej POPW poprawiłoby dostępność informacji dla

potencjalnych wnioskodawców.

Potencjał

administracyjny

instytucji

organizującej

konkurs i ocenę

projektów

Pytania badawcze

�� Czy potencjał administracyjny instytucji organizującej konkurs i ocenę projektów jest adekwatny i wystarczający do częstotliwości przeprowadzania konkursów, planowanych kwot alokacji, specyfiki projektów? [pyt. 3, dotyczące systemu]

Ocena potencjału administracyjnego instytucji organizującej konkursy i ocenę projektów

wymaga spojrzenia na przebieg dotychczasowych konkursów, w szczególności rozwiązań

przyjętych na etapie oceny i wyboru projektów. Na koniec czerwca 2016 r. zakończono

nabory i ogłoszono listę projektów rekomendowanych do dofinansowania w ramach

Poddziałania 1.1.1, 1.3.1 i Działania 1.4 – etap I. W okresie tym uruchomiono również nabory

w ramach Poddziałania 1.1.2, 1.3.2 oraz Działań 1.2 etap I i 1.4 etap II.

System wyboru projektów w ramach I OP POPW podzielony został na:

•••• ocenę formalną (poprzedzoną weryfikacją aplikacji konkursowych z punktu widzenia

występowania braków formalnych lub oczywistych omyłek) oraz

22


•••• ocenę merytoryczną, opartą na ocenie eksperckiej, dokonywanej przez członków

Panelu Ekspertów.

Jak wynika z przeprowadzonych wywiadów, proces oceny formalnej i merytorycznej nie

nastręczały większych problemów. Pewne problemy, skutkujące opóźnieniem całego procesu

oceny i wyboru projektów w ramach wszystkich rozstrzygniętych konkursów, pojawiły się

podczas weryfikacji wymogów formalnych, poprzedzającej ocenę formalną. Jak wynika z

przeprowadzonych wywiadów, ich powodem były przyjęte rozwiązania dotyczące sposobu

wyzwania wnioskodawcy do uzupełnienia wniosku lub poprawy oczywistych omyłek oraz

obiegu dokumentów w ramach tego procesu.

•••• Zgodnie z Regulaminami poszczególnych konkursów, „w przypadku stwierdzenia we

wniosku o dofinansowanie braków formalnych lub oczywistych omyłek, PARP wzywa

pisemnie wnioskodawcę na każdym etapie konkursu, w szczególności przed

przekazaniem wniosku do oceny przez KOP, do uzupełnienia braków formalnych lub

poprawienia oczywistych omyłek we wniosku o dofinansowanie (…)”. W praktyce –

jak wynika z wywiadów – aby uniknąć problemów na etapie oceny formalnej i

merytorycznej, wszystkie uzupełnienia i poprawki dokumentów – za wyjątkiem

dodatkowych informacji, o które występowali eksperci podczas paneli – miały miejsce

na etapie weryfikacji wymogów formalnych.

•••• Informacja o potrzebie uzupełnień wysyłana była do wnioskodawców w formie

papierowej, z zachowaniem 7-mio dniowego terminu odpowiedzi, liczonego od dnia

doręczenia wezwania26. Na poziomie Regulaminu dopuszczono uzupełnienie braków

formalnych i oczywistych pomyłek za pomocą Generatora Wniosków. Każda

wprowadzona zmiana musiała być jednak potwierdzona odpowiednim

oświadczeniem wnioskodawcy (dostarczonym w terminie 2 dni roboczych od

momentu wprowadzenia zmian). Oświadczenie takie dostarczyć można było na dwa

sposoby, albo w formie papierowej (bezpośrednio do sekretariatu PARP lub za

pośrednictwem poczty/kuriera), albo w formie elektronicznej (w tym przypadku

konieczne było jednak potwierdzenie oświadczenia za pomocą podpisu

elektronicznego). Jak wynika z przeprowadzonych wywiadów, o ile same braki

formalne uzupełniane były w wersji elektronicznej, o tyle już oświadczenia

wnioskodawców w większości przesyłane były w formie papierowej (można

domniemywać, że powodem tego było nieposiadanie podpisu elektronicznego przez

wnioskodawców), co wpłynęło na wydłużenie się procesu weryfikacji wymogów

formalnych, a ostatecznie opóźniło rozpoczęcie kolejnych etapów oceny (formalnej i

merytorycznej) i wpłynęło na wydłużenie całego procesu oceny projektu.

26

Czas ten czasami się mocno przeciągał, gdy na przykład wnioskodawca odbierał korespondencję dopiero po pewnym czasie, co powodowało opóźnienia w procesie oceny.

23


Na poziomie regulaminów dla poszczególnych działań i poddziałań nie przewidziano ram

czasowych przeznaczonych na weryfikację wymogów formalnych wniosków. Dokumenty te

określały łączny wymiar czasowy oceny projektu (maksymalnie 90 dni), w podziale na ocenę

formalną (około 30 dni) i merytoryczną (około 60 dni). Z przeprowadzonych wywiadów

wynika, że w większości przypadków weryfikacja wymogów formalnych wstrzymywała

kolejne etapy oceny, w szczególności oceny formalnej. Z tego względu, z punktu widzenia

sprawności procesu oceny wskazane byłoby, aby etap weryfikacji wymogów formalnych

został w miarę możliwości skrócony, a konieczność uzupełnienia braków formalnych i

oczywistych omyłek nie hamowała dalszych prac na etapie oceny formalnej. W kontekście

przyszłych naborów warto więc wprowadzić pewne zmiany.

Rozwiązaniem powyższego problemu, może być adaptacja, na poziomie wszystkich działań,

podejścia wprowadzonego w Działaniu 1.4 – etap II, polegającego na wysyłaniu wezwania do

uzupełnienia braków formalnych i/lub poprawy oczywistych omyłek w formie elektronicznej

(na adres podany we wniosku). Przy czym, w przypadku poczty elektronicznej warto

rozważyć wprowadzenie jakiejś formy potwierdzenia otrzymania takiego wezwania albo w

formie elektronicznej (wiadomość zwrotna) albo telefonicznej (kontakt PARP z

wnioskodawcą).

Termin uzupełnienia brakujących wyjaśnień liczony byłby od dnia otrzymania wezwania.

Zachowując potrzebę przesłania przez wnioskodawcę oświadczenia o wprowadzeniu zmian

w dokumentacji aplikacyjnej, warto rozszerzyć regulaminy konkursów o możliwość

przesłania tego oświadczenia również w formie skanu dokumentu (w tych przypadkach, w

których wnioskodawcy korzystać będą z tradycyjnej formy korespondencji), który z

formalnego punktu widzenia nie musiałby zamykać procesu weryfikacji wymogów

formalnych (ten zamknięty byłby w momencie otrzymania oryginału dokumentu), jednak

pozwalałby na kontynuowanie oceny w trakcie oczekiwania na otrzymanie dokumentu w

wersji papierowej.

Po etapie weryfikacji wymogów formalnych następowała ocena formalna aplikacji, do której

dopuszczane były wszystkie projekty pozytywnie zweryfikowane na etapie oceny wymogów

formalnych. Jak już wspomnieliśmy, etap oceny formalnej nie nastręczał problemów.

Wyjątkiem było Działanie 1.4 – etap I, w ramach którego poważne problemy wystąpiły na

etapie badania prawidłowości wyboru Wykonawcy audytu wzorniczego. Ze względu na

pewne podobieństwa na poziomie założeń wsparcia i formy wyboru projektów pomiędzy

Działaniami 1.4 i 1.2, można oczekiwać, że podobne problemy mogą też wystąpić w Działaniu

1.2. Kwestię tę należy bacznie monitorować i ewentualnie wzmacniać działania informacyjne

i szkoleniowe skierowane do potencjalnych wnioskodawców.

Do oceny merytorycznej dopuszczane były wszystkie wnioski, które pozytywnie przeszły etap

oceny formalnej. Ocena merytoryczna w każdym działaniu i podziałaniu przeprowadzana

była przez Komisję Oceny Projektów w ramach paneli eksperckich, w których obok

pracowników PARP zasiadali eksperci zewnętrzni. To właśnie eksperci zewnętrzni odpowiadali

24


za ocenę merytoryczną wniosku. Dokumentacja aplikacyjna była udostępniana ekspertom z

około tygodniowym wyprzedzeniem w stosunku do daty panelu eksperckiego, podczas

którego oceniany był dany projekt. Zdaniem ekspertów czas ten był wystarczający do

wypracowania wstępnej oceny projektu, która następnie była weryfikowana podczas spotkań

z wnioskodawcami.

Pomimo pewnych różnic, wynikających ze specyfiki poszczególnych instrumentów wsparcia,

przebieg paneli eksperckich był zbliżony we wszystkich ocenianych działaniach i

poddziałaniach. Rozpoczynał się od prezentacji projektu dokonywanej przez wnioskodawcę,

po której następowała seria pytań od ekspertów. Po spotkaniach z wnioskodawcami eksperci

ustalali ostateczną, wspólną wersję oceny końcowej wniosku, na podstawie której wypełniali

kartę oceny. Po zatwierdzeniu ostatecznych ocen poszczególnych projektów oraz zakończeniu

wszystkich paneli przygotowywana była lista rankingowa projektów rekomendowanych do

dofinansowania, która publikowana była na stronie internetowej PARP. Informacje nt.

punktacji w projektach nierekomendowanych do dofinansowania nie były publikowane w

Internecie, tylko przekazywane wnioskodawcom.

Za kwestie organizacyjne dotyczące spotkania odpowiadał PARP, którego pracownicy,

pełniący rolę przewodniczącego i/lub zastępcy przewodniczącego oraz sekretarza i/lub

zastępcy sekretarza KOP otwierali spotkania oraz dbali o ich sprawny przebieg (m.in.

informowali prezentujących o pozostałym czasie), koordynując pracę ekspertów, jednak bez

czynnego merytorycznego udziału w dialogu między ekspertami, a wnioskodawcą (zgodnie z

Regulaminem prac KOP, ani Przewodniczący i jego Zastępca, ani Sekretarz i jego Zastępca nie

mogą dokonywać oceny projektów oraz weryfikacji oceny dokonanej przez KOP).

System informatyczny (LSI) z którego korzystali eksperci okazał się działać bez większych

problemów, nie licząc drobnych problemów technicznych w początkowej fazie oceny.

Niemniej, wśród oceniających pojawiły się sugestie, dotyczące umożliwienia, w kolejnych

konkursach, nanoszenia bezpośrednio w systemie komentarzy na ocenianym wniosku (w

pierwszych naborach w LSI było to niemożliwe).

Na podstawie dostępnych informacji ogólna ocena przebiegu procesu oceny merytorycznej

(w ramach 3 zakończonych konkursów) jest pozytywna. Ocena ta dotyczy zarówno czasu, jaki

eksperci mieli na zapoznanie się z dokumentacją aplikacyjną i przygotowanie się do spotkania

(w tym wstępną ocenę projektu oraz identyfikację obszarów wymagających wyjaśnienia przez

wnioskodawcę), jak i samego przebiegu spotkania z wnioskodawcą. Przy czym, w ramach

kolejnych naborów rozważyć można wprowadzenie drobnych zmian w przebiegu paneli.

Proponuje się:

•••• aby panele rozpoczynały się od spotkania samych ekspertów, w celu wymiany opinii dotyczących projektów, które będą oceniane podczas danego panelu,

25


•••• ograniczenie możliwości uzupełniania dokumentów do okresu poprzedzającego panel

(np. do 2-3 dni po panelu, z założeniem że dokumenty przesłane później nie będą

brane pod uwagę),

•••• zastosowanie preselekcji dokumentacji aplikacyjnej, tak aby do oceny podczas paneli

eksperckich z udziałem wnioskodawcy przechodziły tylko te projekty, które spełniają

minimalne wymogi wsparcia (np. spełniły wszystkie merytoryczne kryteria dostępu).

Szczegółowy opis powyższych zmian znajduje się w rozdziale 7 raportu.

Abstrahując od powyższych zaleceń, ogólna ocena organizacji i przebiegu procesu wyboru i

oceny projektów w ramach rozstrzygniętych naborów OP I POPW jest pozytywna. Analiza

danych zastanych oraz informacji zebranych podczas badań terenowych wskazuje, że pomimo

pewnych opóźnień, proces ten przebiegał co do zasady sprawnie i bez większych zakłóceń. Na

tej podstawie można stwierdzić, że potencjał administracyjny instytucji organizujących

konkurs i ocenę dokumentacji aplikacyjnej był co do zasady wystarczający dla

przeprowadzenia naborów oraz oceny dokumentacji aplikacyjnej.

Biorąc pod uwagę znany obecnie harmonogram naborów na rok 2016, uwzględniający

trwające i jeszcze nierozpoczęte nabory, można uznać, że potencjał administracyjny PARP

powinien być wystarczający również na kolejnych etapach wdrażania Programu. Jednak

należy nadmienić, że te same departamenty PARP zajmują się zarówno oceną projektów w

POPW jak i POIR, dlatego nakładanie się terminów oceny konkursów z obu programów

będzie miało wpływ na operacyjność procesu oceny projektów z poszczególnych naborów w

działaniach / poddziałaniach tych programów.

Dzięki temu, że harmonogram naborów w ramach poszczególnych działań rozłożony został na

cały rok, a terminy zakończenia poszczególnych naborów przypadają na różne miesiące (za

wyjątkiem naborów ciągłych w Poddziałaniu 1.1.2 i 1.4 etap II) – przynajmniej na poziomie

założeń – powinno się uniknąć wystąpienia tzw. wąskich gardeł związanych z zakończeniem

kilku konkursów jednocześnie i związanego z tym potencjalnego przeciążenia pracą związaną

z przeprowadzeniem weryfikacji wymogów formalnych oraz oceny formalnej i merytorycznej.

Obecnie trudno jednoznacznie ocenić, czy obecny potencjał administracyjny będzie

wystarczający dla oceny projektów w ramach Poddziałania 1.1.2 oraz drugiego etapu

Działania 1.4, w których przewidziano comiesięczne nabory. W przypadku Poddziałania 1.1.2

ułatwienie stanowi to, że PARP ma możliwość oszacowania skali zainteresowania, poprzez

kontakt z podmiotami zarządzającymi platformami startowymi, przez które inkubowane są

przedsięwzięcia. Natomiast w ramach działania 1.4 etap II o dofinansowanie mogą

wnioskować tylko beneficjenci etapu I (w najbliższym roku maksymalnie 66 projektów).

Dysponując takimi oszacowaniami można odpowiednio przygotować (od strony techniczno-

logistycznej) cały proces selekcji, w celu uniknięcia ewentualnych opóźnień

26


Tabela 6. Harmonogram naborów w I OP POPW w 2016 R

(pod) działanie)

Termin i czas trwania naborów (miesiące)

I II III IV V VI VII VIII IX X XI 1.1.2

27

1.2 e1

1.2 e2

1.3.1

1.3.2

1.4 e228

1.4 e1

legenda Ogłoszenie konkursu

Okres naboru

Źródło: Opracowanie własne

Podsumowanie i

rekomendowane

zmiany

Pytania badawcze

�� Czy należy wprowadzić zmiany (uproszczenia, uszczegółowienia) w systemie wyboru i oceny projektów w celu jego usprawnienia? Jeśli tak, to jakie? [pyt. 4, dotyczące systemu]

�� Jakie dobre praktyki z perspektywy 2007-2013 są możliwe i użyteczne do uwzględnienia w systemie wyboru projektów? [pyt. 5, dotyczące systemu]

We wcześniejszej części niniejszego rozdziału wskazaliśmy na szereg obszarów, w których

wprowadzenie zmian przyniesie korzyści zarówno wnioskodawcom, ekspertom KOP oraz

PARP, należą do nich m.in.:

•••• uzupełnienie o dodatkowe informacje Instrukcji wypełniania wniosku (dodatkowe

wyjaśnienia dotyczące potencjalnie najtrudniejszych/najmniej zrozumiałych

kryteriów) i uspójnienie dokumentacji konkursowej (regulaminów konkursów) –

zmiany te stanowiłyby dodatkowe źródło informacji dla wnioskodawcy, który w

jednym miejscu (instrukcja) miałby precyzyjniej wyjaśnione kwestie kryteriów i

wiedziałby – już na etapie aplikowania – w jaki sposób powinien przygotować się do

spotkania z panelem (Regulamin);

•••• dopracowania strony internetowej Programu (popw.parp.gov.pl) w sposób

ułatwiający nawigację i znajdywanie informacji dotyczących konkretnych działań /

naborów oraz innych przydatnych informacji (np. nagrań ze spotkań informacyjnych);

•••• skrócenie procesu weryfikacji wymogów formalnych poprzez możliwość wysyłania

wezwań do uzupełnień dokumentów w wersji elektronicznej;

•••• na poziomie LSI umożliwienie nanoszenia bezpośrednio w systemie komentarzy na

ocenianym wniosku;

•••• usprawnienie organizacji paneli eksperckich:

27

Nabór w ramach poddziałania 1.1.2 zakończony będzie w lipcu 2017 r. 28

W ramach etapu II planowany jest nabór ciągły, który rozpoczął się w maju 2016 r. i trwać ma do kwietnia 2017 r.

27


o przeznaczenie bloku czasu przed spotkaniem z pierwszym wnioskodawcą na

spotkanie ekspertów, celem wymiany wstępnych ocen, dotyczących

projektów, które będą prezentowane podczas danego panelu;

o w przypadku działań zakładających współpracę z zewnętrznym wykonawcą (tj.

1.2 i 1.4) warto rozważyć formalne dopuszczenie jego przedstawiciela do

prowadzenia części prezentacji, tak zresztą często się działo na przykład w

ramach Działania 1.4;

•••• warto rozważyć wprowadzenie preselekcji projektów trafiających do oceny podczas

panelu eksperckiego z udziałem wnioskodawcy, np. poprzez wprowadzenie zasady, że

pozytywna ocena przez KOP merytorycznych kryteriów dostępu byłaby warunkiem

dalszego oceniania wniosku (w tym w formule panelowej).

Z punktu widzenia doświadczeń z okresu 2007-2013 pozytywnie ocenić należy decyzję o

wykorzystaniu na etapie oceny merytorycznej paneli eksperckich. Jak wskazują

doświadczenia z PO IG 2007-2013 panele eksperckie to szczególnie pożądana forma w

przypadku projektów związanych z wspieraniem innowacyjności,29 gdzie wskazane jest

bardziej elastyczne podejście do oceny.

W obecnych założeniach dotyczących procesu wdrażania i oceny w Działaniu 1.2 POPW

główny nacisk w ocenie merytorycznej, wykorzystującej panel ekspertów, położony został na

etap I wsparcia, tj. w ramach oceny założeń dotyczących opracowania nowego modelu

biznesowego w związku z internacjonalizacją. Jest to o tyle problematyczne, że w etapie I

możliwe jest de facto tylko dokonanie oceny przedsiębiorstwa i firmy doradczej, a nie samych

założeń internacjonalizacji, które w etapie I dopiero powstają. Przyjęcie założenia o takim

podejściu ma sens, o ile zakładamy, że etap II nie stanowi dodatkowego punktu konkurencji

między projektami, a tylko potwierdzenie zasadności i efektywności planowanych działań.

Nie wynika to jednak w żaden sposób z dokumentacji konkursu. Co więcej, elementem

procedury jest zatwierdzenie modelu wytworzonego w etapie I, ale jest to dokonywane przez

PARP i ma to miejsce przed oceną w II etapie, co powoduje, że Model internacjonalizacji

przedsiębiorstwa, czyli jedyny produkt etapu I mogący merytorycznie wpłynąć na ocenę w

etapie II, nie jest oceniany w ramach procedury oceny.

Z powyższych względów, konieczne jest uproszczenie I etapu poprzez:

•••• przeniesienie oceny panelowej do II etapu i poddanie pod ocenę Modelu

internacjonalizacji przedsiębiorstwa;

•••• ograniczenie, lub nawet całkowita rezygnacja z kryteriów punktowych w I etapie i

przeniesienie ich do II etapu.

29

Gorgol P., Kotrasiński J., Weremiuk A. (2012), Metaewaluacja wyników badań ewaluacyjnych Programu Operacyjnego Innowacyjna Gospodarka, 2007-2013, raport na zlecenie Ministerstwa Rozwoju Regionalnego.

28


4 Ustalenia i wnioski badawcze, dotyczące kryteriów oceny

projektów w zakresie logiki interwencji

W niniejszym rozdziale raportu udzielono odpowiedzi na pytania badawcze, dotyczące

kryteriów wyboru projektów z perspektywy logiki interwencji, w tym w szczególności

określonych w POPW celów szczegółowych w poszczególnych priorytetach inwestycyjnych

(oraz powiązanych z nimi wskaźnikami rezultatu strategicznego). W drugiej części rozdziału

ocena, dotyczy problematyki związanej z zagadnieniami związanymi ze wskaźnikami

produktu oraz rezultatu bezpośredniego, ponieważ ich realizacja wpływa na ocenę osiągania

celów określonych w POPW.

Kryteria wyboru projektów, a cele na poziomie działań i

poddziałań

Pytania badawcze

�� Czy kryteria wyboru projektów są zgodne z celami szczegółowymi działań i poddziałań I osi priorytetowej POPW? [pyt. 1, dotyczące kryteriów]

�� Czy kryteria umożliwiają wybór projektów w największym stopniu przyczyniających się do realizacji celów działań i poddziałań I osi POPW? [pyt. 4, dotyczące kryteriów]

�� Czy brakuje jakiś kryteriów w celu zapewnienia wyboru adekwatnych projektów do celów Programu? Jeśli tak, to jakich? [pyt. 11, dotyczące kryteriów]

Z ogólnej analizy kryteriów wyboru projektów w I OP POPW wynika, że - co do zasady -

sprzyjają one wyborowi przedsięwzięć zgodnych z oczekiwanymi rezultatami interwencji i w

większości przypadków dają szansę na wsparcie projektów w największym stopniu

przyczyniających się do realizacji celów sformułowanych na poziomie działań, poddziałań

oraz całej osi.30 W odniesieniu do niektórych działań można jednak sformułować

wątpliwości, najczęściej sprowadzające się do braku kryteriów pozwalających na pogłębioną

analizę jakości ocenianych projektów, także w kontekście ich wkładu we wskaźniki rezultatu

strategicznego, powiązane z celami szczegółowymi poszczególnych priorytetów

inwestycyjnych. Konkretne wątpliwości i zastrzeżenia w zakresie trzech ww. pytań

badawczych sformułowano poniżej (dalej, za poniższą tabelą, w której przedstawiamy

założenia programowe) w odniesieniu do poszczególnych działań i poddziałań.

Tabela 7. Zestawienie celów szczegółowych i wskaźników rezultatu strategicznego

Priorytet inwestycyjny

Cel szczegółowy Wskaźnik rezultatu

strategicznego Działanie/ poddziałanie

3a Większa liczba innowacyjnych przedsiębiorstw typu startup w

Udział przedsiębiorstw aktywnych innowacyjnie w Polsce

1.1.1 Platformy startowe dla nowych pomysłów

30

W niniejszych rozdziale oceniając spójność kryteriów wyboru projektów z celem szczegółowym odnosimy się zarówno do samego celu szczegółowego (sformułowanego w sposób opisowy), jak i odpowiadającego mu wskaźnikowi rezultatu strategicznego.

29


Priorytet inwestycyjny

Cel szczegółowy Wskaźnik rezultatu

strategicznego Działanie/ poddziałanie

Polsce Wschodniej Wschodniej (%) 1.1.2 Rozwój startupów w Polsce Wschodniej

3b Zwiększona aktywność MŚP z Polski Wschodniej na rynkach międzynarodowych

Wartość przychodów MŚP z Polski Wschodniej ze sprzedaży produktów, towarów i materiałów na eksport (mln PLN)

1.2 Internacjonalizacja MŚP

3c

Zwiększona aktywność MŚP z Polski Wschodniej w zakresie

prowadzenia działalności innowacyjnej

Nakłady na działalność innowacyjną

(przedsiębiorstw przemysłowych i z

sektora usług w latach 2013-2023 w Polsce

Wschodniej) (mln PLN)

1.3.1 Wdrażanie innowacji przez MŚP

1.3.2 Tworzenie sieciowych produktów przez MŚP

1.4 Wzór na konkurencję

W Działaniu 1.1 wskazana wydaje się łączna analiza kryteriów wyboru w Poddziałaniu 1.1.1

i Poddziałaniu 1.1.2 z uwagi na współzależność wsparcia dla platform startowych oraz

powiązanego z nim dotacyjnego wsparcia startupów. Obydwa poddziałania powinny

docelowo przyczynić się do określonego w POPW celu szczegółowego priorytetu

inwestycyjnego 3a, tj. większej liczby innowacyjnych przedsiębiorstw typu startup w Polsce

Wschodniej. Zaplanowana logika wsparcia oraz opracowane dotychczas kryteria wyboru

projektów stosunkowo dobrze wpisują się w oczekiwane efekty interwencji i dają realne

szanse na osiągnięcie celu szczegółowego.

•••• Cel szczegółowy Działania 1.1 (PI 3a) będzie monitorowany przy pomocy wskaźnika

udział przedsiębiorstw aktywnych innowacyjnie w Polsce Wschodniej [%], który

zgodnie z zapisami programu powinien wzrosnąć z poziomu 16,0% w roku bazowym

do 17,7% w 2023 r. Według definicji GUS, jako przedsiębiorstwa aktywne

innowacyjnie kwalifikują się firmy, które w roku sprawozdawczym wprowadziły co

najmniej jedną innowację produktową lub procesową albo zrealizowały projekt

innowacyjny. Zawężenie na poziomie kryteriów Działania 1.1 POPW oczekiwanych

innowacji do innowacji produktowych zapewnia więc wkład wspartych projektów w

realizację wskaźnika. Słusznym rozwiązaniem jest także sformułowany w kryteriach

wymóg, aby platformy startowe gwarantowały, że co najmniej 50% wspieranych firm

będzie gotowych do wprowadzenia innowacji produktowych.

•••• Analizując wkład interwencji w realizację celu należy jednak pamiętać o sposobie

liczenia wskaźnika rezultatu strategicznego: aktywność innowacyjna dotyczy

wyłącznie roku sprawozdawczego, a więc wartość docelowa miernika będzie

weryfikowana na podstawie danych GUS z 2023 r. To z kolei oznacza, że Działanie 1.1

wpłynie na jego wartość pośrednio, ponieważ przedsięwzięcia wsparte w

Poddziałaniu 1.1.1 i 1.1.2 zostaną zakończone w latach wcześniejszych niż 2023 r. i

nie będą już uwzględniane we wskaźniku. Oddziaływanie interwencji będzie więc

polegało na tym, że firmy-beneficjenci, m.in. dzięki dotacji z POPW, po zakończeniu

30


dofinansowanych projektów będą wdrażały innowacje procesowe lub produktowe

finansowane z innych źródeł, optymalnie ze środków własnych. Zagadnienie to nie

zostało wprost uwzględnione w kryteriach wyboru projektów, jest jednak dobrze

osadzone w ogólnej logice wsparcia.

Celem szczegółowym Działania 1.2 (priorytet inwestycyjny 3b) jest zwiększona aktywność

MŚP z Polski Wschodniej na rynkach międzynarodowych. Przyjęta logika interwencji powinna

częściowo przełożyć się na realizację tak zdefiniowanego celu, jednak - kryteria wyboru

projektów mają nadmiernie zawężający charakter.

•••• Przyjęte kryteria preferują przedsiębiorstwa, które nie są aktywne na rynkach

zagranicznych oraz eliminują najmniejsze przedsiębiorstwa. Kryteria te mają

wprawdzie pewne uzasadnienie, ale nie wynikają w żaden sposób z logiki interwencji

zawartej w programie.

•••• Powyższe jest dodatkowo komplikowane przez zastosowanie kryteriów oderwanych

od tej logiki (ocena jakości firmy doradczej) i brak oceny kwestii zasadniczych dla celu

interwencji (ograniczona do kryterium dostępu ocena potencjału eksportowego,

nieznane i wyłączone z kryteriów oceny kryteria zatwierdzenia modelu

internacjonalizacji).

•••• Analogicznie do Działania 1.1 POPW warto pamiętać, że z punktu widzenia wartości

docelowej wskaźnika rezultatu strategicznego (wartość przychodów MŚP z Polski

Wschodniej ze sprzedaży produktów, towarów i materiałów na eksport) wpływ

interwencji będzie pośredni, ponieważ większość projektów dofinansowanych z

POPW w roku sprawozdawczym tj. 2023 r. będzie już zakończona, co nie oznacza, że

nie będą nadal aktywnie działać na rynku i wpływać na wartość ww. wskaźnika.

Dwa kolejne działania (1.3 i 1.4) są powiązane z priorytetem inwestycyjnym 3c, którego

celem szczegółowym jest zwiększona aktywność MŚP z Polski Wschodniej w zakresie

prowadzenia działalności innowacyjnej. Większość kryteriów stosunkowo dobrze wpisuje się

w tak zdefiniowany oczekiwany rezultat interwencji, jednak także w tym przypadku warto

zwrócić uwagę na specyfikę wskaźnika rezultatu strategicznego, przez pryzmat którego

docelowo oceniane będą efekty tego Działania.

•••• W przeciwieństwie do Działań 1.1 i 1.2 POPW, wskaźnik rezultatu strategicznego w

działaniach 1.3 i 1.4 POPW - nakłady na działalność innowacyjną przedsiębiorstw

przemysłowych i z sektora usług w Polsce Wschodniej – ma charakter kumulatywny i

obejmuje lata 2013-2023. Oznacza to, że wydatkowanie środków w trakcie realizacji

projektów będzie miało przełożenie na wartość docelową miernika. Zgodnie z

definicją GUS obejmuje on także wydatki finansowane z dotacji ze środków

31


europejskich,31 tym samym sam fakt wydatkowania dotacji (przyznanej na podstawie

ocenianych kryteriów) oznacza automatycznie wzrost wartości wskaźnika.

•••• Z punktu widzenia logiki interwencji priorytetu inwestycyjnego 3c, kluczowe wydaje

się jednak, aby oczekiwany wzrost aktywności innowacyjnej opierał się przede

wszystkim na środkach prywatnych, a nie na wsparciu EFSI. Z tego punktu widzenia

może warto rozważyć wprowadzenie kryterium preferencji dla przedsięwzięć

zapewniających większy wkład prywatny, ponieważ sprzyjają one realizacji celu

szczegółowego. Uwaga ta dotyczy Poddziałania 1.3.1 POPW, Poddziałania 1.3.2

POPW32.

•••• Wyniki naboru w Poddziałaniu 1.3.1 wskazują na efektywnie niewielką zdolność

kryteriów rankingujących do różnicowania ocen projektów, szczególnie w sytuacji

dostępności dużej puli środków. Kluczowym zagadnieniem wydaje się być więc

bardziej selektywna ocena jakości projektów z perspektywy logiki działania, w

szczególności weryfikacja zasadności i jakości prac B+R, które wnioskodawca planuje

wdrożyć dzięki dotacji.

•••• Zgodnie z definicją GUS33 nakłady na działalność innowacyjną, składające się na

wskaźnik rezultatu, dotyczą wyłącznie innowacji produktowych i procesowych.

Tymczasem w kryteriach merytorycznych w działaniu 1.4 - etap II dopuszcza się także

innowacje marketingowe i organizacyjne, których finansowanie nie zawiera się we

wskaźniku rezultatu strategicznego PI 3c, tym samym nie wpisuje się w realizację celu

szczegółowego. W przyszłości warto więc rozważyć zawężenie form innowacji

dopuszczonych w tym Działaniu.

•••• W przypadku Działania 1.4 należy także sformułować pewne zastrzeżenia dotyczące

tego, na ile przyjęte kryteria wyboru pozwalają na wybór projektów najlepiej

wpisujących się w oczekiwane rezultaty interwencji.

− Po pierwsze, w ramach etapu I problemem jest zbyt ograniczona skala oceny w

kluczowych kryteriach dotyczących wnioskodawcy i wykonawcy audytu

wzorniczego. W przyszłości wskazane jest poszerzenie skali ocen do 4-5 punktów,

aby umożliwić większe zróżnicowanie ocen.

− Po drugie, w funkcjonującej dotychczas liście kryteriów w II etapie brakuje

narzędzia pozwalającego na ocenę tego, czy przedsięwzięcie, o wsparcie którego

ubiega się wnioskodawca jest de facto projektem wzorniczym oraz, czy faktycznie

opiera się na audycie wzorniczym przeprowadzonym w I etapie.

Kryteria wyboru projektów a

Pytania badawcze

�� Czy kryteria zapewniają wybór projektów przyczyniających się

31

Tego typu wydatki klasyfikowane są przez GUS jako „pozyskane z zagranicy”. 32

Zagadnienie to jest co prawda brane pod uwagę w ramach kryteriów rozstrzygających w Poddziałaniu 1.3.2, jednak wydaje się, że powinno być także uwzględnione w ramach kryteriów merytorycznych. 33

Działalność innowacyjna przedsiębiorstw w latach 2012-2014, GUS, Warszawa 2015 r.

32


wskaźniki produktu i rezultatu

bezpośredniego

do osiągania wartości docelowych wskaźników produktu i rezultatu bezpośredniego oraz wskaźników z ram wykonania? [pyt. 5, dotyczące kryteriów]

Kolejnym istotnym wymiarem oceny kryteriów wyboru projektów jest weryfikacja tego, na

ile pozwolą one na osiągnięcie wartości docelowych wskaźników produktu i rezultatu

bezpośredniego określonych na poziomie Programu oraz SzOOP. Co do zasady, nie

stwierdziliśmy w tym wymiarze większych problemów. Wynika to przede wszystkim ze

stosunkowo wąskiego katalogu mierników wybranych na etapie programowania, które

w większości realizowane są automatycznie wraz z przyznaniem dofinansowania i wynikają

z przyjętych definicji, a nie z pogłębionej oceny poszczególnych projektów. Dotyczy to

w szczególności głównie obecnego we wszystkich działaniach wskaźnika Liczba

przedsiębiorstw otrzymujących wsparcie oraz jego pochodnych, takich jak Liczba

przedsiębiorstw otrzymujących wsparcie lub Liczba przedsiębiorstw otrzymujących wsparcie

niefinansowe.

Tabela 8. Zestawienie wskaźników na poziomie działań i poddziałań

Priorytet

inwestycyjny

Działanie/

poddziałanie Wskaźnik Status

34

3a

1.1.1

Liczba przedsiębiorstw otrzymujących wsparcie P

Liczba przedsiębiorstw otrzymujących dotacje P

Liczba przedsiębiorstw otrzymujących wsparcie niefinansowe P

Liczba nowych przedsiębiorstw powstałych przy wsparciu IOB RB

Liczba nowych przedsiębiorstw wspartych przez IOB gotowych do

rozpoczęcia działalności rynkowej RB

1.1.2

Liczba przedsiębiorstw objętych wsparciem w celu wprowadzenia

produktów nowych dla firmy P


Liczba wprowadzonych innowacji RB

Liczba wprowadzonych innowacji produktowych RB

3b 1.2



Liczba przedsiębiorstw wspartych w zakresie internacjonalizacji

działalności P

Liczba przedsiębiorstw, które wprowadziły zmiany organizacyjno-

procesowe P

Liczba przygotowanych do wdrożenia modeli biznesowych RB

3c 1.3.1



Inwestycje prywatne uzupełniające wsparcie publiczne dla P

34

P - wskaźnik produktu, RB - wskaźnik rezultatu bezpośredniego.

33


Priorytet

inwestycyjny

Działanie/

poddziałanie Wskaźnik Status

34

przedsiębiorstw


produktów nowych dla rynku P

Liczba przedsiębiorstw wspartych w zakresie wdrożenia wyników

prac B+R P



Liczba wdrożonych wyników prac B+R RB

1.3.2



Inwestycje prywatne uzupełniające wsparcie publiczne dla

przedsiębiorstw P





Wzrost zatrudnienia we wspieranych przedsiębiorstwach RB

1.4




produktów nowych dla firmy P





Ponieważ wskaźnik Liczba przedsiębiorstw otrzymujących wsparcie jest podstawą ram

wykonania I OP POPW, oznacza to, że kryteria wyboru projektów są z ich perspektywy

neutralne. Każdy projekt dofinansowany w dowolnym działaniu wpisuje się w horyzontalny

wskaźnik produktu. Jednym wyjątkiem jest sytuacja ponownego otrzymania wsparcia przez

tę samą firmę, co dotyczy drugich etapów działań 1.2 oraz 1.4, w których wskaźnik obejmuje

jedynie I etap. Wartość docelową wskaźnika definiują więc ogólne parametry interwencji

(np. minimalna i maksymalna wartość wsparcia), a nie kryteria wyboru. Nie mają one też

wpływu na wartość pośrednią w 2018 r. która będzie konsekwencją harmonogramu

konkursów, którego ocena nie jest przedmiotem tej ewaluacji.

34


5 Ustalenia i wnioski badawcze, dotyczące kryteriów oceny

projektów w zakresie ich trafności i użyteczności

Poniżej prezentujemy analizy i wnioski, dotyczące stosowanego zestawu kryteriów oceny

oraz ich trafności, w oparciu przede wszystkim o analizę kryteriów w zestawieniu z celami

interwencji dla danego Działania, a także częściowo – dla Działań dla których zakończone

zostały oceny ex post – w oparciu o analizę wyników naborów i przeprowadzone wywiady z

członkami komisji oceny projektów i przedstawicielami PARP. W ramach rozdziału są

udzielone odpowiedzi na 4 pytania badawcze, dotyczące tej sfery badania.

Pytanie badawcze

�� Czy zaproponowany katalog kryteriów jest spójny i zapewnia całościową ocenę

projektu? [pyt. 6, dotyczące kryteriów]

Spójność kryteriów i całościowość oceny oznacza z jednej strony sytuację polegającą na tym,

że w procesie oceny nie ma kryteriów, których zakres jest do siebie zbliżony (lub które wręcz

nachodzą na siebie), z drugiej zaś strony wymóg, aby w procesie oceny były brane pod

uwagę wszystkie istotne kwestie, związane z celami danego działania. Dodatkowo ważne

jest, aby brzmienie kryteriów i ich uszczegółowienie było spójne z innymi elementami

systemu oceny projektów, przede wszystkim z kształtem wniosku projektowego i instrukcji

wypełniania wniosku.

W przypadku ograniczonej liczby kryteriów, w rozdziale 7 zasugerowano dokonanie pewnych

korekt. Niektóre zmiany miały mieć charakter bardziej kosmetyczny i koncentrowały się na

kwestiach stylistycznych, tak aby sformułowanie samego kryterium i jego uszczegółowienie

było jasne zarówno dla samych wnioskodawców, jak i dla osób oceniających, a także, aby

były wewnętrznie spójne (chodzi tu zachowanie odpowiedniej logiki pomiędzy treścią

kryterium i jego szczegółowym opisem). Tego typu propozycje zmian zostały opisane w

rozdziale 7 raportu.

W przypadku jednego z kryteriów w ramach Działania 1.4 POPW - etap 1 - miała miejsce

nietypowa sytuacja, gdyż samo brzmienie kryterium dotyczącego wpisywania się projektu w

obszar regionalnych inteligentnych specjalizacji województw Polski Wschodniej, wspólnych

dla co najmniej 2 regionów, nie było spójne z jego opisem w instrukcji do wniosku

projektowego, a także formą wypełniania odpowiedniego punktu w generatorze wniosków.

Warto przy tym zaznaczyć, że rozwiązanie ostatecznie zastosowane w generatorze wniosków

należy ocenić ze wszech miar korzystnie, ułatwiało ono przygotowanie wniosku, jak i proces

jego oceny. Na przyszłość jednak warto rozważyć zastosowanie rozwiązania przyjętego w

generatorze wniosków, tylko jasne opisanie go w przyjętych kryteriach, tak, aby usunąć

pojawiającą się sprzeczność pomiędzy oboma rodzajami dokumentów (analogiczna sytuacja

występuje w tym samym kryterium w Poddziałaniu 1.1.2 - kryterium merytoryczne nr 5).

35


W nielicznych przypadkach (poddziałanie 1.1.1) zidentyfikowaliśmy też częściowe

pokrywanie się zakresu poszczególnych rodzajów kryteriów merytorycznych, jak na przykład

kryterium merytorycznego nr 2 (Panel Ekspertów) i punktowanego rankingującego nr 11

(kryteria dotyczące doświadczenia wnioskodawcy w preinkubacji i inkubacji przedsiębiorstw

typu startup). Fakt ten nie miał jednak zasadniczo niekorzystnych konsekwencji dla całego

systemu oceny, sugeruje się pozostawienie jednego z nich - kryterium punktowanego

rankingującego nr 11 i rezygnację z kryterium merytorycznego nr 2.

Generalnie jednak należy uznać, że powyższe kwestie dotyczyły tylko wybranych działań i nie

miały kluczowego wpływu na jakość oceny projektów. Dla większości analizowanych działań i

poddziałań zastosowany katalog kryteriów był zatem spójny i pozwalał na całościową ocenę

przedkładanych projektów.

Pytanie badawcze

�� Czy liczba kryteriów jest wystarczająca do rzetelnej oceny projektu? Jeśli nie, to z

jakiego powodu i jakie zmiany są konieczne? [pyt. 7, dotyczące kryteriów]

Znaczna część kryteriów formalnych była zbliżona dla wszystkich działań i poddziałań, w tym

wspomniane dalej kryteria, które wynikały z obowiązujących przepisów prawa. Poniżej

wskazujemy kryteria formalne, które były wymagane w ramach wszystkich działań I Osi

Priorytetowej POPW (kryteria te – w zależności od działania/poddziałania – stanowiły ok. 40-

60% ogólnej liczby kryteriów formalnych):

1) Kryteria formalne – wnioskodawca:

a) Wnioskodawca nie podlega wykluczeniu z możliwości uzyskania wsparcia w

ramach poddziałania.

b) Projekt jest realizowany na terytorium makroregionu Polski Wschodniej.

2) Kryteria formalne - projekt

a) Przedmiot projektu nie dotyczy rodzajów działalności wykluczonych z możliwości

uzyskania wsparcia w ramach [danego działania / poddziałania].

b) Realizacja projektu mieści się w ramach czasowych [danego działania /

poddziałania].

c) Projekt jest zgodny z zasadami horyzontalnymi wymienionymi w art. 7 i 8

Rozporządzenia Parlamentu Europejskiego i Rady (UE) nr 1303/2013.

3) Kryteria formalne - wniosek

a) Złożenie wniosku we właściwej instytucji.

b) Złożenie wniosku w terminie wskazanym w ogłoszeniu o konkursie.

Część kryteriów formalnych była jednak odmienna i specyficzna w kontekście

wymogów/kształtu danego działania/poddziałania, ale częściowo miały one charakter

powtarzalny dla większej liczby działań, jak na przykład wymogi związane z minimalną

wielkością obrotów (Działania 1.2 i 1.4, Poddziałanie 1.3.1), wielkością zatrudnienia

36


(Poddziałanie 1.3.1, Działanie 1.4), czy też okresem prowadzonej działalności gospodarczej

(Działania 1.2 i 1.4), a wreszcie prawidłowością wyboru wykonawcy strategii wzorniczej, czy

też nowego modelu biznesowego, związanego z internacjonalizacją (Działania 1.2 i 1.4). W

przypadku niektórych działań i poddziałań można też zidentyfikować kryteria formalne

związane z istotą danego działania, takie jak składanie wniosku przez konsorcjum składające

się z co najmniej 10 MŚP (Poddziałanie 1.3.2), czy też członkostwo Wnioskodawcy w

ponadregionalnym powiązaniu kooperacyjnym z Polski Wschodniej (Poddziałanie 1.3.2).

Z kolei liczba stosowanych kryteriów merytorycznych w ramach poszczególnych działań I OP

POPW była zróżnicowana, czego dobrym odzwierciedleniem jest poniższa tabela.

Tabela 9. Liczba kryteriów merytorycznych w ramach poszczególnych działań I Osi Priorytetowej POPW35

Działanie/podziałanie Liczba kryteriów

merytorycznych dostępu

Liczba kryteriów merytorycznych rankingujących

Łączna liczba kryteriów merytorycznych

Poddziałanie 1.1.1 12 11 23

Poddziałanie 1.1.2 - - 936

Działanie 1.2 – etap 1 5 3 8

Działanie 1.2 – etap 2 4 0 4



Działanie 1.4 – etap 1 - - 737

Działanie 1.4 – etap 2 - - 738

Źródło: opisy kryteriów dla poszczególnych działań i poddziałań I Osi Priorytetowej POPW.

Jak widać, liczba kryteriów merytorycznych (także w ramach poszczególnych rodzajów

kryteriów merytorycznych), dla wybranych działań I Osi Priorytetowej POPW, była dość

znaczna. W szczególności tego typu wniosek można wysnuć dla poddziałania 1.3.1, w ramach

którego zastosowano 5 kryteriów merytorycznych dostępu i aż 11 kryteriów merytorycznych

rankingujących, a także – choć w znacznie mniejszym stopniu - poddziałania 1.1.1 w ramach

którego zastosowano 12 kryteriów merytorycznych i 11 kryteriów merytorycznych

rankingujących (w tym jednak przypadku nie stanowiło to istotnego problemu, a nawet było

częściowo uzasadnione, ze względu na ograniczoną spodziewaną i faktyczną liczbę

składanych wniosków). Bardzo znaczna liczba kryteriów została też zaprojektowana w

ramach Poddziałania 1.3.2 – w jego ramach zostało zaprojektowanych 14 merytorycznych

kryteriów dostępu i 9 kryteriów merytorycznych rankingujących. W tym przypadku trudno

jest jednak powiedzieć, na ile będzie to stanowić problem z punktu widzenia

35

Myślnik w poniższej tabeli oznacza brak danego typu kryteriów w przypadku konkretnego Działania/Poddziałania. 36

Są to tylko kryteria merytoryczne (Panel ekspertów) 37

Są to tylko kryteria merytoryczne (Panel ekspertów) 38

Są to tylko kryteria merytoryczne

37


wnioskodawców i osób oceniających; trwa bowiem pierwszy nabór wniosków. Poddziałanie

to ma dość złożony charakter, więc taka liczba kryteriów może się okazać uzasadniona, choć

na pewno proces oceny może być nieco dłuższy.

Znacznie większe zróżnicowanie można zauważyć - co zrozumiałe - w przypadku kryteriów

merytorycznych. W przypadku większości działań został zastosowany podział na kryteria

dostępu i kryteria rankingujące, dodatkowo w przypadku prawie wszystkich działań zostały

też zaprojektowane kryteria rozstrzygające (z wyjątkiem Działania 1.4, w którym jednak de

facto tego typu rolę odgrywało kryterium poziomu bezrobocia w powiecie, w którym

znajduje się lokalizacja projektu). Ważnym czynnikiem było też to, że część

działań/poddziałań była podzielona na dwa etapy lub też w inny sposób była ze sobą

powiązana (Działania 1.2 i 1.4 oraz para: Podziałanie 1.1.1 - Poddziałanie 1.1.2). W takich

przypadkach kryteria dla drugiego etapu miały na ogół charakter znacznie uproszczony i

skrócony.

W przypadku niektórych działań stosowane skale ocen miały charakter zerojedynkowy; na

przykład w ramach drugich etapów Działań 1.2 i 1.4, co jest całkowicie zrozumiałe i

uzasadnione, w sytuacji, gdy dane działanie jest skonstruowane w taki sposób, że ocena w

ramach II etapu ma silnie uproszczony charakter. W przypadkach pozostałych działań

dominowała mieszanka kryteriów zerojedynkowych i kryteriów o bardziej wydłużonej skali

ocen. W najmniejszym stopniu dłuższe skale ocen (oprócz wcześniej wspomnianych działań)

stosowano w ramach Działania 1.4 - etap I (czego efektem są rekomendacje wydłużenia skali

ocen w przypadku dwóch kluczowych kryteriów tj. kryterium merytorycznego nr 1

dotyczącego wiedzy, sprecyzowanych oczekiwań i determinacji wnioskodawcy oraz

kryterium merytorycznego nr 5 dotyczącego potencjału wykonawcy), a najbardziej

rozwinięte skale ocen zastosowano w ramach Poddziałań 1.1.1 i 1.1.2, a także 1.3.1 i 1.3.2.

W przypadku większości działań i poddziałań można uznać, że liczba stosowanych kryteriów

pozwalała na odpowiednią, kompleksową ocenę analizowanych projektów. Niekiedy była

ona nieco zbyt duża, co mogło powodować wydłużanie procesu oceny (wnioskodawcy mogli

mieć problemy z takim przygotowaniem wniosku, aby maksymalizować ocenę w ramach

znaczącej liczby stosowanych kryteriów, z drugiej zaś strony, mogło to też utrudniać osobom

oceniającym dokonanie oceny projektu).

Pytanie badawcze

�� Czy wszystkie kryteria są użyteczne, tj. czy są jakieś kryteria, które należałoby

usunąć? Jeśli tak, to jakie i dlaczego? [pyt. 10, dotyczące kryteriów]

Elementem analizy była też identyfikacja kryteriów, których użyteczność jest dyskusyjna lub

też które mają zakres zbliżony do innych kryteriów. W ramach analizowanych działań

zidentyfikowano bardzo ograniczoną liczbę kryteriów, z których należałoby zrezygnować,

38


gdyż nie są odpowiednio powiązane z logiką interwencji lub też pokrywają się z innymi

zastosowanymi kryteriami. Do tych kryteriów należałoby zaliczyć:

• W ramach Poddziałania 1.1.1 POPW sugerujemy rezygnację z kryterium zero-

jedynkowego nr 2 ("Wnioskodawca i partnerzy z sektora instytucji otoczenia biznesu

/.../ posiadają doświadczenie w preinkubacji /.../") jako pokrywającego się z

kryterium punktowanym nr 11 ("Doświadczenie Wnioskodawcy i partnerów w

preinkubacji i inkubacji przedsiębiorstw typu startup").

• W ramach poddziałania 1.1.2 rezygnacja z zastosowania kryterium merytorycznego

(Panel Ekspertów) nr 5 ("Przedmiot projektu wpisuje się w zakres regionalnych

inteligentnych specjalizacji wspólnych dla co najmniej dwóch województw z Polski

Wschodniej") jako kryterium rozstrzygającego ze względu na wysoki poziom jego

uznaniowości

• W ramach Działania 1.4 etap 1 sugerujemy rozważenie rezygnacji z kryterium

merytorycznego nr 7 (dotyczącego stopy bezrobocia w powiecie – siedzibie

wnioskodawcy, jako mającego olbrzymi wpływ na wybór projektów, a jednocześnie

bardzo ograniczony związek z logiką interwencji).

Zmiany ww. kryteriów zostały szczegółowo opisane w rozdziale 7 raportu.

Ponadto w przypadku jednego z działań proponujemy uzupełnienie listy kryteriów.

W przypadku Działania 1.4 - etap 1 - można w przyszłości rozważyć uzupełnienie kryteriów

formalnych o kryterium dotyczące tego, czy przedmiotem projektu jest faktycznie realizacja

audytu wzorniczego, prowadzącego do opracowania strategii wzorniczej. Brak takiego

kryterium powodował trudności w odrzuceniu na etapie oceny formalnej projektów, które

były składane przez kwalifikowalnych wnioskodawców, ale których istota odbiegała znacząco

od zakresu tego Działania. Najpierw jednak, wobec niejednoznaczności obu pojęć, należałoby

je doprecyzować i udoskonalić ich definicje, a dopiero potem ewentualnie dodawać

odpowiednie kryterium. Jego oparcie na dopracowanych definicjach spowoduje, iż będzie

ono użyteczne.

Pytanie badawcze

�� Czy prawidłowo (zgodnie z przepisami obowiązującego prawa krajowego i unijnego

oraz innych dokumentów programowych) określono wymogi zawarte w kryteriach

wyboru projektów? [pyt. 8, dotyczące kryteriów]

W celu oceny, czy w kryteriach właściwie określono wymogi wobec projektów - tj. zgodnie z

przepisami obowiązującego prawa krajowego i unijnego - przeanalizowano zasady

39


konstruowania kryteriów, które są określone w Wytycznych w zakresie trybów wyboru

projektów na lata 2014-202039 w rozdziale 5 „Kryteria wyboru projektów”.

Poniżej prezentujemy podsumowanie wymogów zawartych w wytycznych i faktycznego

kształtu kryteriów w ramach I OP POPW.

Tabela 10. Wymogi dotyczące kryteriów i ocena ich spełnienia

Wymóg Sposób spełnienia

Zatwierdzenie kryteriów przez Komitet Monitorujący

(r. 5 pkt. 5)

Spełnione, wszystkie kryteria zostały zatwierdzone przez Komitet Monitorujący POPW do końca stycznia 2016 roku, a ewentualne przygotowywane zmiany też będą dyskutowane i zatwierdzane przez Komitet.

Składanie się każdego kryterium

z nazwy, definicji oraz opisu

jego znaczenia

(r. 5 pkt. 7)

Spełnione, informacje zawarte w opisie kryterium zawierają

następujące elementy: nazwę kryterium, opis kryterium, sposób

oceny tj. liczbę punktów i wymagane minimum, co jednak

można uznać za spełnienie wymogu.

Uwzględnienie kryteriów, które

wynikają wprost z

obowiązującego prawa, np.

kryteria związane z zakazem

udzielania dofinansowania

podmiotom wykluczonym z

takiej możliwości lub wobec

których orzeczono zakaz

dostępu do środków funduszy

europejskich na podstawie

odrębnych przepisów

(r. 5 pkt. 8)

Spełnione, w grupie kryteriów formalnych, dotyczących

wnioskodawcy.

Systematyka lub rodzaje

kryteriów mogą być ustalane

przez właściwe instytucje w

szczególności według

następujących kategorii:

a) obligatoryjne i fakultatywne;

b) zerojedynkowe i punktowe;

c) indywidualne

(r. 5 pkt. 9)

Co do zasady spełnione; w systemie stosowane są kryteria

obligatoryjne i fakultatywne, oparte o ocenę zerojedynkową i

punktację opartą o skalę ocen, a także kryteria indywidualne i

porównawcze40.

39

„Wytyczne w zakresie trybów wyboru projektów na lata 2014-2020”, Ministerstwo Infrastruktury i Rozwoju, MIiR/H 2014-2020/9(01)/03/2015, Warszawa 31 marca 2015. 40

Kryteria indywidualne to kryteria, w przypadku których ocena nie jest w żaden sposób powiązana z oceną innych projektów, zaś kryteria porównawcze (stosowane na przykład w ramach Poddziałania 1.1.1) polegają na ocenie danego projektu w powiązaniu z oceną innych projektów, składanych w danym działaniu; tego typu ocena ma zatem charakter relatywny.

40


Wymóg Sposób spełnienia

Opisanie zasad przyznawania

punktacji w ramach

poszczególnych kryteriów

(r. 5 pkt. 12).

Spełnione, stosowane są różne formy punktacji – tak/nie, 0-1

oraz większe skale ocen, a także jest wskazana minimalna

wymagana liczba punktów.

Analizowane kryteria pozostają też w pełni zgodne z odpowiednimi przepisami prawa, a

także obowiązującymi wytycznymi, chociaż w olbrzymiej większości dotyczą one nie tyle

samego brzmienia kryteriów, ale całej procedury formalnej wyboru projektów i zapewnienia

jej odpowiedniej przejrzystości i obiektywności, co omówiliśmy już w rozdziale 5 niniejszego

raportu.

41


6 Ustalenia i wnioski badawcze, dotyczące technicznych aspektów

budowy kryteriów i dostosowania kryteriów do etapów

procedury oceny

W niniejszym rozdziale raportu udzielono odpowiedzi na dwa pytania badawcze odnoszące

się bezpośrednio do problematyki technicznych aspektów budowy kryteriów oraz pytanie

dotyczące dostosowania kryteriów wyboru do poszczególnych etapów procedury oceny.

Odpowiedzi na pytania badawcze poprzedzamy krótkim wprowadzeniem.

Przedmiotem ewaluacji kryteriów oceny projektów w analizowanych działaniach i

poddziałaniach I OP POPW stały się kwestie związane z technicznymi aspektami konstrukcji

kryteriów41. Sprawy te należy uznać za równie ważne, jak wcześniej omówione, dotyczące

adekwatności kryteriów z punktu widzenia odwzorowania logiki interwencji, czy też ich

trafności i użyteczności w systemie oceny. Ewidentnym jest bowiem, że wadliwa postać

konstrukcji technicznej kryteriów będzie negatywnie wpływać na ocenę wszystkich

pozostałych elementów systemu oceny, gdyż ewentualny brak precyzji, jednoznaczności, czy

też zrozumiałości kryteriów powoduje istotne ograniczenia, a w ekstremalnych przypadkach

może uczynić kryteria bezużytecznymi, jeśli chodzi o ich wykorzystanie w procesie oceny

wniosków.

Nieco innym zagadnieniem (jednak również powiązanym z techniczną postacią kryteriów

oceny) jest to, czy poszczególne kryteria odpowiadają logice (przedmiotowi) procesu oceny

wniosków, który jest wieloetapowy. Czy zatem, zostały one odpowiednio dopasowane do

poszczególnych etapów oceny.

Pytania badawcze

�� Czy kryteria posiadają zrozumiałe, precyzyjne i jednoznaczne nazwy, opisy, sposoby oceny i wagi punktowe? [pyt. 2, dotyczące kryteriów]

�� Jeśli kryteria nie są właściwie wyjaśnione, to jakich zmian należy dokonać aby poprawić ich przejrzystość/zrozumiałość? [pyt. 3, dotyczące kryteriów]

W niniejszym rozdziale skupiamy się na technicznych aspektach budowy kryteriów, które

uznajemy za najważniejsze42.

Prawidłowość skalowania kryteriów oceny (skale w kryteriach)

Biorąc pod uwagę prawidłowość skal oceny stosowanych w kryteriach, to można

zidentyfikować następujące kwestie:

41

Udzielając odpowiedzi na pytania dotyczące technicznej strony budowy kryteriów, aspekt ten rozumiany był szeroko. Chodziło zarówno o ocenę zrozumiałości, precyzji i jednoznaczności opisu poszczególnych kryteriów, jak również prawidłowość stosowanych w nich wag punktowych i sposobów oceny. 42

W rozdziale 7 raportu wskazujemy na pewne ulepszenia lub zmiany w opisach, sprowadzające się do korekty formy / stylu opisu, czy też wykreślenia / wprowadzenia dodatkowego słowa / słów.

42


•••• W kryteriach merytorycznych (Panelu Ekspertów), w przypadku Poddziałania 1.1.1

POPW problemem okazuje się stosowanie skal zero-jedynkowych do oceny

zagadnień, z natury rzeczy stopniowalnych (obecnie ocena jest dwuelementowa:

kryterium spełnione, nie spełnione). Jednak, w takiej sytuacji, z uwagi na

stopniowalność ocenianych spraw, w ocenie tego rodzaju powinny być stosowane

szersze skale, odpowiadające co najmniej możliwym trzem stanom, tj.: 1 - spełnia 0,5

- spełnia częściowo, 0 - nie spełnia - z ustaleniem minimalnego warunku na poziomie

"1 - spełnia". Taki układ ułatwia ocenę ekspercką, bowiem rzadko kiedy oceniany stan

w ogóle nie jest spełniony. Rozwiązanie takie prowadzi zatem do uczynienia procesu

oceny łatwiejszym - powoduje większą elastyczność po stronie oceniających (a także

ułatwia uzasadnienie oceny w przypadku odwołania wnioskodawcy od wyniku

oceny). Jest to efektem wprowadzenia oceny częściowej ("spełnia częściowo").

Oczywiście, rozwiązanie takie powinno być zawsze stosowane w przypadku

kryteriów, gdy służą one ocenie stanów/zjawisk, które są wyraźnie stopniowalne. W

innych działaniach / poddziałaniach problem ten ma mniejsze znaczenie (występuje

jeszcze w Działaniu 1.4 etap 1 - kryterium nr 5 <Wskazany wykonawca posiada

potencjał ...>, i w Poddziałaniu 1.1.2 POPW - kryterium nr 4 <Wnioskodawca

zapewnia personel podsiadający kompetencje niezbędne do realizacji projektu>, które

to kryteria służą ocenie stanów stopniowalnych).

•••• W skalach punktacji w kryteriach merytorycznych rankingujących (w Poddziałaniu

1.1.1 stosowane do oceny porównawczej wniosków), wskazane jest bardziej

precyzyjne określenie punktacji eksperckiej oceny jakościowej, opisanej skalą

spełnienia tego kryterium w stopniu (odpowiednio): "doskonałym" ..."dobrym" ...

"niskim". Tego rodzaju miarom jakościowym należy przypisywać jednoznaczne miary

punktowe, a nie przedziałowe, bowiem w przypadku miar przedziałowych bardzo

trudne jest (o ile w ogóle jest to możliwe) zróżnicowanie miary dla danego poziomu

oceny jakościowej. Innymi słowy, sposób zróżnicowania oceny staje się bardzo

skomplikowany - zawsze poważną trudność stanowić będzie zróżnicowanie punktacji

z przedziału np. 9-10 pkt dla kategorii oceny "doskonały" (co oznacza 9 pkt, a co 10

pkt ? - czym różni się ocena?). Zatem, w takich przypadkach należy stosować

jednoznaczne, jednoelementowe skale. Problem ten pojawia się także w kryteriach

merytorycznych (Panel Ekspertów) w Poddziałaniu 1.1.2 POPW (kryterium nr 3),

natomiast nie występuje w kryteriach merytorycznych rankingujących w Poddziałaniu

1.3.1 POPW (tu z kolei zawarta jest - prawidłowa - jednoelementowa skala skokowa -

jest to kryterium merytoryczne rankingujące nr 1 - Panel Ekspertów, dotyczące oceny

stopnia innowacyjności).

Jeśli chodzi o rozpiętość skal punktowych, to w przypadkach niektórych kryteriów można

zasugerować ich rozszerzenie, w celu umożliwienia większej elastyczności oceny i/lub

zwiększenia znaczenia danego kryterium w całym ich zestawie (w tym ostatnim przypadku,

polepszy to również dostosowanie kryteriów do zakładanej logiki interwencji). Najważniejsze

43


modyfikacje, polegające na rozszerzeniu skal oceny, dotyczą Działania 1.4 POPW, a w jego

ramach kryterium merytorycznego nr 1 i 5, które uznajemy za kluczowe w ocenie projektów

w etapie 1 tego Działania (są to na pewno dwa zasadnicze kryteria w ramach całego zestawu,

gdyż odnoszą się bezpośrednio do logiki interwencji tego Działania (na sprawę tą zwrócono

uwagę w rozdziale 4 raportu).

Więcej przykładów w zakresie modyfikacji skal znajduje się w rozdziale 7 raportu.

Jednoznaczność oceny

Kwestia ta dotyczy opisu sposobu oceny za pomocą danego kryterium. Mianowicie, dużej

uwagi wymaga opis sposobu oceny w kryteriach, w których jednoczesnej ocenie podlega

kilka elementów. Problem ten uznajemy za istotny, bowiem dotyczy wszystkich działań, w

których ocenia się "kwalifikowalność, racjonalność i uzasadniony charakter" wydatków

projektowych. Opis rozumienia tego rodzaju kryteriów musi być uzupełniony wyraźnym

wskazaniem, że przedstawione w nim warunki mają charakter koniunkcji - wszystkie muszą

być spełnione jednocześnie, co oznacza, że częściowe spełnienie kryterium nadal

dyskwalifikuje wniosek. Kryterium merytoryczne Wydatki w ramach projektu są

kwalifikowalne, racjonalne i uzasadnione obecne jest we wszystkich działaniach /

poddziałaniach I OP POPW. Należałoby je sformułować w następujący sposób „wydatki nie

są racjonalne lub wydatki są nieuzasadnione lub oceniający dokonali korekty wydatków

kwalifikowalnych powyżej progu procentowego określonego w Regulaminie Komisji Oceny

Projektów”.

Terminologia - definicje

Problemy dotyczące jasności i precyzyjności kryteriów mogą dotyczyć także definicji

pewnych pojęć. Ekspercka analiza kryteriów (w tym, uwzględnianych w nich definicji,

czerpanych z regulaminów konkursów), uzupełniona wnioskami z wywiadów indywidualnych

z ekspertami Panelu Ekspertów, wykazała, że z problemem takim mamy do czynienia w

Działaniu 1.4 POPW43.

W Działaniu 1.4 POPW chodzi o następujące pojęcia, kluczowe dla istoty tego działania, a

więc: "audyt wzorniczy" i "strategia wzornicza" (pojęcia opisane w Regulaminie konkursu)

oraz pojęcie "metodologii realizacji projektów wzorniczych" (to ostatnie pojęcie występujące

jedynie w opisie kryterium merytorycznego nr 3, etap 2). Istotne są tu następujące uwagi:

•••• W ramach obecnie funkcjonujących rozwiązań "strategia wzornicza" rozumiana jest

jako "raport z audytu", co jest dyskusyjne. Prawidłowy układ to, "audyt wzorniczy"

zakończony opracowaniem raportu, na podstawie którego powinna powstać

"strategia wzornicza" wnioskodawcy, rozumiana jako zestaw działań, które zamierza

43

w innych działaniach / poddziałaniach Wykonawca nie identyfikuje istotnych problemów w tym zakresie.

44


się podjąć, wynikających z audytu (tj. - zapewne - wprost opartych na jego

rekomendacjach).

•••• Wyjaśnienia wymaga również znaczenie pojęcia "metodologii realizacji projektów

wzorniczych" - co szczególnego charakteryzuje taką metodologię. Niestety

metodologia taka nie jest nam znana; co więcej, podobne zdania wyrażali również

eksperci Komisji Oceny Projektów, z którymi przeprowadzane były wywiady. W

przypadku trudności z doprecyzowaniem tego pojęcia, należałoby z niego

zrezygnować. W takiej sytuacji za wystarczające uznajemy odwoływanie się do /

badanie zgodności - np. wydatków ze wskazaniami strategii wzorniczej, a nie ich

zgodności z "metodologią realizacji projektów wzorniczych".

•••• W grupie problemów definicyjnych, charakterystycznych dla tego Działania, ważnym

wskazaniem jest rozważenie uzupełnienia kryterium formalnego, umożliwiającego

stwierdzenie, czy przedmiotem projektu jest rzeczywiście przeprowadzenie "audytu

wzorniczego", zgodnie z jego opisem, który umożliwi sformułowanie strategii

wzorniczej (uwzględnienie tego kryterium wymaga oczywiście wyjaśnienia

wspomnianych wcześniej problemów definicyjnych). Jest to uwaga bardzo

szczegółowa, specyficzna dla tego Działania, pokazuje jednak, że w przypadku

niektórych rodzajów interwencji, można wyraźnie zdefiniować jej oczekiwany

rezultat, a następnie - pod tym kątem - badać odzwierciedlenie tego rezultatu we

wniosku o wsparcie.

Terminologia – nazwy kryteriów

Należy zwrócić uwagę na niespójność nazw kryteriów pojawiających się w poszczególnych

działaniach i poddziałaniach na podobnych etapach oceny np.

•••• w Poddziałaniu 1.1.1 stosowana jest nazwa kryteria merytoryczne (Panel Ekspertów),

a w Poddziałaniu 1.3.1 i 1.3.2 używana jest nazwa kryteria merytoryczne dostępu

(Panel Ekspertów) - w Poddziałaniu 1.3.2 bez wskazania "Panel ekspertów",

•••• w Poddziałaniu 1.1.1 stosowana jest nazwa kryteria merytoryczne punktowane

rankingujące, a w poddziałaniu 1.3.1 używana jest nazwa kryteria merytoryczne

rankingujące (Panel Ekspertów).

Opisy kryteriów

Kwestią, która upodabnia się do wyżej opisanych problemów definicyjnych, jest konieczność

zapewnienia wyczerpujących i jasnych opisów kryteriów. Zasadniczo, nie zidentyfikowano

szczególnych problemów w tym zakresie poza dwoma przypadkami, które okazały się bardzo

ważne w praktyce, bowiem istotnie wpłynęły na cały przebieg oceny. A zatem:

•••• Problemy wywołało jedno z kryteriów, wykorzystywane w Poddziałaniu 1.3.1 POPW,

tj. kryterium merytoryczne dostępu (Panel Ekspertów) nr 4 Projekt dotyczy inwestycji

początkowej zgodnie z rozporządzeniem KE nr 651/2014. Trudności z interpretacją

tego kryterium mieli praktycznie wszyscy wnioskodawcy (projekty były w większości

45


błędnie przypisywane do danego typu inwestycji początkowej; trudności sprawiało

także wyliczenie wartości księgowej ponownie wykorzystywanych aktywów).

Konkludując, konieczne jest dopracowanie definicji tego kryterium, a ponadto - z

uwagi na skomplikowanie tego zagadnienia - opracowanie wytycznych, dotyczących

sposobu wyliczenia wartości księgowej ponownie wykorzystanych aktywów.

•••• Z problemem podobnej natury mamy do czynienia również w przypadku kryterium

formalnego specyficznego nr 4 w Działaniu 1.4 POPW i nr 3 w Działaniu 1.2, w

brzmieniu Wnioskodawca przeprowadził postępowanie ofertowe i dokonał wyboru

wykonawcy zgodnie z wymogami określonymi w Regulaminie Konkursu oraz podpisał

z nim umowę warunkową. Sposób opisu wymagań, dotyczących wyboru wykonawcy,

określony w Wytycznych w sprawie kwalifikowalności wydatków oraz stosunkowo

lakoniczny opis kryterium okazał się niewystarczający. Ostatecznie, w

przeprowadzonym konkursie w Działaniu 1.4 kryterium to sprawiło bardzo wiele

problemów, powodując konieczność żądania wyjaśnień i uzupełnień w przypadku

znacznej liczby wniosków. Miało to wpływ na czas realizacji procedur konkursowych.

Zatem, bez wątpienia, niezbędne jest lepsze opisanie tego kryterium oraz

odpowiednie zmodyfikowanie dokumentacji konkursowej (obecnie chodzi o

dokument opisujący "Wybór wykonawcy audytu wzorniczego /.../"; w Działaniu 1.4 w

pierwszym konkursie z 2015 r. dokument ten nie występował - odpowiednie

wskazania zawarte były w Regulaminie konkursu, który z kolei odsyłał do Wytycznych

w sprawie kwalifikowalności wydatków, które to - jak zaznaczono powyżej - były

źródłem zaistniałych problemów). Uogólniając, w takich przypadkach (szczególnych /

specyficznych wymogów) należy dążyć do prezentowania zarówno przykładów

rozwiązań, które uznaje się za nieprawidłowe, jak i rozwiązań prawidłowych. Zawsze,

gdy do praktyki działania przedsiębiorców przenosi się rozwiązania rzadko w tym

gronie stosowane, najlepiej jest operować przykładami, bowiem próby dalszego

uszczegółowienia opisu (próby uczynienia opisu bardziej precyzyjnym) i tak mogą

okazać się nie wystarczające, komplikując opis.

Pytanie badawcze

�� Czy kryteria wyboru projektów są adekwatne do poszczególnych etapów procedury oceny? [pyt. 9, dotyczące kryteriów]

Generalnie, nie budzi żadnych szczególnych zastrzeżeń dostosowanie kryteriów do

poszczególnych etapów oceny (ogólnie: do etapu oceny formalnej i etapu oceny

merytorycznej, a w tym ostatnim przypadku, z dalszym podziałem na ocenę merytoryczną o

charakterze dostępowym oraz ocenę rankingującą). Natomiast w niektórych sytuacjach

można wskazać na zasadność przesunięć kryteriów z grupy kryteriów merytorycznych do

grupy kryteriów formalnych, co wprost wynika z postaci niektórych z nich (z uwagi na swą

postać i zerojedynkową skalę oceny mogą być traktowane de facto jako kryteria formalne)

lub też - o czym wspomniano wcześniej - uzupełnienie zestawu kryteriów formalnych.

46


Jeśli chodzi o przesunięcie kryterium, to zabieg taki przyczynia się do większej

jednoznaczności całego zestawu, a także - co ważniejsze - "odciąża" ocenę merytoryczną,

która też - najczęściej - nie jest w takim przypadku adekwatna. Znakomitym przykładem tego

typu sytuacji jest kryterium merytoryczne nr 9 w Poddziałaniu 1.1.2 POPW Wnioskodawca

zapewnia wymagany wkład własny, w którym zerojedynkowa ocen ekspercka służy

stwierdzeniu, czy wnioskodawca zapewnia minimalny wymagany wkład (0 pkt - jeśli nie i 1

pkt - jeśli tak, a brak deklaracji minimalnego wkładu własnego dyskwalifikuje wniosek - w

zastosowanym rozwiązaniu, w kryterium tym ocenie podlega wyłącznie fakt zadeklarowania

minimalnego wkładu własnego).

Z podobną sytuacją mamy do czynienia w przypadku kryterium merytorycznego nr 6

Wskaźniki projektu są obiektywnie weryfikowalne i odzwierciedlają założone cele projektu w

Działaniu 1.4 POPW (w etapie 1), które powinno należeć do grupy kryteriów formalnych, ze

względu na zautomatyzowany sposób ustalania wszystkich wskaźników

47


7 Szczegółowe wnioski z analizy systemu wyboru projektów44

Poddziałanie 1.1.1 Platformy startowe dla nowych pomysłów

Ocena systemu wyboru projektów

Przeprowadzone badania jakościowe nie ujawniły żadnych istotnych problemów / dysfunkcji

systemu wyboru projektów w Poddziałaniu 1.1.1 POPW. Analiza stanowisk respondentów

badania, jak i opinie zespołu eksperckiego Wykonawcy wskazują, że system ten został

zaprojektowany prawidłowo, a jego funkcjonowanie okazało się skuteczne, doprowadzając

do wyboru w ramach pierwszego konkursu o wsparcie w Poddziałaniu trzech przedsięwzięć,

przewidujących uruchomienie i funkcjonowanie platform startowych dla innowacyjnych

projektów gospodarczych, odpowiadających logice interwencji (a więc, zgodnych z celem

szczegółowym interwencji). Uwzględniając element składowy systemu wyboru, jaki tworzy

zestaw kryteriów oceny projektów, cały analizowany system doprowadził do skutecznego

wyboru projektodawców, a jednocześnie okazał się wystarczająco selektywny, nie akceptując

do dofinansowania jednego z projektów, który odbiegał od logiki interwencji Poddziałania

1.1.1 POPW (ostatecznie zawarto trzy umowy na dofinansowanie spośród pięciu złożonych

wniosków).

Do mocnych stron systemu zaliczyć należy układ organizacyjny (w tym dokumenty formalne -

ogłoszenie o konkursie, Regulamin konkursu wraz z załącznikami) i funkcjonalny systemu

wyboru45, a przede wszystkim zaprojektowany przebieg oceny projektów, oparty na ocenie

formalnej (poprzedzonej weryfikacją aplikacji konkursowych z punktu widzenia

ewentualnych braków formalnych lub występowania oczywistych omyłek) oraz

merytorycznej, opartej na ocenie ekspertów tworzących Panel Ekspercki. Respondenci

badania szczególnie silnie podkreślali wysoką użyteczność i funkcjonalność rozwiązania w

postaci Panelu Eksperckiego, w ramach którego dokonywana była ocena merytoryczna.

Warto przy tym dodać, że uwzględniono je odwołując się do pozytywnych doświadczeń,

dotyczących selekcji projektów, które Polska Agencja Rozwoju Przedsiębiorczości miała

sposobność testować już nieco wcześniej - w latach 2013-201446. Mechanizm eksperckiej

oceny panelowej (z odpowiednimi modyfikacjami) przeniesiono do systemu wyboru

Poddziałania 1.1.1 POPW z bardzo dobrym skutkiem. W zakresie przebiegu oceny

merytorycznej przede wszystkim zwracają uwagę, dobrze oceniane rozwiązania, polegające

na:

44

Przedstawione poniżej wnioski odnoszą się wyłącznie do tych aspektów systemu, które wymagały zdaniem Wykonawcy zmiany. 45

Chodzi tu o odpowiednio zaprojektowany (i uregulowany w Regulaminie prac Komisji Oceny Projektów /.../ op. cit.) cały układ przebiegu oceny wniosków (podział ról i sekwencyjność oceny, sposób podejmowania rozstrzygnięcia o wyborze, procedura odwoławcza itp.). 46

W ramach projektu systemowego PARP pt. "Utworzenie i dokapitalizowanie Funduszu Pożyczkowego Wspierania Innowacji", realizowanego jako pilotaż w III Osi priorytetowej Programu Operacyjnego Innowacyjna Gospodarka (PO IG) na lata 2007-2013.

48


•••• włączeniu w proces oceny merytorycznej obligatoryjnej prezentacji prowadzonej

przez przedstawicieli wnioskodawców, obrazującej założenia wnioskowanych

projektów w kontekście kryteriów oceny merytorycznej,

•••• generowaniu oceny merytorycznej w trybie dyskusji / uzgodnienia oceny końcowej na

podstawie ocen indywidualnych poszczególnych ekspertów merytorycznych,

•••• zastosowanie kryteriów ocenianych metodą porównawczą47 (ustalenie oceny na

danym kryterium danego wniosku następuje z uwzględnieniem wszystkich

pozostałych, ocenianych wniosków - oznacza to tworzenie rankingu wniosków w

ramach poszczególnych kryteriów)48; w zakresie oceny porównawczej wskazać można

na przydatność uzupełnienia karty oceny wniosku o kartę towarzyszącą, na której

można by przedstawić, dla każdego kryterium merytorycznego, ranking wniosków w

ramach poszczególnych kryteriów. Tego rodzaju instrument ułatwiłby dyskusję

panelu Eksperckiego, prowadzącą do wypracowania ostatecznej oceny.

Duże znaczenie sprawnego przebiegu oceny wniosków miał również odpowiedni dobór

ekspertów do Panelu Ekspertów. Przyjęto rozwiązanie, polegające na wyborze 3 ekspertów,

posiadających wiedzę w zakresie wspierania przedsiębiorczości oraz o różnej specjalizacji

szczegółowej (ekspert specjalizujący się w zagadnieniach instytucji otoczenia biznesu /

inicjatywach tzw. parkowych, ekspert specjalizujący się w kwestiach współpracy pomiędzy

przedsiębiorstwami, w tym z uwzględnieniem dużych przedsiębiorstw oraz ekspert

specjalizujący się w finansowaniu kapitałowym). Oceniamy, że dobór ten był jak najbardziej

adekwatny oraz, że tego rodzaju model doboru ekspertów jest jak najbardziej wskazany i

wart stosowania w przyszłości (warto przy tym rozważyć możliwość pewnego - w sumie

niewielkiego - poszerzenia składu, np. o 2 osoby, co zapewni większą różnorodność ocen)49.

47

W tej kwestii należy odnotować pewną niespójność systemową w sferze regulacyjnej. Mianowicie, Regulamin Komisji Oceny Projektów Poddziałania 1.1.1 POPW stwierdza, że (§8. Zasady dokonywania oceny merytorycznej, Regulamin, str. 10): "ocena w ramach PE [Panelu Ekspertów] ma charakter porównawczy, tj. projekty złożone w odpowiedzi na konkurs są porównywane względem siebie w zakresie stopnia spełnienia poszczególnych kryteriów merytorycznych". W rzeczywistości jednak ocena porównawcza zachodzi tylko w przypadku niektórych kryteriów merytorycznych - nie obejmuje kryteriów merytorycznych zero-jedynkowych oraz jednego z kryteriów merytorycznych punktowanych w ramach skal (kryteria te omawiamy w dalszej części niniejszego raportu); w kryteriach oceny (załącznik 1 w dokumentacji konkursowej) wyraźnie zaznacza się te, w przypadku których znajduje zastosowanie ocena porównawcza. Odwołując się do litery Regulaminu, występuje tu zatem pewna niezgodność (raczej o charakterze formalnym - z oczywistych względów niektóre z kryteriów nie nadają się do stosowania jako porównawcze). Z tego rodzaju niezgodnością mamy do czynienia w przypadku kryteriów zero-jedynkowych oraz jednego z kryteriów merytorycznych punktowanych. W tej sytuacji należałoby uwzględnić wprowadzenie zastrzeżenia do odpowiedniego przepisu Regulaminu (§8 ust. 6), zaznaczając wyraźnie, że ocena porównawcza dotyczy tylko kryteriów wskazanych w dokumencie opisującym kryteria wyboru. 48

Pamiętając jednak, co zgodnie podkreślali respondenci badania jakościowego, że rozwiązanie to w pierwszym konkursie Poddziałania 1.1.1 było jak najbardziej właściwe z uwagi na niewielką liczbę wniosków skierowanych do oceny merytorycznej. 49

Rozwiązanie w postaci oceny dokonywanej przez Panel Ekspercki ma również swoje ograniczenia. Jego stosowanie staje się trudniejsze w przypadku, gdy oceniona musi być znaczna liczba wniosków (np. kilkaset). W

49


Inne dokumenty50 składające się na system wyboru projektów w Podziałaniu 1.1.1 POPW,

nie generowały żadnych szczególnych wątpliwości. Zdaniem respondentów badania, układ

dokumentacji jest standardowy, zrozumiały i dostępny wraz z zapewnieniem dobrze

zorganizowanego mechanizmu zadawania pytań, a także umożliwieniu konsultacji

telefonicznych w okresie naboru wniosków.

Ocena kryteriów wyboru projektów

Kryteria dla Poddziałania 1.1.1 obejmują:

− kryteria formalne (wnioskodawcy, projektu, wniosku i specyficzne),

− kryteria merytoryczne (Panelu Ekspertów, punktowane rankingujące) oraz

− kryteria rozstrzygające.

Formalne

Z analiz kryteriów formalnych wynika51, że kryteria te zostały zaprojektowane prawidłowo, w

tym adekwatnie do logiki interwencji całego Poddziałania 1.1.1 POPW. W trakcie oceny nie

wystąpiły szczególne problemy w identyfikacji zgodności aplikacji z wymogami formalnymi

(we wszystkich jej wymiarach tj.: wnioskodawcy, projektu, wniosku, kryteriów

specyficznych). Fakt spełnienia wymogów formalnych wynikał z oświadczeń wnioskodawców

/ wskazań zgodności z danym kryterium formalnym52 lub też zgodności określonych

czynności lub stanów faktycznych (np. złożenie wniosku we właściwej instytucji, złożenie

wniosku w wymaganym terminie wskazanym w ogłoszeniu o konkursie, złożenie jednego

wniosku w ramach niniejszego konkursu, nie występowanie wnioskodawcy w roli partnera w

innym wniosku w ramach tego samego konkursu). W związku z powyższym uznajemy, że

analogiczny układ kryteriów formalnych może być stosowany także w przyszłości.

Sugerujemy jednak rozważenie (w rezultacie ewentualną modyfikację) kryterium formalnego

specyficznego nr 2.

Kryterium formalne specyficzne nr 2 stwierdza, że Wnioskodawca posiada strategię rozwoju

swojej działalności <lub dokument równoważny>. W kryterium tym wskazuje się minimalną

zawartość strategii, a wnioskodawca oświadcza o posiadaniu takiej strategii (w której

zawarta jest wskazana minimalna zawartość). Jednak, w dalszym opisie kryterium stwierdza

się, że "ocenie podlega kompletność opisu strategii zgodnie z zakresem wymaganych

informacji", ale jednocześnie wskazuje się, że na tym etapie ocena bazuje na oświadczeniu

wnioskodawcy o posiadaniu strategii / odpowiedniego dokumentu.

takiej sytuacji ocena musi być dokonywana przez wiele odrębnych paneli. Oczywiście, powoduje to niemożliwość stosowania pełnej oceny porównawczej. 50 Ogłoszenie o konkursie, Zestawienie najczęściej zadawanych pytań i odpowiedzi, Podręcznik dla animatorów

platform startowych, Regulaminu konkursu wraz z załącznikami, Lista aktów prawnych. 51

Wywiady indywidualne (IDI). 52

Podstawą dyskwalifikacji jednego wniosku na etapie oceny formalnej była jego niezgodność z kryterium formalnym, dotyczących ram czasowych realizacji Poddziałania 1.1.1. We wniosku tym wskazano okres realizacji projektu, wykraczający poza maksimum wskazane dla niniejszego konkursu.

50


Na poziomie analizy formalnej dokonywanie oceny o charakterze merytorycznym

("kompletność opisu" - w znaczeniu nie tylko samego występowania, ale również zawartości)

nie jest właściwe53. Rekomendujemy zatem zmianę tego fragmentu w następujący sposób:

•••• wykreślenie pierwszego zdania drugiego akapitu opisu oraz

•••• uzupełnienie zdania drugiego, że zawartość posiadanej strategii / dokumentu

równoważnego odpowiada minimom określonym wcześniej w ramach tego kryterium

(co oświadcza wnioskodawca). Treść tego akapitu mogłaby przyjąć następujące

brzmienie: "Jako załącznik do wniosku o dofinansowanie Wnioskodawca przedkłada

oświadczenie, że posiada strategię rozwoju swojej działalności (lub dokument

równoważny), zawierającą co najmniej treści wskazane w kryterium formalnym

specyficznym nr 2".

Merytoryczne

Kryteria merytoryczne (zero-jedynkowe), w zasadzie bez większych komplikacji pozwalały na

skuteczną ocenę zgłoszonych do dofinansowania przedsięwzięć (wniosków). Zdaniem

ekspertów oceniających (a także odwołując się do wyników analizy przeprowadzonej przez

autorów niniejszego sprawozdania z badania kryteriów) treść tej grupy kryteriów odpowiada

logice interwencji przewidzianej w Poddziałaniu 1.1.1 POPW. Jednocześnie można wskazać

kilka kwestii związanych z niniejszą grupą kryteriów.

1) Niektóre z tych kryteriów pozostają bezpośrednio powiązane z kryteriami obecnymi

w grupie kryteriów merytorycznych punktowanych w ramach skal. Rozwiązanie to

nie budzi zastrzeżeń, bowiem kryteria punktowane umożliwiają dokonanie

uszczegółowionej oceny w ramach różnych jej wymiarów. Z sytuacją taką mamy do

czynienia w przypadku kryterium zero-jedynkowego nr 1 Realizacja projektu

angażuje biznesowe i społeczne partnerstwo /.../ oraz kryteriów punktowanych nr 1-

4 umożliwiających ocenę partnerstwa poprzez różne jego wymiary i siłę tworzonych

związków, wywoływanych dzięki realizacji zamierzonego przedsięwzięcia. Podobnie

jest, jeśli kryterium zero-jedynkowe zostaje uzupełnione kryterium punktowanym,

ale gdy to drugie ma charakter porównawczy (a więc umożliwia ocenę

porównawczą pod kątem tego kryterium wszystkich wniosków). Pewne wątpliwości

budzi natomiast sytuacja, gdy kryterium zero-jedynkowe jest uzupełnione kryterium

punktowanym, ale, gdy oba te kryteria pokrywają się, a kryterium punktowane nie

53

W systemie oceny Poddziałania 1.1.1 jakościowa ocena strategii rozwoju wnioskodawcy wchodzi w zakres oceny merytorycznej (punktowanej w ramach skali - kryterium nr 8), przy czym dokonywana jest na podstawie opisu strategii załączonego do wniosku, zawierającego odniesienia do dokumentu głównego (oceniana jest zgodność strategii z celami projektu, na realizację którego składany jest wniosek o dofinansowanie). Jednocześnie, fakt załączenia opisu nie stanowi elementu oceny formalnej, co oznacza, że w przypadku braku opisu nie zostanie spełnione minimum dla tego kryterium. Być może, intencją opisu uwzględnionego w kryterium formalnym było zaznaczenie, że strategia oceniana jest w ramach oceny merytorycznej - literalnie jednak, nie wygląda na to.

51


ma charakteru porównawczego. Sytuacja taka występuje w przypadku kryterium

zero-jedynkowego nr 2 Wnioskodawca i partnerzy z sektora instytucji otoczenia

biznesu /.../ posiadają doświadczenie w preinkubacji /.../" oraz (odpowiadającego

mu) kryterium punktowanego rankingującego nr 11 Doświadczenie Wnioskodawcy i

partnerów w preinkubacji i inkubacji przedsiębiorstw typu startup. W takim

przypadku możliwe byłoby zrezygnowanie z kryterium zero-jedynkowego i

pozostawienie w systemie wyłącznie kryterium punktowanego. W takiej sytuacji

konieczne byłoby ustalenie jego minimum na poziomie "0" (dla liczby pre- i/lub

inkubowanych projektów poniżej minimum) i jednocześnie wyznaczenie minimum

oceny na poziomie "1" (dla minimalnie wymaganej liczby pre- i inkubacji). Opisany

przypadek stanowi pewne pole do nieznacznego uproszczenia całego zestawu

kryteriów (w sumie jednak stoimy na stanowisku, że z uwagi na jednostkowość tej

sytuacji w systemie kryteriów - nie ma to specjalnego znaczenia).

2) Zdaniem ekspertów uczestniczących w ocenie wniosków, pewnych trudności

nastręczały kryteria zero-jedynkowe odwołujące się do cech stopniowalnych. W

analizowanym zestawie jest tak w przypadku kryterium nr 5 Wnioskodawca zapewni

świadczenie usług wysokiej jakości, spełniających standardy krajowe lub

międzynarodowe, w którym wymaga się dokonania oceny jakości usług,

świadczonych w ramach dofinansowanego projektu. De facto, w kryterium tym

dokonuje się oceny posiadania / stosowania standardu zarządzania, w oparciu o

opis przedstawiony we wniosku (ten aspekt oceny należy do wykonalnych /

łatwych). Jednak, z oczywistych powodów, ocena staje się o wiele trudniejsza (o ile

w ogóle wykonalna), jeśli ma umożliwić stwierdzenie poziomu jakości planowanych

usług (np. niska / przeciętna / wysoka jakość). Naturalnie, wiele zależeć będzie od

opisu znajdującego się we wniosku, pamiętając jednak, że wciąż będzie to opis,

w przypadku którego trudno będzie stwierdzić, w jakim stopniu oddaje on

rzeczywistość. Rozwiązaniem tego rodzaju problemu mogłoby być odmienne

sformułowanie tego kryterium, np. w następujący sposób: "Wnioskodawca zapewni

świadczenie usług, opartych na systemie zarządzania, gwarantującym spełnienie

krajowych i/lub międzynarodowych standardów świadczenia takich usług". Ekspert

oceniający dokonywałby weryfikacji tego kryterium w oparciu o opis we wniosku

odnoszący się wprost do tego kryterium. Uzupełniającym tę ocenę nadal byłoby

(podobnie jak jest obecnie) kryterium merytoryczne punktowane rankingujące nr 7

Wnioskodawca oraz partnerzy posiadają potencjał finansowy, techniczny i

organizacyjny do świadczenia usług /.../54. Co prawda, dotyczy ono określonych

potencjałów (w tym jednak także potencjału organizacyjnego), ale na pewno przyjąć

54

Właściwsze byłoby opieranie oceny jakości usług, realizowanych w przyszłości, nie na ocenie jakości jako takiej (w zasadzie domniemaniu), ale raczej na ocenie określonych potencjałów (np. organizacyjnych, ludzkich), których obecność uprawdopodobnia, że usługi wysokiej jakości będą rzeczywiście dostępne.

52


można, że występowanie wspomnianych potencjałów raczej przemawia za

możliwością realizacji usług o odpowiedniej (a więc wysokiej) jakości, niezbędnych z

punktu widzenia potrzeb preinkubowanych i inkubowanych przedsięwzięć w

ramach platformy startowej.

3) Eksperci oceniający projekty wskazują również na problem elastyczności oceny

kryteriów merytorycznych zero-jedynkowych. W obecnie stosowanym rozwiązaniu

wykorzystywana skala ma charakter zero-jedynkowy, przy czym wartość zerowa na

danym kryterium dyskwalifikuje wniosek (wszystkie kryteria muszą być spełnione;

nie ma znaczenia łączna liczba punktów uzyskanych w ramach kryteriów

punktowanych rankingujących).

Przynajmniej w niektórych przypadkach taki dwuelementowy miernik kryteriów (0

lub 1) może powodować trudność w ocenie. Za dobry przykład posłużyć tu mogą

wyniki oceny jednego z wniosków, ostatecznie nie zakwalifikowanego do

otrzymania wsparcia. Na kryterium zero-jedynkowym nr 1 Realizacja projektu

angażuje biznesowe i społeczne partnerstwo /.../ wniosek ten otrzymał 0 punktów

(poziom dyskwalifikujący). Jednocześnie w ramach kryterium punktowanego nr 4

Zaangażowanie innych instytucji otoczenia biznesu <fundusze Venture Capital/.../>

jako uczestnika ekosystemu przyznano mu 10 punktów (ocena maksymalna), ale w

pozostałych trzech, powiązanych kryteriach punktowanych (nr 1-3) otrzymał 0

punktów - na każdym z tych kryteriów. Oceniony tu bardzo dobrze element

(kryterium nr 4) zaangażowania funduszy venture capital niewątpliwie stanowi

element tzw. ekosystemu startupowego, który - zgodnie z założeniami Poddziałania

1.1.1 POPW - mają tworzyć dofinansowane projekty. Niewątpliwie, uwzględnienie w

projekcie partnerstw ze środowiskiem funduszy VC jest jedną z przesłanek budowy

ekosystemu startupowego. Powyższy układ ocen oznacza jednak, że na kryterium

zero-jedynkowym wniosek ten nie powinien być oceniony na 0 punktów, gdyż -

przynajmniej częściowo - zapewnia "zaangażowanie aktorów systemu

startupowego" (pewnego ich rodzaju). Oczywiście w sumie zaangażowanie to - jak

ocenili eksperci - jest niewystarczające, ale na pewno nie mamy tu do czynienia z

sytuacją całkowitego niespełnienia tego kryterium. Z drugiej jednak strony, w opisie

kryterium zero-jedynkowego nr 1 wskazuje się, jakie podmioty powinna angażować

platforma startowa. Obok instytucji finansowych, w tym funduszy VC, wskazuje się

również na innych, w tym obligatoryjnych uczestników (np. samorząd terytorialny55,

uczelnie, organizacje pozarządowe, instytucje otoczenia biznesu). Można więc

powiedzieć, że po prostu we wniosku tym zaproponowano zbyt ubogi układ

partnerski. Ostatecznie zatem zerowy poziom oceny na tym kryterium zero-

55

W opisie kryterium bardzo silnie uwypuklono konieczną obecność jednostki / jednostek samorządu terytorialnego, jako podmiotów wchodzących w skład ekosystemu startupowego.

53


jedynkowym jest jednak uzasadniony, choć nie do końca odpowiada temu

szczegółowa ocena punktowana. W tej sytuacji - zdaniem ekspertów (i ewentualnie

w innych podobnej natury przypadkach) należałoby raczej uznać, że kryterium

zostało spełnione, ale częściowo i ostatecznie, że ten częściowy poziom spełnienia

kryterium jest niewystarczający z punktu widzenia logiki interwencji Poddziałania

1.1.1 POPW. Konkludując, należałoby wprowadzić trójelementową skalę oceny: 0 -

"nie spełnia" kryterium / 0,5 - "spełnia częściowo" / 1 - spełnia całkowicie. Podobnie

jak obecnie, w przypadku wszystkich kryteriów wymagane byłoby uzyskanie oceny

"spełnia" całkowicie. W rezultacie dopuszczenia bardziej zróżnicowanej skali,

ekspertom łatwiej byłoby oceniać wnioski, szczególnie w sytuacjach, gdy bardzo

trudno jest stwierdzić, że dane kryterium w ogóle nie jest spełniane. W istocie

sytuacje takie są bardzo rzadkie - w rzeczywistości mamy najczęściej z przypadkami

obecności pewnych elementów, zgodnych z kryterium, jednak występujących

(zdaniem oceniających) w niewystarczającej skali. Możliwość uznania "częściowej"

zgodności wydaje się bardziej logiczna i odpowiadająca rzeczywistości. Zauważmy,

że w analizowanym tu przypadku zabieg rekonstrukcji skali oceny nie doprowadziłby

do zmiany ostatecznego rozstrzygnięcia, a jedynie uczynił ocenę bliższą

rzeczywistości.

Zestaw kryteriów merytorycznych rankingujące punktowanych w ramach skal odpowiada

logice interwencji Poddziałania 1.1.1 POPW. Kryteria te sporządzone zostały prawidłowo. W

oparciu o nie, możliwa okazała się pogłębiona ocena zgłoszonych do dofinansowania

projektów. W tym sensie cały ten zestaw stanowi skuteczny mechanizm uzupełniający

stosowanie kryteriów merytorycznych zero-jedynkowych (chodzi tu przede wszystkim

o zasygnalizowane już wcześniej prawidłowe powiązanie kryterium merytorycznego zero-

jedynkowego nr 1 z czterema pierwszymi kryteriami merytorycznymi punktowanymi w

ramach skal). Ponadto, bardzo dużą zaletę systemową stanowi przyjęta metoda oceny

porównawczej na kryteriach merytorycznych punktowanych. Zapewnia ona możliwość

kompleksowej oceny, w której poszczególne wnioski oceniane są z uwzględnieniem

wszystkich pozostałych (przez ekspertów i ostatecznie wspólnie przy ustaleniu oceny

końcowej). Eksperci Panelu skłonni byli uznać, że jest to jedno z kluczowych rozwiązań,

bardzo adekwatnych w przypadku oceny projektów o charakterze "usługowym" i służących

tworzeniu roboczych powiązań pomiędzy rozmaitymi aktorami systemu gospodarczego,

zaznaczając jednak, że jest to rozwiązanie adekwatne (operacyjnie - np. z punktu widzenia

dostępnego czasu na ocenę) tylko w przypadku dokonywania równoległej oceny

ograniczonej liczby wniosków pod kątem kryteriów merytorycznych (z taką też sytuacją

mieliśmy do czynienia w pierwszym konkursie w ramach Poddziałania 1.1.1 POPW - każdy z

ekspertów oceniał tylko cztery wnioski).

Odnotowana praktyka stosowania kryteriów merytorycznych punktowanych rankingujących

w ramach skal ukazała, że wykorzystanie tych kryteriów umożliwiło skuteczny wybór

projektów, w tym identyfikację jednego z nich, który (zdaniem oceniających) nie wpisywał się

54


w logikę interwencji Poddziałania 1.1.1 POPW. Zestaw okazał się zatem skuteczny i

adekwatnie skonstruowany do specyfiki zamierzonej interwencji.

Konkludując, można na obecnym etapie uznać, że kryteria merytoryczne punktowane są

odpowiednie i mogą być stosowane również w przyszłości56. Równocześnie jednak warto

zwrócić uwagę na wymienione poniżej kwestie, dotyczące tych kryteriów. Nie mają one

jednak znaczenia zasadniczego - odnoszą się do aspektów technicznych tego rodzaju

kryteriów. Są to:

1) W przypadku dwóch kryteriów merytorycznych punktowanych w ramach skal (nr 7

Wnioskodawca oraz partnerzy posiadają potencjał finansowy, techniczny i

organizacyjny do świadczenia usług /.../ oraz nr 10 Planowane wydatki są

adekwatne do zaplanowanych rezultatów - badanie efektywności budżetowej

inkubacji zastosowano skale punktowe, w ramach których do oceny opisowej

przyporządkowano dwuelementowe mierniki liczbowe, w następujący sposób:

Liczba punktów / Stopień spełnienia

9-10 � doskonały

7-8 � bardzo dobry

5-6 � dobry

3-4 � przeciętny

1-2 � niski

Tego rodzaju rozkład punktacji może niekiedy wywoływać trudności w ocenie.

Chodzi mianowicie o to, że bardzo trudno jest różnicować ocenę w ramach wąskich

podskal odpowiadającej ocenie opisowej. W praktyce oceny porównawczej eksperci

głównie formułują ocenę jako "doskonałą", "bardzo dobrą" itd., uwzględniając

wymogi wskazane w opisie kryterium i odnosząc je do opisu (logiki, celów,

specjalizacji itd.) całego przedsięwzięcia (specyfiki platformy). W tej sytuacji dalsze

różnicowanie punktacji w ramach tej samej oceny jakościowej będzie zawsze dość

sztuczne - najczęściej zapewne trudne do uzasadnienia. Wydaje się, że lepszym

rozwiązaniem byłoby zastosowanie skali skokowej (2 pkt - niski stopień spełnienia

kryterium, 4 pkt - przeciętny itd.). Zabieg ten na pewno ułatwi ocenę i różnicowanie

wniosków. Jednocześnie nie spowoduje to zbyt dużego spadku selektywności całego

zestawu (pomijając fakt, że nawet gdyby prowadziło to do "spłaszczenia"

zróżnicowania łącznych wyników, to nadal do wykorzystania pozostają - o ile pojawi

się równość punktacji - kryteria merytoryczne rozstrzygające). Proponowane tu

rozwiązanie stanowi w sumie nieznaczną korektę - oznacza nie stosowanie w

56

Twierdzenie to podlegać będzie weryfikacji na podstawie planowanej ewaluacji funkcjonowania platform startowych (zakładamy, że w jej ramach możliwe będzie zestawienie wyników działania platform z wynikami oceny na etapie ich wyłaniania. Przynajmniej w pewnym zakresie tego typu wnioski charakteryzować mogą jakość kryteriów i dokonanych na ich podstawie ocen.

55


ramach tej samej miary jakościowej dalszego zróżnicowania punktowego.

Natomiast zaproponowana "skokowość" wynika z chęci utrzymania zastosowanej

oryginalnie, całkowitej rozpiętości oceny na tym kryterium (od 1 do 10) (intencją

twórców tego kryterium było zapewne podkreślenie znaczenia spraw ocenianych za

pośrednictwem tych kryteriów).

2) W przypadku kryterium punktowanego nr 10 (ww. kryterium) problem skalowania

komplikuje się dodatkowo, bowiem ocena (skala j.w.) bazuje na wskaźniku

liczbowym oceniającym "efektywność budżetową (inkubacji)", tj. udział całkowitej

wartości wnioskowanego finansowania po odjęciu kosztów zarządzania w całkowitej

wartości wnioskowanego dofinansowania57.

Pojawia się tu kwestia przełożenia poziomu wskaźnika na ocenę:

•••• po pierwsze, w jej wymiarze jakościowym (stopień spełnienia kryterium:

"doskonały", bardzo dobry" itd.) oraz,

•••• po drugie, liczbową (liczba punktów w przedziale).

Problem, który tu się pojawia ilustruje poniższy przykład:

Poz. Dofinansowanie Koszty

zarządzania

Dofinansowanie zmniejszone o

koszty zarządzania

Wskaźnik (dofinansowanie minus

koszty zarządzania w relacji do

dofinansowania)

1 9 000 000 500 000 8 500 000 94,44%

2 8 000 000 450 000 7 550 000 94,38%

3 7 000 000 400 000 6 600 000 94,29%

4 6 000 000 350 000 5 650 000 94,17%

5 5 000 000 300 000 4 700 000 94,00%

Odwołując się do przykładu, uzasadnione są następujące pytania:

•••• w jaki sposób zróżnicować ocenę punktową?

•••• czy można uznać, że w przypadku każdego poziomu wskaźnika należałoby

zastosować odmienną ocenę jakościową, tj. poz. 1 = "doskonały" /.../ poz. 5 =

"niski"? a jeśli tak, to:

•••• jaka liczba punktów powinna zostać przyznana w ramach przedziału dla danej

kategorii oceny jakościowej (dla poz. 1 = "doskonały" - 9 czy 10 punktów? itd.).

Z powyższego przykładu wynika, że obecnie funkcjonujący system może rodzić

określone problemy. Naturalnie, maleją one na znaczeniu, pamiętając, że

57

Ponadto, należy pamiętać, że kryterium merytoryczne punktowane nr 10 należy jednocześnie do grupy kryteriów rozstrzygających (co więcej, jest kryterium rozstrzygającym pierwszego stopnia).

56


ostatecznie ocena ekspercka podlega wspólnemu uzgodnieniu. Oznacza to, że

eksperci ostatecznie (wspólnie) ustalą oceny dla każdego wniosku. Tym niemniej,

cały ten proces będzie skomplikowany, a ostateczne uzasadnienie ocen nie musi być

proste.

Rozwiązaniem tego problemu mogłoby być ustalenie przedziałów dla wskaźników58,

a następnie odpowiadającej im punktacji (z zastosowaniem skali skokowej59),

przykładowo:

Poz. Wskaźnik (dofinansowanie minus koszty zarządzania w relacji do dofinansowania)

Liczba punktów

/ Stopień spełnienia

kryterium

1 > 98% 10 � doskonały

2 >96% do 98% 8 � bardzo dobry

3 >94% do 96% 6 � dobry

4 >92% do 94% 4 � przeciętny

5 92% i mniej 2 � niski

Rozstrzygające

Jako kryteria rozstrzygające wybrano dwa z katalogu kryteriów merytorycznych

punktowanych w ramach skal (kryterium nr 10 Planowane wydatki są adekwatne do

zaplanowanych rezultatów - badanie efektywności budżetowej inkubacji - rozstrzygające

pierwszego stopnia i kryterium nr 1 Zaangażowanie władz j.s.t. na rzecz Platformy startowej

jako uczestnika ekosystemu rozstrzygające drugiego stopnia). Dobór ten nie budzi

wątpliwości (jak i same kryteria - z uwzględnieniem wcześniejszych uwag, dotyczących

skalowania oceny w kryterium nr 10).

Poddziałanie 1.1.2 Rozwój startupów w Polsce Wschodniej


Do mocnych stron systemu zaliczyć należy układ organizacyjny (w tym dokumenty

formalne60) i funkcjonalny systemu wyboru, a przede wszystkim zaprojektowany w jego

ramach proces oceny projektów. Układ organizacyjny jest odpowiedni oraz wystarczający do

58

Przedziały w tabeli mają charakter hipotetyczny. 59

W tym przypadku można by "głębiej" zróżnicować ocenę, np. tworząc 10 przedziałów i stosując punktację od 1 do 10. W ewentualnym kolejnym konkursie na platformy startowe możliwe będzie dokonanie "kalibracji" wskaźników, biorąc pod uwagę wielkości kosztów zarządzania obecne we wnioskach o dofinansowanie zgłoszonych w ramach niniejszego pilotażu oraz na podstawie wyników ewaluacji funkcjonowania trzech pierwszych platform startowych. 60

Ogłoszenie o konkursie, Regulamin konkursu wraz załącznikami, Załączniki do wniosku o dofinansowanie, Wzory załączników do umowy o dofinansowanie projektu, Akty prawne.

57


sprawnego przeprowadzenia oceny wniosków (projektów) - chodzi tu przede wszystkim o

oparcie oceny wniosków o dofinansowanie projektów na decyzjach Panelu Ekspertów.

Analizując całą dokumentację można oczywiście dyskutować o stopniu jej skomplikowania.

Tym niemniej, trzeba pamiętać, że w przypadku Poddziałania 1.1.2 POPW wnioskodawcami

będą przedsiębiorstwa (spółki), które przeszły proces inkubacyjny w ramach Platform

startowych. Zapewne w procesie tym jest (będzie) brana pod uwagę możliwość pozyskania

dalszego wsparcia przez inkubowane przedsięwzięcie w ramach Poddziałania 1.1.2 POPW, co

poskutkuje odpowiednim przygotowaniem potencjalnego wnioskodawcy do udziału w

konkursie, tzn. uzyskaniem odpowiedniego wsparcia ze strony Platformy. Dlatego stoimy na

stanowisku, że układ dokumentacji i kształt całego systemu wyboru projektów nie powinien

stanowić żadnej szczególnej bariery dostępowej.

Należy też zauważyć, że szczególnie w przypadku Poddziałania 1.1.2, bardzo duże znaczenie

ma prezentacja przedsięwzięcia na Panelu Ekspertów (w postaci tzw. sesji pitchingowej61).

Rozwiązanie tego rodzaju jest standardem wszystkich systemów / rozwiązań, w których

dokonuje się selekcji pomysłów / przedsięwzięć do finansowania (np. przez fundusze VC, w

tym fundusze zalążkowe, czy też przez aniołów biznesu). Z tego też względu ten element

systemu wyboru projektów należy traktować jako szczególnie istotny. Analizując

dokumentację (Regulamin konkursu) uznajemy, że tak też jest w przypadku niniejszego

Poddziałania (co wyraźnie wynika z Regulamin)62. Należy w tym miejscu podkreślić - w

kontekście możliwości pozyskiwania wsparcia w konkursach w ramach Poddziałania 1.1.2

POPW - że kwestia umiejętności prezentacji przedsięwzięcia startupowego jest przedmiotem

wsparcia oferowanego w ramach usług Platform startowych. Z uwagi na oczywistą wagę

tego zagadnienia, jeden z elementów inkubacji projektów startupowych przez Platformy

startowe, obejmuje sprawy skutecznej prezentacji pomysłów / przedsięwzięć ("skuteczne

przekonywanie inwestorów"). Przy czym, można zasugerować nieznaczną modyfikację opisu

treści kryterium oceny merytorycznej, dotyczącego sesji pitchingowej.

Istotną kwestię stanowi również szybkość przebiegu oceny projektów. W Regulaminie

konkursu ustalono 60-dniowy termin na dokonanie oceny, liczony od dnia zamknięcia

naboru wniosków o dofinansowanie w danym etapie konkursu, w którym wniosek został

złożony, do dnia sporządzenia listy ocenionych projektów w ramach danego etapu

konkursu)63. Natomiast, w innym miejscu Regulaminu określa się termin rozstrzygnięcia

danego etapu konkursu, jako "przewidywany" i wynoszący "/.../ 2 miesiące od dnia

zamknięcia naboru wniosków w ramach danego etapu" konkursu64. W sumie termin ten

61

Ocena jej wyniku stanowi jedno z kryteriów merytorycznych oceny dokonywanej przez Panel Ekspertów - jest to kryterium merytoryczne nr 6. 62

Regulamin konkursu, §10 ust. 10 i n. 63

Regulamin konkursu, §8 ust. 4. 64

Regulamin konkursu, §12 ust. 4 (sądzimy jednak, że przepis ten ma raczej charakter instruktażowy, wiodący pozostaje natomiast termin 60-dniowy określony w §8 regulaminu.

58


następuje bardzo blisko granicznego terminu na ocenę, co oznacza, iż rozstrzygnięcia

następować będzie bardzo szybko po ocenie.

Uwzględniając fakt, że pierwszy konkurs w Poddziałaniu 1.1.2 podzielony został na wiele

etapów (13), sądzimy, że okres dwumiesięczny będzie wystarczający do przeprowadzenia

oceny (wieloetapowość konkursu oznacza, że wnioski będą rozkładać się pomiędzy

poszczególnymi etapami, co ograniczy niebezpieczeństwo powstawania zbyt dużych

spiętrzeń). Poza tym, z uwagi na fakt, iż wnioskodawcy przechodzić muszą proces inkubacji w

ramach Platform startowych, możliwe powinno być monitorowanie (przynajmniej w

przybliżeniu) przez Instytucję Pośredniczącą możliwej liczby wniosków o wsparcie, które

składane będą w ramach kolejnych etapów (informacje te powinny być pozyskiwane od

Platform startowych - informacja na ten temat umożliwi lepsze zaplanowanie liczby i układu

pracy Paneli Ekspertów, co ostatecznie przyczyni się do usprawnienia ich pracy).



− kryteria formalne (wnioskodawcy, projektu, wniosku i specyficzne) i

− kryteria merytoryczne (Panelu Ekspertów).

Formalne

Z analiz kryteriów wynika, że kryteria te zostały co do zasady zaprojektowane prawidłowo, w

sposób uwzględniający logikę interwencji działania 1.1.2 POPW. Stwierdzamy, że nie

występują pośród nich kryteria, które ograniczałyby dostęp do wsparcia przedsiębiorstw

(spółek), podejmujących innowacyjne przedsięwzięcia co jest zgodne z celem działania 1.1

POPW, czyli "zwiększenia liczby innowacyjnych przedsiębiorstw typu startup w Polsce

Wschodniej". Poza tym, opis kryteriów oraz wynikające z nich wymogi formalne są

odpowiednie. Natomiast, w przypadku dwóch z nich warto przedstawić dodatkowy

komentarz.

1) W opisie kryterium formalnego nr 4 Wnioskowana kwota wsparcia jest zgodna z

zasadami finansowania projektów obowiązującymi dla Poddziałania 1.1.2 POPW.,

stwierdza się, że "Kwoty wskazane przez Wnioskodawcę w złożonym wniosku są

naliczone prawidłowo" /.../ [m.in.] "w zakresie rachunkowym". Rozwiązanie to nie

budzi szczególnych wątpliwości, przy czym należy zauważyć, iż wnioski, w których

określona będzie błędnie pod względem rachunkowym wnioskowana kwota

wsparcia, będą odrzucane (nie będzie istniała możliwość korekty) - na takie podejście

wskazuje obecna treść tego kryterium. Ponadto, błędy tego typu - w myśl Regulaminu

konkursu65 - nie mogą być zaklasyfikowane jako "oczywista omyłka". Choć

rozwiązanie to może wydawać się rygorystyczne, to jednak jest prawidłowe, bowiem

65

Regulamin konkursu, §7 ust. 5.

59


należy uwzględnić tu fakt, iż wnioskodawca może otrzymać specjalistyczne wsparcie

Platformy w zakresie przygotowania wniosku. Powraca tu zatem szczególna rola

Platformy jako "specjalisty" świadczącego szeroki wachlarz wsparcia dla rozwijanego

startupu, które z zasady powinno charakteryzować się wysoką jakością.

2) W kryterium formalnym specyficznym Kwalifikowalność Wnioskodawcy w ramach

Poddziałania 1.1.2 POPW wskazuje się na charakterystyki tzw. kwalifikowanego

wnioskodawcy, uprawniające do uzyskania dofinansowania, o ile wniosek znajdzie się

na liście rekomendowanych do dofinansowania. Część tych charakterystyk czerpana

jest z przepisów Rozporządzenia Komisji (UE) 651/2014 (Załącznik I oraz art. 22).

Ponadto, opis kryterium (wymogi) rozszerza się, wskazując, że kwalifikowalnym

wnioskodawcą może być przedsiębiorstwo zorganizowane w formie spółki

kapitałowej, utworzonej na podstawie przepisów Kodeksu spółek handlowych oraz

(dodatkowo), które: "zakończyło program inkubacji /.../ w ramach Poddziałania 1.1.1"

POPW, który doprowadził do opracowania produktu lub usługi w ramach

zweryfikowanego rynkowo modelu biznesowego oraz "otrzymało pozytywną

rekomendację animatora platformy startowej". Spełnienie tego kryterium oceniane

będzie na podstawie oświadczenia Wnioskodawcy.

Należy zatem podkreślić, że do stwierdzenia kwalifikowalności niezbędne są trzy

elementy: (1) oświadczenie wnioskodawcy o spełnieniu warunków wynikających z

treści art. 22 Rozporządzenia Komisji (UE) 651/2014, (2) posiadanie przez

wnioskodawcę odpowiedniej (wymaganej) formy prawnej (spółka kapitałowa oraz (3)

pozytywna rekomendacja dla przedsięwzięcia, wystawiona przez animatora

platformy startowej66. Ostatni z tych elementów stanowi niezbędny dokument,

uzupełniający oświadczenie wnioskodawcy.

Za uzasadnione uznajemy uzupełnienie listy o dodatkowe kryterium formalne, dotyczące

zapewnienia przez wnioskodawcę minimalnego wymaganego wkładu własnego. Chodzi tu o

przeniesienie do grupy kryteriów formalnych ostatniego z kryteriów merytorycznych w

obecnym ich zestawie - kryterium merytoryczne nr 9 Wnioskodawca zapewnia wymagany

wkład własny, bo de facto dotyczy ono kwestii formalnych.

Merytoryczne

Kryteria merytoryczne punktowane są w ramach skal o różnej rozpiętości, z wyznaczeniem

minimalnej liczby punktów, niezbędnej do uzyskania w ramach każdego kryterium

merytorycznego (nie uzyskanie wymaganego minimum na którymkolwiek z kryteriów

66

Wypełnienie oraz podpisanie sporządzonego w tym celu wzorca oznacza rekomendację pozytywną (co wynika z jej treści: "W wyniku realizacji programu inkubacji w ramach Platformy Startowej <nazwa Platformy> <nazwa startupu> o numerze KRS: …. dysponuje zweryfikowanym rynkowo modelem biznesowym oraz produktem o minimalnej koniecznej funkcjonalności”).

60


powoduje, że wniosek nie może być oceniony pozytywnie, a w konsekwencji nie może być

rekomendowany do uzyskania wsparcia).

Kryteria merytoryczne zostały sformułowane prawidłowo i dobrze odzwierciedlają logikę

Poddziałania 1.1.2 POPW, umożliwiając pozyskanie wsparcia przez przedsiębiorstwa (spółki),

realizujące przedsięwzięcia innowacyjne. W sumie pozwalają na selekcję projektów, które

ostatecznie przyczynią się do realizacji celu szczegółowego Działania 1.1 POPW. Ponadto,

wszystkie prezentowane uwagi, dotyczące kryteriów merytorycznych nie mają charakteru

zasadniczego.

1) Kryterium merytoryczne nr 1 Innowacyjność produktu jest prawidłowe i nie budzi

wątpliwości. Można natomiast rozważyć zmianę skali oceny tego kryterium, mając

na względzie silniejsze zaznaczenie wagi "innowacyjności" w przedsięwzięciach

finansowanych w ramach analizowanego Poddziałania. Zmiana polegałaby tu na

podniesieniu liczby przyznawanych punktów: 2 pkt za innowacyjność w skali kraju i

5 pkt za innowacyjność w skali europejskiej.

2) W przypadku kryterium merytorycznego nr 2 Wydatki w ramach projektu są

kwalifikowalne, racjonalne i uzasadnione oczywistą powinna być interpretacja, że

wskazane we wniosku wydatki muszą być jednocześnie ocenione jako

"kwalifikowalne, racjonalne i uzasadnione" (koniunkcja warunków). W przeciwnej

sytuacji, a więc negatywnej oceny któregokolwiek z tych warunków, a także

dokonania korekty wydatków kwalifikowalnych o 25% lub więcej (uznania ich za

niekwalifikowalne - zgodnie z Regulaminem konkursu67), oceniający przyznają 0 pkt,

co powoduje negatywną ocenę wniosku. Dla pełnej jasności takiego rozumienia

tego kryterium, wskazane byłoby podkreślenie tego wyraźniej w opisie kryterium

(np. poprzez uzupełnienie pierwszego zdania opisu: "Wydatki planowane do

poniesienia /.../ muszą być jednocześnie kwalifikowalne, uzasadnione i racjonalne

/.../".

3) W kryterium merytorycznym nr 3 Jakościowa ocena modelu biznesowego

wątpliwości budzić może wewnętrzny układ skali oceny. Obecnie, skala oceny mieści

się w granicach 0-10 punktów, przy czym zastosowany układ wewnętrznych

przedziałów, którym przyporządkowano jakościowe określenia, może (w

określonym stopniu) okazać się trudny w praktycznym zastosowaniu. Mianowicie,

bardzo trudno będzie różnicować ocenę w ramach dwustopniowych skal

wewnętrznych - np. "9-10 pkt - ocena doskonała". W praktyce odpowiednio

uzasadnione zróżnicowanie oceny w ramach danego przedziału może wywoływać

trudności. W tej sytuacji lepszym rozwiązaniem jest wprowadzenie skali skokowej

67

Regulamin konkursu, §10 ust. 10 i n.

61


(zamiast obecnych przedziałów wewnętrznych), z przyporządkowaniem do punktacji

określenia jakościowego. Nowy układ skali wyglądałby następująco:

Liczba punktów / Stopień spełnienia

10 � doskonały

8 � bardzo dobry

6 � dobry

4 � przeciętny

2 � niski

0 � niedostateczny

Choć rozwiązanie to czyni kryterium nieco mniej selektywnym, to jednak kluczową

jego zaletą jest to, iż nie będzie powodować trudności w stosowaniu kryterium

(uzasadnieniu - szczególnie dla potrzeb ewentualnego odwołania wnioskodawcy od

wyników oceny). Poza tym uważamy, iż cały system (wszystkie kryteria

merytoryczne) zapewniają odpowiednią (wystarczającą) selektywność oceny (a

więc, nieco mniejsza selektywność na tym kryterium, wywołana rekonstrukcją skali,

nie czyni szczególnego problemu). Minimalnie wymagany poziom oceny w ramach

tego kryterium można by ustalić jako "dobry" (minimum 6 punktów).

Kryterium to należałoby również włączyć do zestawu kryteriów rozstrzygających -

byłoby to kryterium rozstrzygające pierwszego stopnia zamiast obecnego

rozwiązania, przewidującego jako kryterium rozstrzygające, kryterium merytoryczne

nr 5 Przedmiot projektu wpisuje się w zakres regionalnych inteligentnych

specjalizacji wspólnych dla co najmniej dwóch województw z Polski Wschodniej.

4) Jeśli chodzi o kryterium merytoryczne nr 4 Wnioskodawca zapewnia personel

posiadający kompetencje niezbędne do realizacji projektu, to zasadne jest

wprowadzenie rozwiązania czyniącego ocenę bardziej elastyczną. Obecnie, w

kryterium tym oceniający przyznać mogą 0 lub 3 punkty. W praktyce będzie

zapewne tak, iż pojawią się wnioski, w których zapewniany będzie personel, którego

kompetencje oceniane będą jako wystarczające, ale tylko częściowo. Chodzi tu o to,

że w praktyce oceny trudno będzie przypisać jednoznacznie negatywną ocenę

całemu zespołowi projektu. Zatem, wprowadzenie jakiegoś progu pośredniego

mogłoby skutecznie rozwiązać ten problem. Zmiana ta nie powinna jednak

powodować zmiany logiki tego kryterium. Oznacza to, że minimalny poziom

dopuszczający (ocena pozytywna) powinien zostać ustalony na maksymalnym

poziomie miernika oceny. Poza tym, uwzględniając znaczenie zespołów

projektowych dla powodzenia przedsięwzięć startupowych, wskazujemy jako

uzasadnione podniesienie górnego pułapu punktacji na tym kryterium (w rezultacie

wzrośnie jego znaczenie w całej ocenie). Ostatecznie, skala wyglądałaby

62


następująco: 0 pkt - kryterium niespełnione, 2 pkt - kryterium spełnione częściowo i

4 pkt - kryterium spełnione (wymagane minimum).

5) Podobnie, jak w przypadku innych działań wspierających, pewne problemy w ocenie

generować może kryterium merytoryczne nr 5 Przedmiot projektu wpisuje się w

zakres regionalnych inteligentnych specjalizacji wspólnych dla co najmniej dwóch

województw z Polski Wschodniej. Wprawdzie bardzo pomocny w tej sferze wydaje

się dokument Ministerstwa Infrastruktury i Rozwoju pt. „Wspólne obszary

inteligentnych specjalizacji województw Polski Wschodniej” (oraz lista wyboru

wspólnych specjalizacji dla województw Polski Wschodniej68), to jednak nadal mogą

się pojawiać wątpliwości przy ocenie tego, na ile dany projekt rzeczywiście mieści

się w specjalizacjach wspólnych dla co najmniej dwóch województw Polski

Wschodniej. W przypadku tego kryterium problemem jest więc pewna uznaniowość

oceny, wynikająca ze znacznego poziomu ogólności większość regionalnych

inteligentnych specjalizacji. W efekcie, w przypadku wielu projektów, ocena, że są

one zgodne z regionalnymi specjalizacjami będzie musiała być uznaniowa.

Szczęśliwie, kryterium to nie ma jednak charakteru dyskwalifikującego (uzyskanie

zera punktów nie dyskwalifikuje wniosku) oraz jego udział w całym systemie oceny

jest niewielki (za spełnienie kryterium wniosek otrzymuje tylko 1 punkt).

Rozwiązanie to można zatem utrzymać, przy czym wskazane jest uwypuklenie

członkom Panelu Ekspertów ewentualnych trudności związanych z oceną na tym

kryterium (i w konsekwencji podkreślenie wagi uzasadnienia ewentualnej oceny

negatywnej). Ponadto, w tej sytuacji, dyskusyjne jest ustalenie tego kryterium jako

rozstrzygającego - należałoby ustalić inne kryterium rozstrzygające np. nr 3

Jakościowa ocena modelu biznesowego.

6) Nie budzi wątpliwości kryterium merytoryczne nr 6 Prezentacja projektu przez

Wnioskodawcę (sesja pitchingowa). Jest to trafne kryterium, niezbędne i w praktyce

powszechnie stosowane do oceny przedsięwzięć startupowych. Wykorzystanie tego

rozwiązania należy ocenić bardzo pozytywnie, szczególnie biorąc pod uwagę fakt, iż

w ramach sesji eksperci oceniający uzyskują możliwość zadawania pytań

wnioskodawcy, a dzięki odpowiedziom otrzymują dodatkowy materiał informacyjny

do oceny wniosku (innych kryteriów merytorycznych). Warto jedynie podkreślić, że

należy wymagać, aby w każdym przypadku prezentacja wnioskodawcy skupiała się

na elementach wskazanych w ocenie jakościowej modelu biznesowego (zgodnie z

kryterium merytorycznym nr 3), innowacyjności (kryterium merytoryczne nr 1) i

opisie kompetencji personelu projektu (kryterium merytoryczne nr 4).69

68

Instrukcja wypełnienia wniosku o dofinansowanie projektu w ramach Programu Operacyjnego Polska Wschodnia 2014-2020, s. 11-12. 69

Regulamin konkursu, §10, ust. 5 i 6.

63


W opisie tego kryterium zaproponować można nieznaczną modyfikację, polegającą

na wykreśleniu części sformułowania w brzmieniu: "Ocenie podlega atrakcyjność

prezentacji pomysłu oraz wykazanie zasadności biznesowej /.../". Atrakcyjność

przekazu jest mniej ważna wobec wykazania zasadności realizacji przedsięwzięcia

(np. kompletności i trafności modelu biznesowego), co nie umniejsza jej znaczenia,

ale nie powinno stanowić uwypuklonego (jak obecnie) przedmiotu oceny. Poza tym,

pomiar "atrakcyjności" uznajemy za wielce subiektywny i niezwykle karkołomny (np.

gdyby miał być wymiarowany).

7) Jeśli chodzi o ostatnie kryterium merytoryczne - kryterium nr 9 Wnioskodawca

zapewnia wymagany wkład własny, to należy poczynić uwagę, że jego obecna

postać powoduje, że jest to kryterium, którego postać jest bardziej dopasowana do

zestawu kryteriów formalnych (ocena "tak / nie" spełnienia warunku minimalnego

wkładu własnego). W związku z tym proponujemy przesunięcie tego kryterium do

oceny formalnej. Warto przy tym zauważyć, że obecne sformułowanie kryterium

zawiera stwierdzenie, że ocenie podlega (również) "/.../ sposób, w jaki

[Wnioskodawca] zapewnia środki finansowe na pokrycie wkładu własnego /.../". De

facto jednak, nie jest to elementem oceny na tym kryterium (brak jest wskazań np.

co do preferowanych źródeł pokrycia wkładu własnego). Ocenie podlega wyłącznie

fakt zadeklarowania minimalnie wymaganego poziomu wkładu własnego. Przesądza

to również o "formalnej" istocie tego kryterium.

Działanie 1.2 Internacjonalizacja MŚP

Ocena systemu wyboru projektów i kryteriów wyboru

Działanie 1.2 składa się z dwóch etapów. Oparte jest na ocenie dokonywanej przez Komisję

Oceny Projektów, z wykorzystaniem formuły panelu ekspertów tylko w etapie I.

Ponadto, w proponowanym systemie wyboru ciężar oceny położony jest na etapie I. Jest to

o tyle problematyczne, że w etapie I możliwe jest de facto tylko dokonanie oceny

przedsiębiorstwa i firmy doradczej, a nie samych założeń internacjonalizacji, które w etapie I

dopiero powstają. Warto w tym miejscu zaznaczyć, że założenia internacjonalizacji (tj. Model

biznesowy internacjonalizacji) w ogóle nie są poddawane ocenie merytorycznej – Model

jedynie jest zatwierdzany przez PARP ortogonalnie do kryteriów wyboru projektów, przy

czym warunki zatwierdzenia nie są znane (nie stanowi ich Standard tworzenia „Modelu

biznesowego internacjonalizacji”, który to dokument stanowi raczej wskazanie, co w Modelu

musi się znaleźć).

Powyższe problemy rozwiązać można poprzez:

•••• uproszczenie oceny i skrócenie jej czasu w etapie I, skrócenie czasu realizacji etapu I;

64


•••• przeniesienie ciężaru oceny merytorycznej na etap II, w szczególności poprzez

włączenie Modelu biznesowego internacjonalizacji do oceny merytorycznej

przewidzianej w etapie II;

•••• Uproszczenie oceny w etapie I może polegać na rezygnacji z punktowania wykonawcy

modelu biznesowego, z zachowaniem oceny wykonawcy w ramach merytorycznego

kryterium dostępu. Dzięki temu możliwe byłoby przeniesienie panelu do etapu II i

poddanie ocenie punktowej Modelu biznesowego internacjonalizacji (względnie

opartego na nim skrótu, stanowiącego element wniosku projektowego w etapie II,

prezentującego wynikające z Modelu plany w zakresie realizacji etapu II). Oznacza to,

że dzięki zastosowania takiego rozwiązania, wnikliwej ocenie poddany będzie nie

potencjał firmy doradczej przygotowującej Model biznesowy internacjonalizacji (choć

nadal oceniane będzie, czy spełnia ona wymagania minimalne), a dopiero efekt jej

pracy i faktyczne propozycje w zakresie wsparcia internacjonalizacji przedsiębiorstwa.

Umożliwi to nie tylko przyspieszenie procesu oceny w I etapie, ale zracjonalizuje też

wdrażanie wsparcia sprawiając, że etap II przestanie być de facto bezwarunkowy,70

jak ma to miejsce obecnie, a będzie uzależniony od oceny merytorycznej działań

planowanych w etapie II (wynikających z Modelu). W takim ujęciu Model

internacjonalizacji przedsiębiorstwa byłby niejako oceniany dwukrotnie:

− po pierwsze, byłby zatwierdzany (tak, jak obecnie) przez PARP, co byłoby

elementem realizacji etapu I i uznania kwalifikowalności jego wydatków. Ocena

obejmowałaby tylko to, czy Model został faktycznie wykonany, zgodnie z

wszystkimi wymogami i wytycznymi, abstrahowałaby natomiast od faktycznego,

wynikającego z modelu potencjału internacjonalizacji. Pozytywna ocena PARP

byłby warunkiem rozliczenia dotacji w etapie I oraz wymogiem formalnym

(podobnie jak obecnie) złożenia wniosku o dofinansowanie w etapie II;

− po drugie, Model internacjonalizacji przedsiębiorstwa (lub oparte na nim

założenia realizacji etapu II, wchodzące do wniosku o dofinansowanie) byłby

przedmiotem punktowanej, merytorycznej oceny w etapie II, z wykorzystaniem

panelu ekspertów – ocenie można (np.) poddać potencjał internacjonalizacji

produktu wnioskodawcy, adekwatność planowanych działań, ich efektywność

kosztową itp.

Powyższe propozycje kompleksowo wprowadzić można dopiero od kolejnego naboru

projektów w etapie I. Niemniej już w tej chwili, w odniesieniu do trwającego etapu I

konieczne jest podjęcie następujących działań:

70

Oczywiście, teoretycznie przedsiębiorca może poprzestać na etapie I lub Model internacjonalizacji przedsiębiorstwa może wykazać, że realizacja etapu II jest niezasadna, wreszcie PARP może nie zatwierdzić ww. dokumentu. Niemniej, obecnie faktyczna konstrukcja obu etapów jest taka, że uczestnicy etapu I, jeśli tylko dotrzymają terminów i przedstawią poprawny Model, mają gwarantowany udział w etapie II. W szczególności nie są poddawane żadnej merytorycznej ocenie planowane w etapie II działania.

65


•••• doprecyzowanie statusu dokumentu Model internacjonalizacji przedsiębiorstwa, w

szczególności poprzez wskazanie, na ile musi on przedstawiać plan realizacji etapu II

(np. nielogiczny i niekompletny, ale zawierający wyłącznie wydatki kwalifikowane), a

na ile plany internacjonalizacji przedsiębiorstwa (np. logiczne i kompletne, ale

zawierające wydatki niekwalifikowane, czy działania wychodzące poza ramy czasowe

etapu II);

•••• wskazanie kryteriów, jakimi PARP będzie się kierować zatwierdzając Model

internacjonalizacji przedsiębiorstwa, w szczególności w odniesieniu do kwestii

wskazanych we wcześniejszym punkcie.

Obok przedstawionych powyżej uwag o charakterze systemowym, warto także rozważyć

wprowadzenie w Regulaminie konkursu drobnych modyfikacji przedstawionych poniżej:

•••• §4 ust. 8. - sformułowanie „Wnioskodawcy oraz projekty muszą spełnić kryteria

wyboru projektów obowiązujące dla I Etapu działania (…)” jest nieco mylące,

ponieważ część kryteriów merytorycznych nie musi być spełniona. Sugeruje się

zmianę na „Wnioskodawcy oraz projekty muszą spełnić kryteria formalne oraz w

zakresie wymaganego minimum kryteria merytoryczne wyboru projektów

obowiązujące dla I Etapu działania (…)”.

•••• §7 ust. 13. - sformułowanie „W przypadku, jeżeli w ciągu 2 dni roboczych od dnia

uzupełnienia lub poprawienia wniosku o dofinansowanie w Generatorze Wniosków

wnioskodawca nie złoży oświadczenia o uzupełnieniu wniosku o dofinansowanie w

Generatorze Wniosków, wniosek o dofinansowanie zostanie pozostawiony bez

rozpatrzenia i nie będzie podlegał ocenie lub dalszej ocenie, o czym wnioskodawca

zostanie poinformowany w formie pisemnej” jest nieco mylące. Sugeruje się

następującą modyfikację: „W przypadku, j Jeżeli w ciągu 2 dni roboczych od dnia

uzupełnienia lub poprawienia wniosku o dofinansowanie w Generatorze Wniosków

wnioskodawca nie złoży oświadczenia o uzupełnieniu wniosku o dofinansowanie w

Generatorze Wniosków, wniosek o dofinansowanie zostanie pozostawiony bez

rozpatrzenia i nie będzie podlegał ocenie lub dalszej ocenie, o czym wnioskodawca

zostanie poinformowany w formie pisemnej.”

Kryteria wyboru projektów co do zasady, odzwierciedlają zaplanowany, dwuetapowy układ

Działania. Kryteria formalne dla obu etapów działania, dotyczące wnioskodawcy, projektu i

wniosku są prawidłowe i odpowiadają założeniom interwencji. W kryteriach uwzględniono w

odpowiedni sposób wymóg zgodności wspieranych projektów z zasadami horyzontalnymi

(art. 7 i 8 Rozporządzenia Rady (UE) nr 1303/2013). W kryteriach uwzględniono także fakt

wpisywania się projektu w katalog regionalnych inteligentnych specjalizacji (w I i II etapie w

ramach kryteriów merytorycznych - jest to kryterium preferujące projekty mieszczące się w

regionalnych inteligentnych specjalizacjach województw Polski Wschodniej). W sumie,

analiza obecnego układu kryteriów pozwala wnioskować o ich adekwatności i poprawności

66


merytorycznej, gdy mowa o ich dopasowaniu do aktualnych założeń interwencji

przewidzianej w ramach Działania 1.2.

Poddziałanie 1.3.1 Wdrażanie innowacji przez MŚP


Informacja o naborze wniosków do poddziałania 1.3.1 zaprezentowana została 31.07.2015 r.,

tj. – zgodnie z ustawą wdrożeniową71 – na miesiąc przed rozpoczęciem naboru. Od tego

momentu, do dnia zakończenia naborów wnioskodawcy mieli 3 miesiące na przygotowanie

dokumentacji aplikacyjnej. Czas ten uznać należy za wystarczający do zebrania i

przygotowania odpowiednich materiałów. Informacja o konkursie umieszczona została na

podstronie Instytucji Pośredniczącej poświęconej Programowi Polska Wschodnia

(popw.parp.gov.pl) oraz na stronie POPW (www.polskawschodnia.gov.pl). Na stronie z

ogłoszeniem o naborze przedstawiono informacje o dokumentacji konkursowej72 oraz

odpowiedzi na najczęściej zadawane pytania.

Z analizy informacji o konkursie wynika, że sposób ich sformułowania pod względem

językowym jest zrozumiały i jednoznaczny. Również ogólna ocena dokumentacji

konkursowej określającej ramy interwencji jest pozytywna. W większości przypadków

informacje sformułowane są w sposób wystarczająco zrozumiały i precyzyjny.

Niemniej, w przypadku kilku dokumentów wskazać można pole do pewnych usprawnień.

•••• W regulaminie konkursu warto zawrzeć dodatkowe informacje opisujące przebieg

panelu ekspertów, w tym: informacje o prezentacji projektu, do której powinien się

przygotować wnioskodawca, oczekiwanym zakresie takiej prezentacji (na które

kryteria należy położyć nacisk) oraz czasie na nią przewidzianym – obecnie tego typu

informacje przekazywane są wraz z informacją o pozytywnym przejściu oceny

formalnej, a później powtarzane wraz z zaproszeniem na panel. Zawarcie wytycznych

już na poziomie regulaminu da wnioskodawcom szanse lepszego przygotowania się

do panelu.

•••• W Instrukcji do wniosku o dofinansowanie warto rozważyć rozszerzenie instrukcji o

dodatkowe informacje dotyczące kryteriów, (z braku innych wytycznych dla

wnioskodawców, poza FAQ), opierając się na wnioskach z pierwszego naboru, w

szczególności pytań zgłaszanych przez wnioskodawców. Np. w kryterium dotyczącym

korzyści odnoszonych przez pozostałe podmioty wchodzące w skład powiązania

71

Ustawa z dnia 11 lipca 2014 r. o zasadach realizacji programów w zakresie polityki spójności finansowanych w perspektywie finansowej 2014–2020, (t.j. Dz. U. z 2016 r. poz. 217). 72

Regulamin konkursu wraz z załącznikami, Wzory załączników do wniosku o dofinansowanie, Wzory dokumentów składanych na etapie przygotowania umowy o dofinansowanie projektu, Wzory załączników do umowy o dofinansowanie, akty prawne, inne dokumenty - Wspólne obszary inteligentnych specjalizacji Polski Wschodniej

67


kooperacyjnego, można wykorzystać odpowiedź na pytanie 8 z FAQ (część 1. Pytania

ogólne).73

•••• W Instrukcji do wniosku o dofinansowanie, odnośnie rodzaju inwestycji w rzeczowe

aktywa trwałe lub wartości niematerialne i prawne warto uzupełnić o przykłady

projektów wpisujących się w poszczególne typy inwestycji początkowej (jak wynika z

wywiadów, niemal wszyscy wnioskodawcy mylnie je przypisywali). Jednocześnie,

wraz ze zmianą definicji kryterium dotyczącego inwestycji początkowej, zarówno w

instrukcji, jak i wniosku należy wykreślić 2 typy inwestycji, które de facto nie mogą

być dofinansowane w ramach poddziałania 1.3.1.

•••• We wniosku o dofinansowanie w polu: efekty realizacji projektu (cz. VIII wskaźniki) –

umieszczenie tego pola w części dotyczącej wskaźników wydaje się mało intuicyjne,

szczególnie w elemencie dotyczącym wpływu projektu na działalność

ponadregionalnego porozumienia. Zdecydowanie lepszym rozwiązaniem byłoby

zawarcie wszystkich kwestii związanych z powiązaniem kooperacyjnym w jednym

miejscu wniosku. Najlepszym do tego miejscem, pozwalającym jednocześnie na

zachowanie pewnej ciągłości narracji, byłoby umieszczenie tego pola na zakończenie

bloku XIII. Charakterystyka ponadregionalnego powiązania kooperacyjnego, do

którego należy wnioskodawca.

•••• We wniosku o dofinansowanie w tabeli, w której wylistowane mają być podmioty

wchodzące w skład powiązania kooperacyjnego, można zaznaczyć, że najpierw należy

wpisać nazwę podmiotu koordynującego, co ułatwiłoby jego wyszukanie.

Zgodnie z Regulaminem konkursu w ramach działania 1.3.1, od momentu zamknięcia naboru

Instytucja Pośrednicząca miała około 30 dni na ogłoszenie wyników oceny formalnej i

wskazanie listy projektów zakwalifikowanych do oceny merytorycznej. W ciągu kolejnych 60

dni przeprowadzona powinna być ocena merytoryczna wniosków, a następnie opublikowana

lista projektów rekomendowanych do dofinansowania. Łączny czas na ocenę dokumentacji

aplikacyjnej w poddziałaniu 1.3.1 wynosić miał, zgodnie z Regulaminem, około 90 dni. W

rzeczywistości okres ten był dłuższy o kilka tygodni. Główną przyczyną był wydłużony i

sformalizowany proces uzupełniania dokumentacji przez beneficjenta.

Weryfikacja wymogów formalnych obejmowała m.in. sprawdzenie kompletności i

poprawności dokumentacji aplikacyjnej. W momencie, w którym pracownicy PARP

identyfikowali braki lub błędy w dokumentach, występowali oni do wnioskodawców z prośbą

o ich uzupełnienie lub poprawienie. Następnie wnioskodawca musiał złożyć oświadczenie o

uzupełnieniu wniosku o dofinansowania, przy czym mógł to zrobić drogą elektroniczną (za

pomocą ePUAP-u) lub tradycyjną (wysyłając pismo pocztą). Jak wynika z przeprowadzonych

wywiadów, obieg dokumentów przeprowadzony był głównie w formie tradycyjną

73

Program Operacyjny Polska Wschodnia 1.3.1 Wdrażanie innowacji przez MŚP 31.08.2015 - 30.10.2015. Pytania i odpowiedzi, s. 5.

68


(papierowej), co wpłynęło na jego stosunkowo długi czas. Z punktu widzenia sprawności

procesu oceny wskazane byłoby, aby etap weryfikacji wymogów formalnych został w miarę

możliwości skrócony, a konieczność uzupełnienia braków formalnych i oczywistych omyłek

nie hamowała dalszych prac na etapie oceny formalnej. W kontekście przyszłych naborów

warto więc wprowadzić pewne zmiany.

•••• Wysyłanie wezwania do uzupełnienia braków formalnych i/lub poprawy oczywistych

omyłek powinno być w formie elektronicznej (na adres podany we wniosku). Przy

czym, w przypadku poczty elektronicznej warto rozważyć wprowadzenie rodzaju

potwierdzenia otrzymania takiego wezwania w formie elektronicznej (wiadomość

zwrotna) lub telefonicznej (kontakt PARP z wnioskodawcą). Termin uzupełnienia

brakujących wyjaśnień liczony byłby od dnia otrzymania wezwania.

•••• Zachowując potrzebę przesłana przez wnioskodawcę oświadczenia o wprowadzeniu

zmian w dokumentacji aplikacyjnej, warto dodać w regulaminie konkursu o

możliwość przesłania tego oświadczenia również w formie skanu dokumentu

(zarówno w przypadkach korzystania z tradycyjnej formy korespondencji jak i za

pośrednictwem ePUAP), który z formalnego punktu widzenia nie musiałby zamykać

procesu weryfikacji wymogów formalnych (ten zamknięty byłby w momencie

otrzymania oryginału dokumentu), jednak pozwalałby na kontynuowanie oceny w

trakcie oczekiwania na otrzymanie dokumentu w wersji papierowej. Obecnie,

przynajmniej w części działań czas oczekiwania na oświadczenie wnioskodawcy

wstrzymywał dalsze etapy oceny.

Decyzję o ocenie merytorycznej wniosków w ramach paneli eksperckich ocenić należy co do

zasady pozytywnie. Rozwiązanie to jest zgodne z wnioskami z programów z perspektywy

2007-2013, w ramach której podejście takie zaczęło być wykorzystywane m.in. w ramach PO

IG 2007-2013. Wnioski z poprzedniego okresu programowania wskazują, że jest to

szczególnie pożądana forma oceny w przypadku projektów związanych z wsparciem

innowacyjności,74 gdzie wskazane jest bardziej elastyczne podejście do oceny. Jest to

jednocześnie metoda, która powinna być wykorzystywana w takich działaniach, w których

istnieje relatywnie niewielka podaż projektów, w przeciwnym wypadku istnieje bowiem

ryzyko obniżenia jakości pracy ekspertów, którzy muszą ocenić zbyt dużą liczbę aplikacji.75

Liczba projektów ocenianych przez panele eksperckie w ramach poddziałania 1.3.1 była

umiarkowanie duża (79 wniosków), w związku z tym nie powinna wpływać negatywnie na

jakość procesu oceny. Niemniej przed kolejnymi konkursami warto rozważyć, czy nie

wprowadzić jakiejś preselekcji wniosków, tak żeby jeszcze bardzie ograniczyć te trafiające na

panel.

74

Gorgol P., Kotrasiński J., Weremiuk A. (2012), Metaewaluacja wyników badań ewaluacyjnych Programu Operacyjnego Innowacyjna Gospodarka, 2007-2013, raport na zlecenie Ministerstwa Rozwoju Regionalnego. 75

CRSG (2013), Ocena stosowanych trybów wyboru projektów w ramach programów operacyjnych na lata 2007-2013.

69


Przy pozytywnej ocenie przebiegu paneli eksperckich, warto rozważyć wprowadzenie

pewnych modyfikacji, dających szansę na poprawienie przebiegu oceny, a w związku z tym,

również jego ogólnej jakości:

•••• Panele mogłyby rozpoczynać się od wymiany opinii między ekspertami o projektach z

danego dnia panelu. W pierwszym konkursie z poddziałania 1.3.1 panele właściwie

od razu rozpoczynały się od spotkania z wnioskodawcami, nie przewidziano w nich

czasu na wstępną dyskusję pomiędzy ekspertami (krótkie rozmowy nt. ocenianych

projektów miały miejsce w przerwach pomiędzy końcem jednego spotkania, a

początkiem kolejnego). Co prawda dyskusja nt. projektów pomiędzy ekspertami

odbywała się po zakończeniu prezentacji wszystkich projektów w danym dniu. Ten

blok trwał około 1,5 godziny i kończył się dokonaniem oceny merytorycznej każdego

projektu oraz przydzieleniem punktacji. To w kolejnych konkursach warto

przeznaczyć czas (np. godzinę przed spotkaniem z pierwszym wnioskodawcą) na

konsultację pomiędzy członkami KOP. W czasie tym eksperci mieliby okazję do

ustalenia wniosków płynących z analizy dokumentacji aplikacyjnej nt. wstępnej oceny

projektu i mogliby określić listę kluczowych kwestii do poruszenia podczas rozmowy z

wnioskodawcą. Identyfikacja najważniejszych zagadnień, o które dopytać trzeba

wnioskodawcę jeszcze przed spotkaniem z nim, pozwoliłaby na zwiększenie

użyteczności tej części panelu.

•••• Zgodnie z pkt. 5 § 6. KOP może w wyjątkowych sytuacjach wezwać wnioskodawcę na

każdym etapie oceny projektu do złożenia informacji dokumentów innych, niż

wymienione we wniosku o dofinansowanie, jeżeli uzna, że są one niezbędne do oceny

spełnienia kryteriów wyboru projektów. Wnioskodawcy mieli 5 dni na dostarczenie

takich informacji. Przy czym prośby te panel wystosowywał zazwyczaj podczas

spotkania z wnioskodawcą, a nie przed nim. Wydaje się, że z organizacyjnego punktu

widzenia, a także dla zachowania równych szans pomiędzy wszystkimi

wnioskodawcami zdecydowanie lepszym rozwiązaniem byłoby ograniczenie

możliwości uzupełniania tych dodatkowych dokumentów do okresu poprzedzającego

panel (np. do 2-3 dni przed panelem, z założeniem że dokumenty przesłane później

nie będą brane pod uwagę). Rozwiązanie takie pozwoliłoby na wypracowanie

ostatecznej oceny projektu podczas bezpośredniego spotkania ekspertów (obecnie,

w przypadku dosyłania dokumentów ocena ustalana jest w trybie

korespondencyjnym), którzy dysponowaliby wówczas wszystkimi dokumentami.

Konieczność dosłania wszystkich dokumentów, pozwoliłaby również ekspertom na

uwzględnienie ich oraz ewentualnych dodatkowych pytań do wnioskodawców,

podczas spotkania z potencjalnym beneficjentem, co przy obecnej formule jest

niemożliwe.

W ramach całej procedury oceny, system informatyczny PARP działał wydolnie i nie

występowały w tej sferze istotne problemy.

70




− kryteria formalne (wnioskodawcy, projektu, wniosku i specyficzne),

− kryteria merytoryczne (dostępu i rankingujące) oraz


Formalne

W pierwszym konkursie w ramach Poddziałania 1.3.1 POPW złożono 82 wnioski o

dofinansowanie. Na etapie weryfikacji wymogów formalnych odrzucono zaledwie trzy

aplikacje, co oznacza, że do oceny wg. kryteriów formalnych, a następnie merytorycznych

skierowano 79 projektów. Żaden projekt nie został odrzucony ze względu na niespełnienie

kryteriów formalnych.

Pewne zastrzeżenia, podnoszone również podczas wywiadów z ekspertami, wysunąć można

pod adresem kryterium formalnego specyficznego nr 3 Wnioskodawca osiągnął przychody ze

sprzedaży nie mniejsze niż 600 tys. PLN przynajmniej w jednym zamkniętym roku obrotowym

w okresie 3 lat poprzedzających rok, w którym złożył wniosek o udzielenie wsparcia. Biorąc

pod uwagę potencjalnych beneficjentów poddziałania 1.3.1, którymi są przedsiębiorstwa z

sektora MSP, kryterium to może być dyskryminujące, szczególnie dla mikroprzedsiębiorstw.

Kryterium to jest jednak ważne, aby wyeliminować przedsiębiorców, którzy nie będą w

stanie udźwignąć realizacji stosunkowo dużego projektu ze względu na możliwą do uzyskania

wielkość dofinansowania w ramach poddziałania. Niemniej, w kontekście przyszłych

konkursów można rozważyć obniżenie tego progu np. do poziomu 450 tys. zł76, albo zmianę

kryterium z dotyczącego przychodów ze sprzedaży, na rzecz obrotów w ogóle, a zdolności do

realizacji projektu oceniać w ramach innych kryteriów.

Merytoryczne

Większość kryteriów merytorycznych sformułowana została prawidłowo, stosunkowo dobrze

odzwierciedlając logikę Poddziałania 1.3.1 POPW. Niemniej, wobec części z nich na obecnym

etapie można sformułować pewne uwagi:

1. Opis kryterium merytorycznym dostępu nr 3 Wskaźniki projektu są obiektywnie

weryfikowalne i odzwierciedlają założone cele projektu, może być nieco mylący.

Sprawia wrażenie dużej dowolności wnioskodawcy w tym zakresie, podczas gdy

większość z wskaźników jest z góry określona we wniosku o dofinansowanie, a

wnioskodawcy pozostaje jedynie wpisać ich wartość oraz, w przypadku wskaźników

dotyczących liczby zakupionych środków trwałych…, liczby zakupionych wartości

niematerialnych… i wzrostu zatrudnienia…, podać metodologię ich wyliczenia. Jak

76

Wartość określona na podstawie przeciętnego rocznego przychodu mikroprzedsiębiorstw w 2014 r. z opracowania GUS Działalność przedsiębiorstw niefinansowych w 2014 r. Zgodnie z przytoczonym opracowaniem, przeciętne przychody mikroprzedsiębiorstw wynosiły wówczas 457,7 tys. zł)

71


jednak wynika z wywiadów, ten element oceny, w odniesieniu do wskaźników

programowych, nie nastręczał dużych trudności, dlatego też nie wymaga on zmian.

2. Kryterium merytoryczne dostępu nr 4 Projekt dotyczy inwestycji początkowej zgodnie

z rozporządzeniem KE nr 651/2014 było nie do końca jasne. Trudności z jego

interpretacją mieli niemal wszyscy wnioskodawcy oraz przynajmniej część z

ekspertów. Wiązał się on z nieprecyzyjną treścią definicji kryterium, która sugeruje, że

dofinansowanie w ramach poddziałania 1.3.1 pozyskać można na każdy z czterech

typów inwestycji początkowej, podczas gdy z wyjaśnień udzielanych przez PARP

podczas spotkań informacyjnych wynika,77 że mogą je otrzymać tylko te projekty,

które dotyczą założenia nowego zakładu lub dywersyfikacji produkcji zakładu, poprzez

wprowadzenie produktów uprzednio nieprodukowanych w zakładzie (tj. takich które

prowadzą do innowacji produktowej, a nie np. procesowej). Ta nieścisłość definicji

przełożyła się, jak wynika z wywiadów, na błędne przypisywanie projektu do danego

typu inwestycji początkowej. Można domniemywać, że ponieważ początkowo

myślano, że każdy typ inwestycji może uzyskać wsparcie, to wnioskodawcy nie

poświęcali szczególnej uwagi wyborowi odpowiedniej kategorii. Co więcej, z powodu

opisanej powyżej wprowadzającej w błąd definicji kryteriów również eksperci,

przynajmniej w pierwszych panelach, nie zawsze wiedzieli jak podejść do oceny tego

kryterium. W odpowiedzi na pojawiające się trudności z interpretacją PARP

przygotował wytyczne dla członków KOP. Przed kolejnymi naborami konieczna jest

poprawa definicji kryterium poprzez usunięcie tych typów inwestycji początkowej, na

które de facto nie można dostać wsparcia.

3. Kryterium merytoryczne dostępu nr 5 Wnioskodawca dysponuje prawami do wyników

prac B+R jest zrozumiałe, z wyjątkiem możliwości zweryfikowania zakresu tych prac.

Zdarzały się sytuacje, w których dokumenty potwierdzające posiadane prawa nie były

ważne na dzień, w którym obradował panel ekspercki, co sprawiało pewne trudności z

interpretacją tego kryterium. Pomimo tego, że w definicji kryterium wprost wskazuje

się, że dokumenty potwierdzające posiadane prawa do wyników prac B+R zapewnią

mu [wnioskodawcy] odpowiedni poziom uprawnień, pozwalający na wykorzystanie

wyników B+R zgodnie z opisem i celami projektu, co powinno zgodnie z intencjami

autorów być odczytywane jako konieczność dysponowania prawami (a więc i

dokumentami je potwierdzającymi) na okres wystarczający do realizacji projektu, to

rzeczywistość pokazała, że nie zawsze tak odczytywano zapisy. Z tego względu,

zasadne będzie jednoznaczne wskazanie, najlepiej w treści definicji kryterium lub w

instrukcji wypełniania wniosku i wytycznych dla ekspertów (jeśli takie zostaną

przygotowane), że dokumenty potwierdzające posiadanie praw do wyników prac B+R

muszą być ważne przez okres pozwalający na zrealizowanie projektu, a nie tylko w

77

Nagranie ze spotkania informacyjnego z dnia 18 września 2015 r. https://www.youtube.com/watch?v= r0SHKofPPrc (dostęp: 9.06.2016).

72


momencie składania dokumentacji aplikacyjnej. Zawarcie takiej informacji byłoby

zresztą zasadne w przypadku każdego kryterium, w którym wymagane jest

przedstawienie przez wnioskodawcę dokumentów.

Na poziomie kryteriów dostępu brakowało jednego bardzo ważnego kryterium, które

pozwalałoby na badanie jakościowe wyników B+R, w tym w szczególności weryfikację tego

czy dane wyniki mają kluczowe znaczenie dla wdrożenia produktu, którego dotyczy dany

projekt. Problem z brakiem takiego kryterium był często wskazywany przez ekspertów

oceniających wnioski, w szczególności w kontekście problemów z kryterium merytorycznym

rankingującym nr 1 dotyczącym innowacyjności produktu. Jednym ze sposobów radzenia

sobie z nimi, było traktowanie kryterium dotyczącego posiadania przez wnioskodawcę praw

do wyników prac B+R (kryterium merytorycznym dostępu nr 5 Wnioskodawca dysponuje

prawami do wyników prac B+R), jako kryterium pozwalającego na eliminację tych projektów,

które w rzeczywistości nie dotyczyły wdrożenia wyników prac B+R, które były kluczowe dla

opracowania nowego lub udoskonalenia istniejącego produktu. Taka interpretacja naraża

jednak na protesty wnioskodawców, ponieważ, czytając literalnie zapisy kryterium, to

weryfikuje ono posiadanie praw do wyników prac badawczo-rozwojowych, a nie dotyczy

oceny tychże. Pierwsze zdanie z definicji ocenie podlega możliwość wdrożenia innowacji, nie

odnosiło się do dalszego opisu kryterium. Pomimo tego, że – jak można domniemywać – w

opinii autorów, miało ono wskazywać, że wdrażane wyniki prac B+R miały być warunkiem

umożliwianym wdrożenie innowacji będącej przedmiotem projektu, to wnioski z analizy kart

ocen oraz wywiadów z ekspertami, wskazują że nie zawsze było tak odczytywane. W związku

z tym rekomendujemy, aby uzupełnić kryteria dostępu o kryterium dotyczące prac B+R, w

którym na podstawie opisu prac B+R przedstawionego przez Wnioskodawcę, eksperci

ocenialiby czy:

•••• prace B+R spełniają definicje prac B+R, punktem odniesienia mogłaby być w tym

przypadku definicja przedstawiona w ustawie z dnia 30 kwietnia 2010 r. o zasadach

finansowania nauki – przy czym z punktu widzenia celów programu można będzie na

poziomie kryteriów zaznaczyć, że dofinansowanie nie będzie przyznawane na

wdrożenie wyników prac B+R, dotyczących badań marketingowych, społecznych etc.;

•••• wyniki prac B+R, które chce wdrażać wnioskodawca są kluczowe dla opracowani

produktu (towaru lub usługi), którego dotyczy projekt – w tym elemencie kluczowa

byłaby opinia ekspertów, którzy na podstawie informacji o planowanym projekcie i

jego zakresie (ogółu informacji zawartych we wniosku), decydowaliby czy wyniki prac

B+R na które powołuje się wnioskodawca, są rzeczywiście kluczowe dla osiągnięcia

założonych celów projektu.

Pozytywna odpowiedź na te dwa pytania powinna warunkować to, czy dany projekt

w ogóle może się ubiegać o dofinansowanie. Weryfikacja tych kwestii, w

szczególności w ramach drugiego podpunktu, pozwoliłaby na wyeliminowanie

projektów tylko pozornie polegających na wdrożeniu wyników prac B+R.

73


Z punku widzenia logiki interwencji Poddziałania 1.3.1 kluczowe znaczenie, decydujące o

jakości projektów w kontekście oczekiwanych efektów wsparcia, wydają się mieć dwa

pierwsze kryteria rankingujące nr 1 Innowacyjność produktu oraz nr 2 Potencjał rynkowy

produktu będącego efektem projektu. Wyniki oceny merytorycznej wskazują na to, że

wsparcie ostatecznie trafiło do projektów wyżej ocenionych w obydwu kategoriach, jednak

różnice pomiędzy dofinansowanymi i niedofinansowanymi projektami są stosunkowo

niewielkie. W obydwu przypadkach projekty ostatecznie niedofinansowane najczęściej

spełniały wymagane minima, co z kolei oznacza, że dla uzyskania wsparcia decydująca była

nie tyle jakościowa ocena (taką role powinny pełnić kryteria 1 i 2), co zero-jedynkowa ocena

kryteriów merytorycznych rankingujących nr: 3, 4, 5 i 6.

W przypadku kryterium nr 1 Innowacyjność produktu minimalne wymogi wypełniło około

80% wszystkich dofinansowanych projektów. Praktycznie żadnego znaczenia nie miała

punktacja w podkryterium dotyczącym charakteru prac B+R, ponieważ wszystkie wnioski

automatycznie otrzymywały w nim 3 punkty, a dodatkowa pula 2 punktów nie decydowała o

możliwości uzyskania wsparcia. Nieco bardziej różnicujące były obydwie składowe kryterium

dotyczącego nowości rezultatów, ale także w tym przypadku projekty niedofinansowane

najczęściej spełniały wymagane minima.

Niewielka zdolność różnicowania projektów wydaje się być problemem kryterium

rankingującego nr 2 Potencjał rynkowy produktu będącego efektem projektu. Maksymalnie

wnioskodawca mógł otrzymać 9 punktów, z czego co najmniej po dwa punkty w grupach

podkryteriów dotyczących analizy rynku i oceny wniosków ze strategii wdrożeniowej

i marketingowej. W praktyce okazało się, że eksperci przyznawali punkty w tych kryteriach

bardzo liberalnie. Wymaganego minimum 4 punktów nie uzyskało jedynie 5 projektów z 78

ocenionych.78

Spośród pozostałych kryteriów rankingujących, dla otrzymania dofinansowania decydujące

było wypełnienie kryterium nr 4 Prognoza finansowa wskazuje na opłacalność projektu,

które pozytywnie oceniono w około 1/3 projektów ostatecznie niedofinasowanych. Częstą

sytuacją było niespełnienie kryterium 3 nr Wnioskodawca zapewnia finansowanie projektu

oraz 5 nr Przygotowanie do realizacji projektu. Oznacza to, że wymienione kryteria spełniały

de facto rolę kryteriów dostępu i w praktyce decydowały o uzyskaniu wsparcia w ramach

POPW. Duży odsetek projektów negatywnie ocenionych w kryteriach nr 3 - 5 nie podważa w

żadnym stopniu zasadności tych elementów oceny,79 jednak do myślenia daje ich bardzo

duży wpływ na różnicowanie ocen w porównaniu z kluczowymi kryteriami jakościowymi 1. i

2., które powinny być czynnikiem przesądzającym o udzieleniu wsparcia.

W ogólnym ujęciu większość kryteriów merytorycznych rankingujących sformułowana

została prawidłowo, w sposób nawiązujący do logiki interwencji w ramach podziałania 1.3.1.

78

Do oceny merytorycznej zakwalifikowano 79 projektów. 79

Z wyjątkiem tego, że bardziej przejrzyste byłoby ich przypisanie do grupy kryteriów dostępu.

74


Niemniej w przypadku przynajmniej części z nich zidentyfikowano pewne trudności związane

z ich zakresem i/lub definicją. Poniżej sformułowane zostały szczegółowe uwagi do

poszczególnych kryteriów:

1. W przypadku kluczowego kryterium merytorycznego rankingującego nr 1

Innowacyjność produktu, ocenie podlegały trzy aspekty:

a. charakter wdrożonych wyników B+R, za który można było uzyskać 3 pkt, jeśli

planowane do wdrożenia w ramach projektu wynik prac B+R były ogólnie

dostępne na rynku, a Wnioskodawca planował je nabyć lub już je nabył lub 5

pkt, jeśli prace B+R przeprowadzone były samodzielnie przez Wnioskodawcę

lub na jego zlecenie.

W kryterium tym Wnioskodawca musiał uzyskać minimum 3 pkt, jednocześnie

zgodnie z zapisami kryteriów, eksperci nie mieli możliwości nieprzyznania 0

pkt. Oznacza to, że każdy wniosek, który przeszedł ocenę formalną dostawał

w tym podkryterium 3 pkt, nawet jeśli podczas oceny merytorycznej

stwierdzono, że projekt nie dotyczy wdrożenia wyników prac B+R, bo np.

przedstawiane przez wnioskodawcę prace badawczo-rozwojowe w

rzeczywistości są badaniami marketingowymi. Pomimo tego, że przyznanie 0

punktów w kryterium dotyczącym posiadania praw do wyników prac B+R

eliminowało projekt, z możliwości uzyskania wsparcia, możliwość otrzymania

3 pkt, w podkryterium dotyczącym charakteru wdrożonych wyników prac B+R

prowadziło do dosyć absurdalnej sytuacji, w której coś co nie spełnia

wymogów B+R i/lub do czego wnioskodawca nie ma praw, otrzymuje mimo to

minimum 3 pkt za charakter wyników. Kwestia ta wydaje się jednym z

większych mankamentów ocenianego zestawu kryteriów, co potwierdzają

opinie ekspertów oceniających projekty w ramach poddziałania 1.3.1.

b. Kolejnym ocenianym elementem była nowość rezultatów projektu – ocena

tego podkryterium jest zasadniczo pozytywna, szczególnie biorąc pod uwagę,

że jest to jedno z niewielu miejsc pozwalających na rzeczywiście jakościową i

ekspercką ocenę projektu (w odniesieniu do weryfikacji tego czy produkt

charakteryzuje się nowymi funkcjonalnościami mającymi znaczeni dla

odbiorców produktów oraz cechami wyróżniającymi go w stosunku do

produktów konkurencyjnych).

c. Ostatni z ocenianych elementów kryterium dotyczącego innowacyjności

dotyczy klasyfikacji technologii wdrożonego produktu w ramach projektu wg

Eurostat – element te nie budzi wątpliwości interpretacyjnych i jako taki

oceniony może być pozytywnie.

Aby projekt spełnił całe kryterium dotyczące innowacyjności produktu, musiał

otrzymać minimum 7 pkt, w tym minimum 4 w podkryterium nowość rezultatów. Jak

już wspominaliśmy 3 punkty w podkryterium dotyczącym charakteru wdrażanych

wyników B+R przyznawane były każdemu, niezależnie od tego czy projekt

75


rzeczywiście dotyczył wdrożenia prac B+R. Ta kwestia w zasadzie nie była

przedmiotem weryfikacji w żadnym z etapów oceny, co stanowi jedną z największych

słabości przyjętych rozwiązań. W kontekście kolejnych naborów rekomendujemy

rezygnację z oceny w kryterium innowacyjności produktu kwestii związanych z

rodzajem wdrażanych wyników prac B+R. Zagadnienie to jest wtórne dla

innowacyjności produktu, która powinna być głównym elementem oceny w tym

kryterium. Poddziałanie 1.3.1 polega na wdrożeniu wyników B+R, które mają

pozwolić na innowacje produktowe, a więc weryfikacja tego czy dany produkt opiera

się na wynikach prac B+R powinna stanowić kryterium dostępu (patrz sugerowane

przez nas zmiany w kryterium dotyczącym posiadania praw do wyników B+R), a nie

jakościowej oceny na poziomie oceny innowacyjności produktu.

Ponieważ ocena innowacyjności produktu będącego przedmiotem projektu powinna

w większej mierze opierać się na ocenie jakościowej, która obecnie przewidziana jest

na poziomie oceny produktu pod względem jego użyteczności dla klientów oraz

konkurencyjności, w stosunku do innych dostępnych produktów, proponujemy

zwiększenie wagi tych elementów (m.in. przez wspomnianą powyżej rezygnację z

oceny charakteru wdrażanych wyników prac B+R), sprawiłoby że system oceny i

wyboru projektów w większym stopniu premiowałby przedsięwzięcia rzeczywiście

realizujące cele POPW.

2. Kryterium nr 2 Potencjał rynkowy produktu będącego efektem projektu nie budzi

wątpliwości interpretacyjnych. W definicji zwrócono uwagę na wszystkie

najważniejsze elementy, które mogą mieć wpływ na sukces rynkowy produktu

wdrażanego w ramach projektu. Wątpliwości budzi jednak założenie o oddzielnej

ocenie i przyznawaniu po 1 punkcie dla każdego z wymienionych elementów. Obecne

zapisy doprowadzić mogą – i czasami rzeczywiście prowadziły – do sytuacji, w której

danemu projektowi przyznany zostanie punkt za przedstawienie jakiejś informacji,

nawet jeśli jest ona błędna lub mało realna np.:

•••• projektodawca przedstawiając analizę wielkości potencjalnego popytu w

odniesieniu do obecnej i prognozowanej wielkości rynku dostaje 1 punkt,

nawet jeśli rynek docelowy został źle zdefiniowany (pierwsze podkryterium),

co powinno de facto dyskwalifikować wniosek w ramach oceny kolejnych

elementów kryterium analiza rynku dla produktu. Analiza kart ocen wskazuje

jednak, ze w przypadku kilku projektów (3) przyznanie zera punktów za

zdefiniowanie rynku docelowego, nie przeszkadzało w pozytywnej ocenie

kolejnych elementów tego kryterium (w jednym przypadku uznano, że

właściwie oceniono potrzeby, wymagania i preferencje klientów

indywidualnych lub instytucjonalnych, w innym, ze przedstawione informacje

o trendach rynkowych i prognozowanych wskaźnikach wzrostu uzasadniają

potencjał rynkowych produktu, natomiast w dwóch przypadkach przyznano

76


punkty za opis tego jak będzie funkcjonował produkt na rynku i jaką rolę

będzie spełniał).

•••• w części dotyczącej strategii wdrożeniowej i marketingowej można dostać

punkty za uwzględnienie w planowanej strategii marketingowej działań

informacyjno-promocyjnych wpływających na podniesienie świadomości

klientów o oferowanym produkcie, nawet jeśli przestawiona strategia jest

nierealistyczna i nie uwzględnia potencjalnego ryzyka (pierwsze z ocenianych

elementów), co znowu powinno dyskwalifikować wniosek w kolejnych

elementach tego kryterium, jednak nie zawsze tak było. W połowie projektów,

których strategia oceniona została jako nierealistyczna i/lub

nieuwzględniająca potencjalnego ryzyka, przyznano punkty za to, że

przewidziano działania informacyjno-promocyjne podnoszące świadomość

klientów. Dodatkowo, również w połowie projektów, w których strategia

wdrożeniowa i marketingowa produktu oceniona została za negatywnie,

jednocześnie uznano, że uprawdopodabnia ona sukces rynkowy produktu

(ostatni z ocenianych elementów).

Wnioski m.in. z analizy kart ocen projektów ocenianych w ramach konkursu z

poddziałania 1.3.1, wskazują, że obecna definicja omawianego kryterium, w

powiązaniu z brakiem dodatkowych wytycznych dla ekspertów oceniających wnioski,

przełożyły się na zróżnicowane podejście do oceny potencjału rynkowego produktu.

W części z projektów każdy z elementów oceniany był oddzielnie, w oderwaniu od

jego relacji z innymi elementami tego kryterium. W innych natomiast, widoczne było

bardziej kompleksowe podejście do oceny potencjału rynkowego produktu jako

takiego, w której co prawda uwzględniano wszystkie z wymienionych w definicji

kryterium elementów, ale nie oceniano ich w oderwaniu od siebie (potwierdzają to

zarówno analizy kart ocen i rozkład przyznanych punktów, jak i wnioski z wywiadów z

ekspertami oceniającymi projekty). Zdaniem Ewaluatora drugie podejście jest

zdecydowanie bardziej użyteczne z punktu widzenia wyboru rzeczywiście najlepszych

projektów. Pozwala m.in. uniknąć sytuacji opisanych w przykładach powyżej, w

których przynajmniej teoretycznie wykluczające się oceny, miały miejsce (np.

pozytywna ocena strategii pod kątem tego czy uprawdopodabnia sukces rynkowy

projektu, przy negatywnej ocenie jej ogólnej realności). Pomimo tego, że

rozpatrywanie i oddzielna ocena poszczególnych podpunktów są niewątpliwie

wygodniejsze z punktu widzenia oceniających oraz ewentualnych protestów, mogą

jednak gubić całościowy obraz sytuacji. Z tego względu sugerujemy aby

doprecyzować zapisy tego kryterium lub zmienić sposób jego oceny:

•••• Propozycja 1. Na poziomie definicji sugeruje się zaznaczyć, że każdy z

wymienionych 9 tiret oceniany będzie zarówno pod kątem potwierdzenia

wymaganej informacji, ale i jej jakości (w tym: adekwatności, realności i

rzetelności). Sugeruje się zapis mówiący o tym, że poszczególne tiret oceniane

77


będą również w powiązaniu z innymi tiret (np. kwestie potrzeb klientów będą

rozpatrywane w powiązaniu z tym czy rynek docelowy został właściwie

zidentyfikowany i zdefiniowany).

•••• Propozycja 2. Zmiana oceny kryterium. W definicji można zostawić 9 tiret, jako

wskazówki dotyczące tego co składa się na ocenę potencjału rynkowego

projektu. Jednak punkty przyznawane byłyby w odniesieniu do oceny całego

kryterium potencjału rynkowego produktu (spójności i jakości

przedstawionych informacji). Sugerowana skala to od 0 do 5 (z wagą

kryterium 2) gdzie 0 pkt. - kryterium spełnione jest w stopniu

niedostatecznym, 1 pkt. - w niskim, 2 pkt. – dostatecznym, 3 pkt.- dobrym, 4

pkt. – bardzo dobrym, 5 pkt. – doskonałym.

Takie podejście pozwoliłoby na rzeczywistą, ekspercką ocenę potencjału rynkowego

całego przedsięwzięcia jako całości, a nie poszczególnych elementów, które wcale nie

muszą się przekładać na rzeczywiście opłacalny i dobrze przygotowany pomysł.

Pierwszy z nich jest wariantem minimum. Drugi jest podejściem bardziej ambitnym,

potencjalnie dużo bardziej efektywnym dla wyboru najlepszych przedsięwzięć

(zakładając, że eksperci dysponują odpowiednią wiedzą pozwalającą na rzeczywistą

ocenę potencjału rynkowego projektów). Wiąże się jednak z pewnymi wyzwaniami.

Po pierwsze wymagać będzie większego zaangażowania ekspertów, którzy w większej

mierze wykorzystywać musieliby swoją wiedzę ekspercką i lepiej uzasadniać oceny.

Po drugie, powodować może większe problemy z odpowiedzią na protesty

wnioskodawców, jako że oceny będą bardziej subiektywne.

3. Kryterium merytoryczne rankingujące nr 3 Wnioskodawca zapewnia finansowanie

projektu. W części dotyczącej zapewnienia finansowania projektu ze środków

własnych nie zidentyfikowano większych problemów związanych ze zrozumiałością

kryterium. Jak wynika z przeprowadzonych wywiadów, z punktu widzenia ekspertów

wyzwaniem niekiedy była ocena wiarygodności przedstawionych przez

wnioskodawców dokumentów potwierdzających dostęp do zewnętrznych źródeł

finansowania, w szczególności:

•••• wątpliwości wzbudzały zaświadczenia pochodzące z zagranicznych funduszy

pożyczkowych (np. zarejestrowanych w Dubaju, czy na Cyprze);

•••• promesy kredytowe od banków, dla których zabezpieczeniem pożyczki

miałaby być lokata (tzw. zabezpieczenie płynne) w wysokości wnioskowanej

pożyczki - z przeprowadzonych wywiadów wynikało, że takie zabezpieczenie

nie było uznawane, pomimo tego, że należy do częstej praktyki w biznesie;

•••• warunkowe promesy kredytowe, w których banki zastrzegały sobie, że po

przyznaniu dofinansowania, przeprowadzą ponowną ocenę zdolności

kredytowej;

•••• czasami występowały wątpliwości dotyczące tego, jak oceniać dokumenty (np.

promesy/przyrzeczenia warunkowe), potwierdzające możliwości pozyskania

78


zewnętrznego finansowania, których data ważności upłynęła przed panelem

eksperckim (ale obowiązywała w momencie złożenia wniosku i np. przez

kolejny miesiąc).

Ponieważ kryterium dotyczące zapewnienia finansowania projektu miało istotne

znaczenie dla przyznania dofinansowania warto na poziomie wytycznych dla

oceniających (obecnie brak jest takiego dokumentu) doprecyzować oczekiwania IP

odnośnie sposobu podejścia do jego oceny. Przy czym trzeba pamiętać, że

różnorodność dostępnych form finansowania zewnętrznego sprawia, że nie można

przygotować zamkniętej i wyczerpującej listy istniejących możliwości. Dlatego też w

kryterium tym nadal główny nacisk powinien być położony na ocenę ekspercką, która

jednak będzie ukierunkowana wytycznymi dla członków KOP. Co prawda w składzie

paneli eksperckich zawsze znajdował się przynajmniej jeden specjalista w zakresie

finansów (najczęściej dwóch, obecni albo byli pracownicy banków, przeprowadzający

weryfikację wniosków kredytowych), którzy weryfikowali nie tylko wiarygodność i

wykonalność finansową przedstawianych zewnętrznych źródeł finansowania, ale też

alternatywnie środki własne wnioskodawcy i ewentualne jego potrzeby finansowania

zewnętrznego. To jednak na poziomie wytycznych dla ekspertów warto

doprecyzować:

•••• jakiego typu zaświadczenia dostępności zewnętrznych źródeł finansowania

będą brane pod uwagę – z przeprowadzanych wywiadów wynika, że obecnie

przynajmniej w niektórych wypadkach nie uwzględniano tzw. promes

warunkowych udzielanych przez banki, występowały również wątpliwości

dotyczące zabezpieczania kredytów w formie lokaty w wysokości

wnioskowanej pożyczki – oba te rozwiązania są typową praktyką banków, i

jako takie nie powinny być z gruntu odrzucane na etapie oceny;

•••• termin obowiązywania zaświadczeń dotyczących zewnętrznych źródeł

dofinansowania – na poziomie wytycznych dla ekspertów oraz definicji

kryterium warto podkreślić, że dokumenty przedstawiane przez

wnioskodawcę (np. promesy/przyrzeczenia warunkowe) muszą być ważne w

momencie zakończenia naboru. Dodatkowo, można by wprost wskazać, że

przed zawarciem umowy o dofinansowanie konieczne będzie przedstawienie

przez wnioskodawcę aktualnych zaświadczeń.

4. Ocena kryterium merytorycznego rankingującego nr 4 Prognoza finansowa wskazuje

na opłacalność projektu opiera się w dużej mierze na wyliczeniach wskaźnika NPV,

analizie progu rentowności BEP oraz analizie przedstawionej przez Wnioskodawcę

prognozowanej wielkości rynku. Zgodnie z wnioskami z badania jakościowego, w

kryterium tym niemal wszyscy wnioskodawcy popełniali błędy, w szczególności przy

wyliczaniu NPV. Można z tego wysnuć wniosek, że informacje zawarte w przewodniku

okazały się niejasne i niewystarczające dla Wnioskodawców. Eksperci wielokrotnie

79


sami musieli wyliczać NPV na podstawie danych zawartych we wniosku. Ponieważ to

kryterium okazało się jednym z kluczowych, decydujących o przyznaniu lub nie

dofinansowania, w kolejnych naborach warto wypracować wytyczne dla

wnioskodawców (w których wskazany będzie sugerowany sposób wyliczania

wskaźników, jaki powinni przyjąć) i/lub wprowadzić zmiany w generatorze, dzięki

którym po wprowadzeniu przez wnioskodawcę danych automatycznie wyliczane będą

te wskaźniki. Rozwiązanie takie sugerowane było również przez większość ekspertów

objętych badaniem jakościowym.

5. Kryterium merytoryczne rankingujące nr 5 Przygotowanie do realizacji projektu

okazało się być stosunkowo rygorystycznym kryterium dostępu (bo taki de facto miało

charakter). Negatywną ocenę uzyskało w nim około 23% projektów. Większy wpływ

miało tylko piąte kryterium dostępowe (wnioskodawca dysponuje prawami do

wyników prac B+R), które wyeliminowało 22 wnioski, tj. ponad jedną czwartą

wszystkich złożonych aplikacji oraz kryterium czwarte (prognoza finansowa wskazuje

na opłacalność projektu), negatywnie ocenione w przypadku niemal 38% wniosków.

Sam opis kryterium nie budzi większych wątpliwości, zwrócono w nim uwagę na

zagadnienia ważne z punktu widzenia realności wdrożenia planowanej inwestycji.

6. Pewne uwagi można zgłosić do kryterium merytorycznego rankingującego nr 6

Wydatki w ramach projektu są kwalifikowalne, racjonalne i uzasadnione. Zgodnie z

opisem oceniający powinni przyznać 0 punktu w sytuacji, gdy „wydatki nie są

racjonalne i uzasadnione, oceniający dokonali korekty wydatków kwalifikowalnych

powyżej progu procentowego określonego w Regulaminie Komisji Oceny Projektów”.

Sformułowanie to budzi wątpliwości, czy zawarte w nim warunki mają charakter

alternatywy, czy też koniunkcji, a zatem czy wystarczającym powodem do oceny

negatywnej jest niespełnienie tylko jednego z powyższych warunków. Zdaniem

Ewaluatora tak raczej powinno być, gdyż jeżeli kryterium pozytywne ma charakter

koniunkcji (a chyba tak jest), to zgodnie z regułami logiki wystarczy niespełnienie

jednego z wymienionych warunków, aby ocena w ramach tego kryterium była

negatywna.

7. W przypadku kryterium merytorycznego rankingującego nr 7 Projekt ma pozytywny

wpływ na działalność gospodarczą członków ponadregionalnego powiązania

kooperacyjnego, jego zapisy są dosyć ogólne (pomimo podanych przykładów). Przez to

oceny ekspertów opierały się na bardzo ogólnych przesłankach nt. korzyści, jakie z

rozwoju jednej firmy działającej w danym porozumieniu/klastrze, odnosić mogą inne

podmioty z tego klastra (np. w wyniku dyfuzji wiedzy). Interpretacja ocen ekspertów

w tym kryterium nasuwa wniosek, że powiela ono w pewnym sensie kryterium

dostępowe, w którym weryfikowane jest, czy zakres projektu jest zgodny z zakresem

działalności powiązania (kryterium dostępowe nr 2 Przedmiot projektu jest zgodny z

obszarem działalności powiązania kooperacyjnego oraz jego celami rozwoju). Z punktu

widzenia znaczenia tego kryterium dla jakości realizowanych projektów oraz jego

80


wpływu na różnicowanie punktacji pomiędzy poszczególnymi wnioskami, ma ono

znikome znaczenie w systemie wyboru i oceny projektów. Z tego względu można

rozważyć rezygnację z niego. Niemniej zdajemy sobie sprawę, że uwzględnienie

kwestii wpływu realizowanego projektu na działalność gospodarczą członków

ponadregionalnego powiązania kooperacyjnego uwzględnione zostało na liście

kryteriów oceny, ze względu na jego powiązanie z logiką interwencji w ramach

poddziałania 1.3.1. Z tego punktu widzenia można pozostawić to kryterium, zdając

sobie jednak sprawę z jego ograniczonego znaczenia (spełniło je niemal 90%

projektów). Warto wziąć pod uwagę modyfikację jego definicji, aby w bardziej

przystępny sposób opisywała oczekiwania autorów kryteriów, np. w sposób

przedstawiony poniżej:

Ocenie podlega czy z realizacji dofinansowanego projektu skorzystają również inni

członkowie ponadregionalnego powiązania kooperacyjnego, do którego należy

wnioskodawca. Premiowane będą te projekty, których realizacja przynosi korzyści nie

tylko podmiotowi realizującemu projekt, ale minimum 2 innym podmiotom

działającym w ramach tego powiązania.

Korzyści odnoszone mogą być przez te podmioty w trakcie realizacji projektu lub po

jego zakończeniu. Ich zakres obejmować może m.in. obniżenie kosztów (produkcji,

świadczenia usług itp.) i/lub zwiększenie przychodów tych podmiotów, skrócenie

czasu produkcji, efektywniejsze wykorzystanie zasób i materiałów lub wzrost

zainteresowania ich ofertą rynkową.

Wnioskodawca powinien opisać w jaki sposób projekt, który chce zrealizować wpłynie

na minimum 2 inne podmioty. W szczególności, należy opisać jakie korzyści odniosą i

na jakim etapie realizacji projektu wystąpią (czy w trakcie realizacji czy po jego

zakończeniu).

8. Kryterium merytoryczne rankingujące nr 8 Podmiot zarządzający ponadregionalnym

powiązaniem kooperacyjnym posiada siedzibę na terytorium Polski Wschodniej

niewiele wnosi. Nie ma ono w zasadzie przełożenia na jakość i efektywność projektu.

Kwestia posiadania przez koordynatora powiązania siedziby na terytorium

makroregionu Polski Wschodniej, wydaj się wtórna nawet z punktu widzenia logiki

interwencji (nie znajduje specjalnego uzasadnienia w treści POPW 2014-2020, ani w

SzOOP do niego). O ile nacisk na wspieranie w ramach poddziałania 1.3.1

wnioskodawców należących do powiązań kooperacyjnych, działających na terenie

województw Polski Wschodniej jest uzasadniony z punktu widzenia celów i logiki

interwencji, sprzyja bowiem wzmacnianiu powiązań działających na tym terenie i

obejmujących firmy z regionu. O tyle już promowanie powiązań, których podmiot

zarządzający posiada siedzibę na terytorium Polski Wschodniej wydaje się nie mieć

znaczenia. Z uwagi na ograniczone znaczenie tego kryterium można rozważyć

rezygnację z niego.

81


9. Kryterium merytoryczne rankingujące nr 10 Realizacja projektu przyczyni się do

wzrostu zatrudnienia nie budzi wątpliwości interpretacyjnych. Wymagania dotyczące

planowanej do utworzenia liczby miejsc pracy, a także punkty, które można za nie

uzyskać, wydają się jednak zbyt wygórowane, biorąc pod uwagę grupę docelową

wsparcia, tj. podmioty z sektora MSP oraz cele interwencji, związane z podniesieniem

innowacyjności i konkurencyjności przedsiębiorstw. W kryterium tym więcej punktów

zdobywały projekty, które nie zostały dofinansowane niż te, którym przyznano

wsparcie. Co oznacza, że kwestie zatrudnienia są wtórne i nie stanowią kryterium

różnicującego. Niemniej, warto rozważyć obniżenie progu przyznania 2 pkt w tym

kryterium, np. do 5 lub 10 nowych miejsc pracy (obecnie powyżej 21).

Warto zwrócić uwagę, że kryteriów oceny w poddziałaniu 1.3.1 jest generalnie za dużo,

zwłaszcza tych dotyczących powiązania kooperacyjnego, do którego należy wnioskodawca. Z

części kryteriów można zrezygnować bez szkody dla jakości wybieranych projektów i

selektywności całego systemu wyboru i oceny. W ujęciu ogólnym, szeroko rozumiane

kwestie związane z powiązaniem kooperacyjnym do którego należy podmiot starający się o

wsparcie, powinny być raczej kryteriami dostępu (takie podejście znajduje uzasadnienie w

logice programu), natomiast kryteria rankingujące odnosić się powinny do oceny jakości

poszczególnych przedsięwzięć.

Dodatkowo, warto rozważyć wprowadzenie dodatkowego etapu oceny, na którym

dokonywana będzie pierwsza selekcja wniosków, które później trafią na panel ekspercki.

Można zastanowić się np. nad takim rozwiązaniem, jakie wykorzystywane jest w NCBiR80 w

ramach poddziałania 1.1.1 POIR, w którym paneliści oceniają wstępnie wszystkie projekty,

które przeszły etap oceny formalnej i na tej podstawie wybierają te przedsięwzięcia, które

dopuszczone zostaną do oceny panelowej (wybierane są tylko te przedsięwzięcia, które na

podstawie wstępnych ocen uzyskują minimalną wymaganą liczbę punktów w poszczególnych

kryteriach). Na poziomie poddziałania 1.3.1 POPW 2014-2020 można rozważyć, czy do paneli

nie dopuszczać tylko tych projektów, które zostaną pozytywnie ocenione we wszystkich

kryteriach dostępu. Ocena merytoryczna kryteriów dostępu dokonywana mogłaby być przez

tych samych ekspertów, którzy oceniali by wnioski podczas paneli. Warunkiem zaproszenia

do udziału w panelu mogłoby być uzyskanie pozytywnej oceny od np. minimum 3 na 4

ekspertów z KOP.

Rozstrzygające

Kryteria rozstrzygające w poddziałaniu 1.3.1 odwołują się do dwóch kryteriów

merytorycznych, dotyczących innowacyjności produktu i jego potencjału rynkowego oraz

dwóch kryteriów związanych z poziomem intensywności wnioskowanego wsparcia oraz

stopą bezrobocia w powiecie, w którym realizowany będzie projekt.

80

Narodowe Centrum Badań i Rozwoju, instytucja odpowiedzialna za wdrażanie poddziałania 1.1.1 Programu Operacyjnego Inteligentny Rozwój.

82


Zarówno dobór, jak i kolejność kryteriów rozstrzygających branych pod uwagę, nie budzą

większych zastrzeżeń. Słusznie pierwszeństwo w przyznaniu dofinansowania przyznano tym

projektom, które najlepiej wypadają pod względem innowacyjności produktu oraz, w dalszej

kolejności, jego potencjału rynkowego. Rozwiązanie takie odpowiada logice interwencji i

sprzyja, w przypadku uzyskania takiej samej łącznej liczby punktów przez wiele projektów,

premiowaniu przedsięwzięć najlżejszej jakości (z punktu widzenia innowacyjności) i o

największym potencjale rynkowym.

Pomimo braku istotnych zastrzeżeń do wskaźnika bezrobocia, jako ostatniego z kryteriów

rozstrzygających, można rozważyć jego zmianę na np. wskaźnik dotyczący nakładów

inwestycyjnych w przedsiębiorstwach na 1 mieszkańca w wieku produkcyjnym (dane GUS

dostępne na poziomie powiatów).

Poddziałanie 1.3.2 Tworzenie sieciowych produktów przez MŚP


W momencie przygotowania niniejszej analizy nie zakończono jeszcze pierwszego naboru w

ramach podziałania 1.3.2, z tego względu ma ona charakter oceny ex-ante i opiera się na

danych zastanych oraz, tam gdzie występują podobieństwa pomiędzy systemem wyboru i

oceny projektów, na wnioskach z dotychczas zakończonych naborów w OP I POPW.

Na podstawie dostępnych informacji (dokumentacji konkursowej), można uznać, że proces

przygotowania naboru był zgodny z wymogami określonymi w ustawie wdrożeniowej81 –

informacja o zaplanowanym na 2016 r. naborze pojawiła się z dwumiesięcznym

wyprzedzeniem w stosunku do daty jego rozpoczęcia82. Informacja o konkursie umieszczona

została na podstronie Instytucji Pośredniczącej poświęconej Programowi Polska Wschodnia

(popw.parp.gov.pl) oraz na stronie POPW (www.polskawschodnia.gov.pl). Na stronie z

ogłoszeniem o naborze83 przedstawiono informacje dotyczące m.in. kosztów

kwalifikowanych oraz rodzajów podmiotów mogących się ubiegać o dofinansowanie.

Dodatkowo znalazł się na niej również odnośnik do strony z pełną dokumentacją

konkursową84 oraz odpowiedziami na najczęściej zadawane pytania.

81

Ustawa z dnia 11 lipca 2014 r. o zasadach realizacji programów w zakresie polityki spójności finansowanych w perspektywie finansowej 2014–2020, (t.j. Dz. U. z 2016 r. poz. 217). 82

ogłoszenie upubliczniono 29 lutego 2016 r. 83

https://popw.parp.gov.pl/nabor-wnioskow/ogloszenie-o-konkursie-do-poddzialania-1-3-2-tworzenie-sieciowych-produktow-przez-msp 84

Regulamin konkursu wraz z załącznikami, Wzory załączników do wniosku o dofinansowanie, Wzory dokumentów składanych na etapie przygotowania umowy o dofinansowanie projektu, Wzory załączników do umowy o dofinansowanie.

83


Zaprezentowane informacje w precyzyjny i kompletny sposób określały ramy czasowe

naboru, formę składania dokumentacji aplikacyjnej, skalę środków przewidzianych do

wsparcia oraz maksymalny poziom dofinansowania pojedynczych projektów.

Na obecnym etapie (tj. przed zakończeniem naboru w ramach ocenianego poddziałania)

ocena dokumentacji konkursowej, w szczególności Regulaminu konkursu, wzoru Wniosku o

dofinansowanie i Instrukcji do wniosku jest pozytywna. Zawiera ona wszystkie kluczowe

informacje związane z oferowanym wsparciem i realizowanym naborem. Niemniej, można

wskazać kwestie wymagające zmiany. We wniosku o dofinansowanie/Instrukcji wypełnienia

wniosku wskazuje, się że wnioskodawcy powinni wskazać wszystkie adekwatne dla projektu

(poszczególnych członków konsorcjum) rodzaje inwestycji początkowej będące przedmiotem

projektu, co sugeruje, że wsparcie przeznaczyć można na każdy typ inwestycji początkowej.

Jednocześnie zgodnie z kryterium innowacyjności produktu: Mając na względzie realizację

celów i osiągnięcie wskaźników przewidzianych w POPW, dofinansowanie może otrzymać

wyłącznie projekt, który dotyczy innowacji produktowej oraz zgodnie z zapisami Instrukcji

wypełniania wniosku o dofinansowanie, dofinansowanie może otrzymać wyłącznie projekt,

który dotyczy innowacji produktowej. Zapisy te wydają się wewnętrznie sprzeczne, biorąc

pod uwagę jakie trudności z tym kryterium wystąpiły w Poddziałaniu 1.3.1. Ostatecznie

okazało się, że nie każdy rodzaj inwestycji początkowej może być dofinansowany w ramach

wsparcia, zatem istnieje ryzyko tego samego typu kłopotów w Poddziałaniu 1.3.2. Jeśli – tak

jak w Poddziałaniu 1.3.1 – dofinansowanie dostać mogą jedynie projekty dotyczące

inwestycji początkowej związanej z założeniem nowego zakładu lub dywersyfikacją produkcji

zakładu poprzez wprowadzenie produktów uprzednio nieprodukowanych w zakładzie, to

obecna Instrukcja wypełniania wniosku o dofinansowanie oraz kryteria są niejasne i mogą

wprowadzać w błąd potencjalnych wnioskodawców. Wówczas należałoby wprowadzić

zmiany na poziomie kryteriów wyboru (dopracowanie definicji) oraz instrukcji wypełnia

wniosku (jednoznaczne wskazanie, że dofinansowanie przeznaczyć można tylko na

inwestycje początkowej prowadzące do innowacji produktowej). Jeśli jednak w Poddziałaniu

1.3.2 w ramach opracowania nowego innowacyjnego produktu sieciowego dopuszcza się

dofinansowanie działań polegających na zmianach procesów produkcyjnych (np. u

niektórych konsorcjantów, nie w związku z główną częścią projektu), wówczas kwestia ta nie

występuje (kryterium będzie spełnione pod warunkiem, że wpisuje się w wymienione koszty

kwalifikowalne85).

85

W ramach tych kosztów dopuszcza się finansowanie m.in. . zasadniczą zmianę procesu produkcji. Pkt. 2. W przypadku ubiegania się o pomoc na zasadniczą zmianę procesu produkcji koszty kwalifikowalne muszą przekraczać koszty amortyzacji aktywów związanej z działalnością podlegającą modernizacji w ciągu poprzedzających trzech lat obrotowych. W przypadku ubiegania się o pomoc na dywersyfikację istniejącego zakładu koszty kwalifikowalne muszą przekraczać o co najmniej 200% wartość księgową ponownie wykorzystywanych aktywów, odnotowaną w roku obrotowym poprzedzającym rozpoczęcie prac. (http://popw.parp.gov.pl/nabor-wnioskow/ogloszenie-o-konkursie-do-poddzialania-1-3-2-tworzenie-sieciowych-produktow-przez-msp)

84


Nabór w ramach poddziałania 1.3.2 w momencie sporządzania raportu nie został

zakończony, tak więc trudno odpowiedzieć na pytanie, na ile sposób dotarcia do

wnioskodawców z informacją o konkursach okazał się skuteczny. W przypadku każdego, z

działań obok informacji udostępnianych na stronie PARP i stronie Programu, przewidziano

również spotkania informacyjne w miastach województw Polski Wschodniej, na których

potencjalni wnioskodawcy zapoznać się mogli bliżej z zakresem wsparcia oraz zadać pytania

dotyczące kwestii, które są dla nich niejasne. Przynajmniej na poziomie założeń, wydaje się,

że sam sposób dotarcia do potencjalnych wnioskodawców z informacją o konkursie uznać

należy za raczej skuteczny.

Weryfikację aplikacji konkursowych pod względem wymogów formalnych przeprowadza

PARP, natomiast ocena formalna i merytoryczna prowadzona jest przez Komisję Oceny

Projektów, przy czym w ocenie merytorycznej udział biorą eksperci zewnętrzni oraz

pracownicy PARP, którzy m.in. pełnią rolę Przewodniczącego/Zastępcy Przewodniczącego

oraz Sekretarza/ Zastępcy Sekretarza KOP.

Do oceny formalnej i merytorycznej dopuszczane są wszystkie projekty, które spełnią

wymogi formalne, natomiast do oceny merytorycznej tylko te, które pozytywnie przejdą

etap oceny formalnej. Rozwiązanie to nie budzi zastrzeżeń, przy czym, wzorem uwag do

innych poddziałań, warto rozważyć czy do paneli eksperckich powinny być dopuszczane

wszystkie aplikacje, czy też tylko te, które pozytywnie zostaną ocenione w kryteriach

merytorycznych dostępu. Obecnie (tj. przed zakończeniem naborów) za wcześnie jest jednak

na konkretne rekomendacje, nie znana jest bowiem skala zainteresowania wsparciem.

Założenia oceny merytorycznej projektów w ramach poddziałania 1.3.2, jak i całej osi I POPW

ocenić należy pozytywnie, szczególnie decyzję o wykorzystaniu na etapie oceny

merytorycznej paneli eksperckich. W poddziałaniu tak skomplikowanym jak omawiane,86

ocena panelowa w ramach, której nastąpi spotkanie z przedstawicielami wnioskodawców

wydaje się nieoceniona. Szczególnie, że można się spodziewać, że ocena innowacyjności

produktów sieciowych oraz potencjału rynkowego tych rozwiązań będzie dużym wyzwaniem

dla ekspertów. Tak więc słusznie, z punktu widzenia doświadczeń z okresu 2007-2013,

zdecydowano się na formułę oceny panelowej, dającą szansę spotkania i rozmowy z

wnioskodawcą. Wnioski z poprzedniego okresu programowania wskazują bowiem, że jest to

szczególnie pożądana forma w przypadku projektów związanych z wspieraniem

innowacyjności,87 wymagających bardziej elastycznego podejścia do oceny.



86

Poziom skomplikowania poddziałania 1.3.2 wiąże się z faktem wspierania produktów sieciowych, realizowanych przez minimum 10 podmiotowe konsorcja MSP. 87

Gorgol P., Kotrasiński J., Weremiuk A. (2012), Metaewaluacja wyników badań ewaluacyjnych Programu Operacyjnego Innowacyjna Gospodarka, 2007-2013, raport na zlecenie Ministerstwa Rozwoju Regionalnego.

85


− kryteria formalne (wnioskodawcy, projektu, wniosku),

− kryteria merytoryczne (dostępu i rankingujące) oraz


Formalne

Zarówno zakres, jak i sposób sformułowania kryteriów formalnych ocenić należy pozytywnie.

Są one adekwatne do zakresu wsparcia i zapisane zrozumiałym językiem. Można się jedynie

zastanowić czy ograniczenie zakresu czasowego projektów do 3 lat (kryterium formalne -

projekt nr 3 Realizacja projektu mieści się w ramach czasowych poddziałania 1.3.2 POPW)

nie będzie dyskryminujące dla niektórych przedsięwzięć, zwłaszcza biorąc pod uwagę

potencjalny poziom skomplikowania tych przedsięwzięć, w których skoordynować trzeba

będzie działania minimum 10 podmiotów. Jak również wielkość projektów, mają to być

bowiem inwestycje o kosztach kwalifikowalnych na poziomie minimum 20 mln zł, co

prawdopodobnie oznacza stosunkowo dużą skalę inwestycji infrastrukturalnych, które mogą

trwać więcej niż 3 lata. Na obecnym etapie, trudno jednak ocenić konsekwencje przyjętego

rozwiązania.

Merytoryczne

W poddziałaniu 1.3.2 zdecydowano się na stosunkowo dużą liczbę merytorycznych kryteriów

dostępu, które co prawda pozwalają na odpowiednią, kompleksową ocenę analizowanych

projektów, ale potencjalnie mogą powodować wydłużenie procesu oceny. Na obecnym

etapie trudno jednak określić na ile tak rzeczywiście będzie. Abstrahując od tej uwagi należy

uznać, że kryteria merytoryczne dostępu sformułowane zostały w sposób poprawny i

zrozumiały oraz oddający założenia logiki interwencji w ramach omawianego poddziałania.

Niemniej, analogicznie jak w pozostałych poddziałaniach, również w tym można wysunąć

pewne uwagi pod ich adresem.

•••• Kryterium nr 2 Projekt dotyczy inwestycji początkowej zgodnie z rozporządzeniem KE

nr 651/2014 może powodować analogiczne trudności, jak te które wystąpiły w

poddziałaniu 1.3.1. Obecna definicja wskazuje, że wsparcie otrzymać można na każdy

rodzaj inwestycji początkowej, podczas gdy zgodnie z informacją o naborach oraz

definicją kryterium innowacyjności produktu, w ramach poddziałania 1.3.2

dofinansowane mogą być tylko innowacje produktowe. Złożony charakter projektu

(realizacja przez 10 podmiotów, wokół maksymalnie 3 głównych atrakcji), sprawia że

trudno jednoznacznie ocenić to kryterium. Jeśli bowiem wdrożenie produktu wymaga

jakiejś formy inwestycji początkowej np. u 5 konsorcjantów, ale tylko część z tych

inwestycji dotyczy budowy nowego zakładu lub dywersyfikacji produkcji istniejącego,

a pozostałe związane są np. z zasadniczą zmianą dotyczącą procesu produkcyjnego

istniejącego zakładu, czy wówczas wszystkie te inwestycje są zgodne z zakresem

86


interwencji88, która polegać ma na innowacji produktowej? Jeżeli założenia wsparcia

inwestycji początkowej mają być analogiczna jak w poddziałaniu 1.3.1, wówczas

należy usunąć z definicji 2 typy inwestycji początkowej nie kwalifikujące się do

wsparcia w ramach poddziałania.

•••• Kryterium nr 9 Prognoza finansowa wskazuje na opłacalność projektu – nie jest jasno

napisane. Można domniemywać, że prognoza finansowa dotyczy efektów projektu

dla wszystkich konsorcjantów zaangażowanych w realizację projektu. Na poziomie

definicji, wzorem innych kryteriów warto doprecyzować, że przez wnioskodawcę

rozumie się każdego z członków konsorcjum. Trudności może sprawiać również

sposób wyliczania wskaźników NPV i BEP (pytanie: czy należy w nim uwzględniać

koszty i przychody wszystkich konsorcjantów/elementów projektu?). Podobna

kwestia została zdiagnozowana w tym kryterium w Poddziałaniu 1.3.1 (str. 78).

•••• Kryterium nr 10 Wydatki w ramach projektu są kwalifikowalne, racjonalne i

uzasadnione. Zgodnie z opisem oceniający powinni przyznać 1 punkt w sytuacji, gdy

„wydatki nie są racjonalne i uzasadnione, oceniający dokonali korekty wydatków

kwalifikowalnych powyżej progu procentowego określonego w Regulaminie Komisji

Oceny Projektów”. Sformułowanie to budzi wątpliwości. Jeżeli kryterium pozytywne

ma charakter koniunkcji (a chyba tak jest), to zgodnie z regułami logiki wystarczy

niespełnienie jednego z wymienionych warunków, aby ocena w ramach tego

kryterium była negatywna.

Na poziomie kryteriów rankingujących największą wagę przyłożono do oceny innowacyjności

produktu oraz potencjału rynkowego będącego efektem projektu, za które uzyskać można

odpowiednio 10 i 9 punktów. Mniejszą, choć nadal stosunkowo dużą wagę przypisano

kryteriom dot. wzrostu zatrudnienia oraz przygotowania projektu do realizacji (w obu

przypadkach do 5 pkt). Takie rozłożenie akcentów uznać należy za co do zasady słuszne i

odpowiadające logice interwencji. Niemniej, analogicznie ja w innych ocenianych działaniach

i poddziałaniach można pod ich adresem wysunąć pewne uwagi.

•••• Kryterium nr 1 Innowacyjność produktu zdefiniowane jest bardzo ogólnie. Opis

innowacyjności zbliżony jest do rozwiązań stosowanych w innych instrumentach, bez

uwzględniania specyfiki tego poddziałania, w szczególności tego, że chodzi o produkt

o charakterze sieciowym. Pomimo tego, że na poziomie kryteriów definiuje się czym

jest produkt sieciowy,89 to można się spodziewać, że kryterium to będzie mało

88

Zgodnie z informacjami o naborze, mieszczą się one w katalogu kosztów kwalifikowalnych, a więc teoretycznie mogą być dofinansowane. Jednocześnie, prawdopodobnie, nie będą dotyczyć tego typu inwestycji początkowej, który pozwala na wdrożenie nowego produktu na poziomie pojedynczego członka konsorcjum. 89

Zgodnie z definicją kryterium w ramach projektu utworzony zostanie produkt o charakterze sieciowym: Poprzez produkt sieciowy rozumie się gotową do sprzedaży spakietyzowaną ofertę opartą o rozproszoną strukturę podmiotów, atrakcji, miejsc, obiektów, funkcjonujących jako jedna spójna koncepcja, posiadająca wspólny, wiodący wyróżnik (markę) produktu.

87


zrozumiałe dla wnioskodawców i będzie sprawiało ekspertom trudności w

interpretacji. Na obecnym etapie, tj. przed zakończeniem naborów trudno jednak

ocenić czy tak rzeczywiście będzie oraz wskazać elementy, w których należałoby

wprowadzić jakieś konkretne zmiany.

•••• Kryterium nr 2 Potencjał rynkowy produktu będącego efektem projektu budzi te same

wątpliwości, jakie wystąpiły w poddziałaniu 1.3.1. O ile same elementy brane pod

uwagę w jego ocenie dobrane zostały właściwie, o tyle już sposób jej dokonywania

(odrębna ocena każdego z elementów) może być stosunkowo mało skuteczny z

punktu widzenia wyboru projektów o największym potencjale rynkowym. Obecne

zapisy doprowadzić mogą do sytuacji, w której danemu projektowi przyznany

zostanie punkt za przedstawienie jakiejś informacji, nawet jeśli jest ona błędna lub

mało realna np.:

− projektodawca przedstawiając analizę wielkości potencjalnego popytu w

odniesieniu do obecnej i prognozowanej wielkości rynku dostaje 1 punkt,

nawet jeśli rynek docelowy został źle zdefiniowany (pierwsze podkryterium),

co powinno de facto dyskwalifikować wniosek w ramach oceny kolejnych

elementów kryterium analiza rynku dla produktu;

− w części dotyczącej strategii wdrożeniowej i marketingowej można dostać

punkty za uwzględnienie w planowanej strategii marketingowej działań

informacyjno-promocyjnych wpływających na podniesienie świadomości

klientów o oferowanym produkcie, nawet jeśli przestawiona strategia jest

nierealistyczna i nie uwzględnia potencjalnego ryzyka (pierwsze z ocenianych

elementów), co znowu powinno dyskwalifikować wniosek w kolejnych

elementach tego kryterium.

Generalnie, sugerujemy aby ekspertom oceniającym wnioski przekazać wytyczne

dotyczące sposobu oceny tego kryterium, w których nacisk położony zostanie na to,

że obok stwierdzenia wystąpienia lub nie jakiejś informacji, mają ocenić również jej

jakość oraz spójność z pozostałymi elementami. Sugerujemy zmiany w definicji

kryterium i/lub podejścia do jego oceny90.

− Wariant 1. W definicji warto zaznaczyć, że każdy z wymienionych 9 tiret

oceniany będzie pod kątem spełnienia wymagań w każdym z nich oraz ich

jakości (m.in. adekwatności i rzetelności). Warto również wprowadzić zapis o

ocenie poszczególnych tiret w relacji do informacji zawartych w innych tiret.

− Wariant 2. Dotyczy zmiany podejścia w ocenie kryterium. Zostawiając 9

wymienionych obecnie tiret, zostałaby zmieniona punktacja i przyznawana w

odniesieniu do całości kryterium dot. potencjału rynkowego produktu.

Eksperci wykorzystywali by skalę 0 - 5 (z wagą kryterium 2), gdzie 0

90

Podobne zalecenie znajduje się w Poddziałaniu 1.3.1.

88


oznaczałoby, że dane kryterium spełnione jest w stopniu niedostatecznym, 1 -

w niskim, 2 - dostatecznym, 3 - dobrym, 4 - bardzo dobrym, 5 - doskonałym.

Rozstrzygające

Kryteria rozstrzygające w poddziałaniu 1.3.2, analogicznie jak w poddziałaniu 1.3.1 odwołują

się do dwóch kryteriów merytorycznych, dotyczących innowacyjności produktu i jego

potencjału rynkowego oraz dwóch kryteriów związanych z poziomem intensywności

wnioskowanego wsparcia oraz stopą bezrobocia w powiecie, w którym realizowany będzie

projekt.

Zarówno dobór, jak i kolejność kryteriów rozstrzygających branych pod uwagę, nie budzą

większych zastrzeżeń. Słusznie pierwszeństwo w przyznaniu dofinansowania przyznano tym

projektom, które najlepiej wypadają pod względem innowacyjności produktu oraz, w dalszej

kolejności, jego potencjału rynkowego. Rozwiązanie takie odpowiada logice interwencji i

sprzyja, w przypadku uzyskania takiej samej łącznej liczby punktów przez wiele projektów,

premiowaniu przedsięwzięć najwyższej jakości (z punktu widzenia innowacyjności) i o

największym potencjale rynkowym. Alternatywnym kryterium rozstrzygającym, dla

wskaźnika stopy bezrobocia, mogą być wskaźniki dotyczące nakładów inwestycyjnych w

przedsiębiorstwach na 1 mieszkańca w wieku produkcyjnym (dane GUS dostępne na

poziomie powiatów).

Działanie 1.4 Wzór na konkurencję – etap I (audyt, strategia)


Przeprowadzona analiza danych zastanych pozwoliła na dokonanie oceny systemu wyboru

projektów, podkreślając jego kluczowe mocne i słabe strony oraz, tam gdzie jest to

uzasadnione, rekomendując pewne modyfikacje doskonalące system.

Podobnie, jak w innych działaniach I Osi Priorytetowej POPW do mocnych stron systemu

zaliczyć należy układ organizacyjny (w tym dokumenty formalne91) i funkcjonalny systemu

wyboru, a przede wszystkim zaprojektowany przebieg oceny projektów, oparty na ocenie

formalnej (poprzedzonej weryfikacją aplikacji konkursowych z punktu widzenia

ewentualnych braków formalnych lub występowania oczywistych omyłek) oraz

merytorycznej, opartej na ocenie ekspertów tworzących panel ekspercki.

Układ dokumentacji był zrozumiały, z dobrze zorganizowanym mechanizmem zadawania

pytań (w tym możliwość konsultacji telefonicznych w okresie naboru wniosków).

91

Ogłoszenie o konkursie, Zestawienie najczęściej zadawanych pytań i odpowiedzi, Zasady wyboru wykonawcy audytu wzorniczego w Działaniu 1.4 POPW, Regulamin konkursu, wraz z załącznikami, Regulamin prac komisji oceny projektów, Lista załączników do umowy o dofinansowanie projektu, Lista dokumentów niezbędnych do zawarcia umowy, Wykaz Regionalnych Inteligentnych Specjalizacji.

89


Kwestią, która ewentualnie może budzić wątpliwości, to sposób opisania wyboru wykonawcy

audytu wzorniczego (zawarty w oddzielnym, krótkim dokumencie, będącym elementem

dokumentacji konkursowej „Wybór wykonawcy audytu wzorniczego w Działaniu 1.4

POPW”). Jest on stosunkowo lakonicznie opisany z użyciem dość technicznego języka (używa

się dość hermetycznego dla przeciętnego przedsiębiorcy pojęcia usług priorytetowych i nie

priorytetowych). Z informacji pozyskanych z PARP wynika, że kwestia ta wymagała wyjaśnień

oraz uzupełnień w przypadku znacznej liczby wniosków. Dlatego rekomendujemy, rozwinąć i

poprawić jakość oraz szczegółowość opisu w tym dokumencie. Niezbyt jasny pozostaje też

harmonogram rzeczowo-finansowy, brak jest w nim informacji o walucie, w której powinien

zostać przygotowany, a także opisu pojęcia „zadania”. Ponieważ jednak jest on – jak

rozumiemy – wypełniany w Generatorze Wniosków to przyjmujemy (co zresztą pośrednio

wynika z dokumentacji), że w jego ramach zapewniane są stosowne instrukcje.

Warto też rozważyć dokonanie pewnych poprawek w Instrukcji przygotowania wniosku, aby

używane pojęcia były precyzyjnie wyjaśnione i zrozumiałe z punktu widzenia wnioskodawcy.

W szczególności należałoby naszym zdaniem:

•••• Doprecyzować i uszczegółowić definicję wzornictwa i działań wzorniczych w

kontekście realizacji tego Działania, podając jednocześnie odpowiednie przykłady

pozytywne i negatywne (co na pewno można zaliczyć do wzornictwa, a co na pewno

wzornictwem nie jest) – punkt „Doświadczenie wnioskodawcy we wzornictwie”.

•••• Doprecyzować pojęcia audytu wzorniczego i strategii wzorniczej (z uwzględnieniem

tego, co zostało zapisane w treści POPW i SzOOP i w regulaminie konkursu). Obecna

definicja obu pojęć nie jest do końca klarowna, obie definicje w dodatku wzajemnie

odwołują się do siebie.

Można też wskazać drobne wątpliwości, dotyczące niektórych postanowień Regulaminu

Komisji Oceny Projektów (KOP). Dotyczą one w szczególności następujących kwestii:

•••• § 4 pkt 3 Regulaminu KOP nie zakłada uczestnictwa w obradach KOP innych osób, niż

jej członkowie lub przedstawiciele Instytucji Zarządzającej (jako obserwatorzy). Warto

byłoby rozważyć uregulowanie uczestnictwa w obradach (również jako

obserwatorów i po podpisaniu odpowiednich deklaracji poufności) przedstawicieli

firm ewaluacyjnych, działających na zlecenie Instytucji Zarządzającej lub też

odpowiedniej instytucji organizującej konkurs.

•••• § 5 pkt 9 Regulaminu KOP, zgodnie z którym dopuszczalne jest ocenianie projektów

przez ekspertów, w przypadku których nie zachodzi sytuacja, o której mowa jest w

odpowiednich przepisach kodeksu postępowania administracyjnego92, a jednocześnie

„zostały uprawdopodobnione inne okoliczności mogące budzić wątpliwości, co do

92

Chodzi o § 24 ust. 1 i 2 ustawy z dnia 14 czerwca 1960 r. Kodeks postępowania administracyjnego (t.j. Dz.U.2016. poz. 23), dotyczący sytuacji, w których pracownik organu administracji publicznej podlega wyłączeniu od udziału w postępowaniu administracyjnym.

90


jego bezstronności”. Zgodnie z Regulaminem, dotyczy to sytuacji, w których - ze

względu na wysoki stopień skomplikowania projektów i wąski ich zakres

przedmiotowy - krąg wnioskodawców i oceniających projekty ekspertów jest

ograniczony. Te kwestie są regulowane przez odpowiednie przepisy (art. 49 ust. 7-9)

tzw. ustawy wdrożeniowej93, które wskazują, że w sytuacji stwierdzenia innych

okoliczności (niż te opisane w kodeksie postępowania administracyjnego), mogących

budzić wątpliwości, co do bezstronności eksperta, właściwa instytucja powinna

wyłączyć eksperta z udziału w ocenia projektu albo je (okoliczności – przyp. aut.)

ujawnić. Stąd też postanowienia Regulaminu KOP są zgodne z odpowiednimi

przepisami, z drugiej jednak strony taka sytuacja wydaje się nieco osobliwa, gdyż

sytuacja, gdy pojawiają się „uzasadnione wątpliwości, co do bezstronności eksperta”

wymaga działań, w postaci wykluczenia takiego eksperta, bądź też uznania tych

wątpliwości za nieuzasadnione.

Istotnym problemem, w ramach pierwszego konkursu dla Działania 1.4, były opóźnienia

procesu oceny. Główną przyczyną był wydłużony i sformalizowany proces uzupełniania

dokumentacji przez beneficjentów. Zgodnie z regulaminem - korespondencja pomiędzy PARP

i wnioskodawcą odbywała się z wykorzystaniem tradycyjnej drogi pocztowej, co było formą

bezpieczną i pewną, choć niekiedy powodowało opóźnienia. Podejście to zostało zmienione

w ramach etapu II Działania 1.4, gdzie przyjęto, że wszelka komunikacja pomiędzy IP, a

wnioskodawcą odbywa się za pomocą poczty elektronicznej, co może przyśpieszyć cały

proces. Ponadto w ramach naboru wnioskodawcy musieli składać pełną dokumentację

dotyczącą wyboru wykonawcy. Braki w tej dokumentacji oraz błędy w oświadczeniu o

pomocy de minimis skutkowały tym, że około 75% wszystkich złożonych wniosków było

uzupełnianych na etapie wymogów formalnych.

Ponadto eksperci Wykonawcy mieli też okazję uczestniczyć – jako obserwatorzy - w

posiedzeniach panelu ekspertów, naturalnie po podpisaniu odpowiednich deklaracji

poufności. Na podstawie obserwacji przebiegu paneli można wysnuć następujące wnioski:

•••• Generalnie panele były dobrze przygotowane i sprawnie prowadzone, ich przebieg

odpowiadał zasadniczo postanowieniom odpowiednich dokumentów formalnych.

•••• Zaletą zastosowania panelu ekspertów i prezentacji wykonawcy była możliwość

przedyskutowania w gronie ekspertów - członków KOP, także na podstawie

prezentacji i odpowiedzi na pytania przedstawicieli wnioskodawcy i wykonawcy

audytu wzorniczego, tego na ile dany projekt jest faktycznie projektem wzorniczym,

ze względu na dość nieostrą definicję tego pojęcia.

•••• Prezentacje wnioskodawców były dość zróżnicowane pod względem jakościowym (co

jest oczywiście zrozumiałe i normalne), ale także od strony ich zakresu. Zgodnie

93

Ustawa z dnia 11 lipca 2014 r. o zasadach realizacji programów w zakresie polityki spójności finansowanych w perspektywie finansowej 2014-2020 (t.j. Dz. U. 2016.217).

91


bowiem z Regulaminem konkursu, prezentacja wnioskodawcy miała dotyczyć

czterech wskazanych kryteriów oceny merytorycznej. Faktycznie jednak część

prezentacji miała dość luźny związek z kryteriami, których miała dotyczyć. Może to

mieć zarówno związek z tym, że dość trudno jest zaprezentować kwalifikowalność

wydatków, ale także z tym, że wnioskodawcy mogli nie pamiętać lub ignorować ten

przepis. Można zatem rozważyć jeszcze raz przypomnienie tuż przed spotkaniem o

tym wymogu.

•••• Wydaje się, że stosowanie dla kryteriów merytorycznych - co do zasady - tylko dwóch

poziomów punktacji powoduje znaczący dyskomfort dla osób oceniających (co można

było zaobserwować w trakcie paneli). Jeżeli w ramach danego panelu ocenianych jest

na przykład 6 firm, to siłą rzeczy oceniający porównują je pomiędzy sobą i stąd często

chcą nieco bardziej zróżnicować ocenę w ramach danego kryterium, niż sprowadzać

ją tylko do oceny negatywnej lub pozytywnej.

•••• Eksperci wydawali się być dobrze przygotowani do oceny wniosków. Korzystną rolę

odegrało na pewno quasi-szkoleniowe spotkanie wszystkich członków KOP,

zorganizowane przez PARP przed rozpoczęciem procesu oceny, w trakcie którego

zaprezentowano i przedyskutowano cały proces oceny, a także rozumienie

poszczególnych kryteriów.


Kryteria dla Działania 1.4 etap I obejmują:

− kryteria formalne (wnioskodawcy, projektu, wniosku i specyficzne) oraz

− kryteria merytoryczne (Panelu ekspertów).

Formalne

Z przeprowadzonych analiz tej grupy kryteriów wynika, że kryteria te zostały zaprojektowane

prawidłowo, w sposób uwzględniający logikę interwencji działania 1.4 POPW. W przypadku

kilku kryteriów można natomiast rozważać dokonanie pewnych zmian i korekt.

Jako jedyne kryteria formalne, którym warto poświęcić więcej uwagi i zastanowić się nad

możliwościami ich ewentualnej modyfikacji należy wskazać trzy pierwsze kryteria formalne

specyficzne, dotyczące wnioskodawcy: okresu prowadzenia przez niego działalności

gospodarczej, wielkości zatrudnienia oraz wielkości osiąganych przychodów. Przyjęte

brzmienie tych kryteriów wyklucza z możliwości uzyskania wsparcia najmniejsze firmy o

ograniczonych obrotach/niewielkim zatrudnieniu/ krótkim okresie prowadzenia działalności,

co oczywiście jest w pewnym stopniu zrozumiałe i uzasadnione, gdyż chodzi o wspieranie

firm dysponujących jednak pewnym, nawet dość ograniczonym potencjałem. Pewnym

problemem pozostaje jednak nieco arbitralne określenie konkretnych wartości liczbowych

(rok prowadzenia działalności, 5 zatrudnionych i co najmniej 600 tysięcy złotych

przychodów), nie do końca znajdujące odbicie w logice interwencji. Biorąc pod uwagę

potencjalnych beneficjentów poddziałania 1.4, którymi są przedsiębiorstwa z sektora MSP,

92


kryterium to może być dla nich niekorzystne. Celem tego kryterium jest wyeliminowanie

przedsiębiorców, którzy nie będą w stanie zrealizować projektu o dużej wartości

dofinansowania. W związku z tym, można rozważyć obniżenie ww. kwoty np. do poziomu

450 tys. zł94 albo zmianę kryterium z dotyczącego przychodów ze sprzedaży, na rzecz

obrotów w ogóle. Wówczas zdolność beneficjenta do realizacji projektu należałoby oceniać

w ramach innych kryteriów.

Merytoryczne

W ramach konkursu na projekty w ramach I etapu Działania 1.4 zastosowano tylko jeden

rodzaj kryteriów merytorycznych, ocenianych w ramach panelu ekspertów.

Kryteria merytoryczne były - co do zasady - sformułowane prawidłowo i dobrze

odzwierciedlały logikę interwencji w ramach Działania, pod wpływem doświadczeń w ramach

pierwszego konkursu można jednak zgłosić pewne kierunki modyfikacji, w celu

udoskonalenia procesu oceny wniosków, które opisujemy poniżej.

Drobną uwagę można zgłosić do kryterium merytorycznego nr 3 Wydatki w ramach projektu

są kwalifikowalne, racjonalne i uzasadnione. Zgodnie z opisem oceniający powinni przyznać 1

punkt w sytuacji, gdy „wydatki nie są racjonalne i uzasadnione, oceniający dokonali korekty

wydatków kwalifikowalnych powyżej progu procentowego określonego w Regulaminie

Komisji Oceny Projektów”. Sformułowanie to budzi wątpliwości czy mają one charakter:

alternatywy czy koniunkcji. Naszym zdaniem, zgodnie z logiką wystarczy niespełnienie

jednego z wymienionych warunków, aby ocena w tym kryterium była negatywna.

Niezależnie od powyższego, obecne sformułowanie tego kryterium wydaje się dość niejasne,

dlatego proponuje się sformułować je w następujący sposób „wydatki nie są racjonalne lub

wydatki są nieuzasadnione lub oceniający dokonali korekty wydatków kwalifikowalnych

powyżej progu procentowego określonego w Regulaminie Komisji Oceny Projektów”.

Podobnie, jak i w przypadku innych działań pewien problem w ocenie może stanowić

kryterium merytoryczne nr 4 Przedmiot projektu wpisuje się w zakres regionalnych

inteligentnych specjalizacji wspólnych dla co najmniej dwóch województw z Polski

Wschodniej. Pomocny w tej sferze wydaje się dokument „Wspólne obszary inteligentnych

specjalizacji województw Polski Wschodniej”, Ministerstwa Infrastruktury i Rozwoju. Mimo

to, nadal mogą pojawiają się wątpliwości, dotyczące tego na ile dany projekt wpisuje się w co

najmniej 2 z tych specjalizacji. W sytuacji gdy projekt realizowany jest na terenie jednego lub

dwóch województw, to może on wpisywać się w inteligentne specjalizacje pozostałych

województw Polski Wschodniej, co nie wydaje się do końca rozwiązaniem najbardziej

oczywistym, choć z drugiej strony jest stosunkowo elastyczne i w zasadzie korzystne z punktu

widzenia wnioskodawcy. W przypadku tego kryterium pewnym problemem może też być

94

Wartość określona na podstawie przeciętnego rocznego przychodu mikroprzedsiębiorstw w 2014 r. z opracowania GUS Działalność przedsiębiorstw niefinansowych w 2014 r. Zgodnie z przytoczonym opracowaniem, przeciętne przychody mikroprzedsiębiorstw wynosiły wówczas 457,7 tys. zł)

93


uznaniowość oceny, ze względu na dość duży poziom ogólności większości regionalnych

inteligentnych specjalizacji, stąd też w przypadku wielu rodzajów projektów przyjęcie, że są

zgodne z regionalnymi specjalizacjami jest kwestią opartą na dość subiektywnej ocenie.

W ramach kryterium merytorycznego 5 Wskazany wykonawca posiada potencjał niezbędny

do należytego świadczenia usług oraz zapewnia ich realizację przez osoby posiadające

niezbędne kwalifikacje pewne wątpliwości i niejasności może budzić szczegółowy opis

elementu tego kryterium, a mianowicie: „Wskazane jest, aby wykonawca posiadał

doświadczenie w projektowaniu oraz wdrażaniu produktów w trzech różnych branżach

gospodarki”. Nasze wątpliwości budzi kwestia operacjonalizacji terminu „branża” – można

to rozumieć zarówno szeroko (np. branża spożywcza i alkoholowa), jak i wąsko (branża

serowarska) – nie jest jasne jak będą to oceniać poszczególni eksperci i czy oceny te będą

dokonywane w sposób wystarczająco spójny. Proponujemy rozważenie tego, by pojęcie

branża rozumieć w sposób zbliżony do poziomu działu Polskiej Klasyfikacji Działalności, czyli

branżą byłaby na przykład produkcja artykułów spożywczych (Dział 10) lub działalność

wydawnicza (Dział 58). Z drugiej strony nie wydaje się, aby ocena w ramach tego kryterium

generowała poważniejsze problemy.

Dodatkowo pewne wątpliwości budzi dość nieostre pojęcie „Wskazane jest ...”. Ten wymóg

można interpretować jako ściśle obowiązujący – wówczas jednak należałoby to jasno

wskazać, formułując go jednak inaczej, na przykład jako („Wymagane jest” lub „niezbędne

jest”). Wymóg ten można jednak także traktować jako luźne wskazanie (twórca kryteriów

wskazuje, że byłoby to pożądane, ale ostro tego nie wymaga) – w takim jednak przypadku

stawianie tego wymogu nie ma większego sensu, gdyż nie przekłada się on na wynik oceny;

jeżeli już, to kryterium to mogłoby mieć charakter punktowany i za jego spełnienie

wnioskodawca otrzymuje dodatkowy punkt – wówczas jednak w ramach tego kryterium

powinno być możliwe otrzymanie do 2 punktów, zaś wymaganym minimum byłby 1 punkt.

Z kolei kryterium merytoryczne nr 6 Wskaźniki projektu są obiektywnie weryfikowalne i

odzwierciedlają założone cele projektu mogłoby zostać ewentualnie przesunięte do grupy

kryteriów formalnych, ze względu na to, że wskaźniki są generowane automatycznie i z góry

znane wnioskodawcy.

Proponujemy rozważenie rezygnacji z kryterium merytorycznego nr 7 Poziom bezrobocia w

powiecie Polski Wschodniej, w którym znajduje się lokalizacja projektu, jako słabo

związanego z logiką interwencji, a mającego olbrzymi wpływ na wybór projektów.

Odrębną kwestią w ramach wybranych kryteriów oceny merytorycznej jest „rozpiętość” skali

ocen. Z wyjątkiem pierwszego kryterium merytorycznego (dopuszczalne są 3 poziomy

punktacji) wszystkie pozostałe kryteria są oceniane „zerojedynkowo”. O ile w przypadku

„quasi formalnych” kryteriów 3, 4 i 6 taka ocena jest całkowicie uzasadniona i

zaproponowanie odmiennej skali oceny byłoby trudne do uzasadnienia i generalnie

niecelowe, to w przypadku niektórych innych kryteriów warto byłoby rozważyć

„rozciągnięcie” skali oceny. I tak:

94


W przypadku kryterium merytorycznego nr 1 Wnioskodawca posiada odpowiednią wiedzę

pozwalającą na realizację projektu, ma sprecyzowane oczekiwania rezultatów audytu oraz

jest zdeterminowany do wdrażania działań z niego wynikających można rozważyć

poszerzenie skali ocen do zakresu 0-3 lub nawet 0-4 punktów, w celu zróżnicowania ocen dla

różnych wnioskodawców i przedkładanych projektów. Na zasadność takiego rozwiązania

wskazują obserwacje z panelu ekspertów. W przypadku kryterium merytorycznego nr 2

Wnioskodawca zapewnia finansowanie projektu, biorąc pod uwagę dość ograniczoną

maksymalną wartość wsparcia (100 tysięcy złotych) przy maksymalnej intensywności

wynoszącej 85%, wydaje się, że poszerzanie skali jego oceny nie jest konieczne.

Wydaje się także, że warto rozszerzyć skalę oceny w ramach kryterium merytorycznego nr 5

Wskazany wykonawca posiada potencjał niezbędny do należytego świadczenia usług oraz

zapewnia ich realizację przez osoby posiadające niezbędne kwalifikacje, tak, aby kryterium to

było oceniane w skali 0-2 lub nawet 0-3, przy zachowaniu minimalnej akceptowalnej oceny

na poziomie 1. Uzasadnieniem takiej propozycji jest umożliwienie większego zróżnicowania

oceny potencjału wykonawców przez osoby oceniające.

Elementem oceny merytorycznej była też prezentacja założeń projektu przed panelem

ekspertów. Zgodnie z regulaminem konkursu prezentacja miała obejmować zagadnienia,

związane z kryteriami nr.: 1, 2, 3 i 5 w ramach oceny merytorycznej. Fakt wykorzystania

prezentacji i możliwości zadawania pytań wnioskodawcom należy, podobnie jak i w innych

działania I Osi priorytetowej POPW, ocenić bardzo pozytywnie.

W kontekście prezentacji warto się zastanowić, czy nie byłoby zasadne jej powiązanie

wyłącznie z dwoma kryteriami oceny merytorycznej, czyli kryterium nr 1 Wnioskodawca

posiada odpowiednią wiedzę pozwalającą na realizację projektu, ma sprecyzowane

oczekiwania rezultatów audytu oraz jest zdeterminowany do wdrażania działań z niego

wynikających i kryterium nr 5 Wskazany wykonawca posiada potencjał niezbędny do

należytego świadczenia usług oraz zapewnia ich realizację przez osoby posiadające

niezbędne kwalifikacje. Kryteria te mają zresztą zasadnicze znaczenie dla całego systemu

oceny; dodatkowo członkowie panelu powinni (tak jak ma to zresztą miejsce obecnie) móc

zadawać dodatkowe pytania (na przykład dotyczące sytuacji finansowej wnioskodawcy).

Ponadto, warto rozważyć umożliwienie realizacji części prezentacji, dotyczącej wykonawcy

przez jego przedstawiciela95 , naturalnie utrzymując wymóg realizacji prezentacji dotyczącej

wnioskodawcy i projektu przez osobę reprezentującą wnioskodawcę.

Warto też zastanowić się nad poszerzeniem wymaganego we wniosku opisu, dotyczącego

doświadczeń wykonawcy. Z punktu widzenia oceny projektu odpowiednie doświadczenie

wykonawcy i jego jasna oraz wyczerpująca prezentacja ma absolutnie kluczowy charakter.

95

Co i tak faktycznie nieformalnie niekiedy miało miejsce.

95


Działanie 1.4 Wzór na konkurencję – etap II (wdrożenie strategii)


Ocena systemu wyboru96 opiera się przede wszystkim na analizie przepisów Regulaminu

konkursu wraz z załącznikami oraz regulaminu Komisji Oceny Projektów (KOP).

Analogicznie, jak w przypadku jednego z kryteriów (kryterium formalne specyficzne nr 1

Wnioskodawca prawidłowo wykorzystał pomoc finansową otrzymaną w ramach I Etapu

Działania 1.4 POPW), w ogłoszeniach i informacjach proponujemy położyć większy nacisk

informacyjny na fakt, że Działanie 1.4 POPW – etap II jest przeznaczone wyłącznie dla firm,

które pozytywnie zakończyły realizację etapu I.

Generalnie korzystnie należy ocenić Regulamin dla Działania 1.4 POPW etap II. Dzięki

wyliczeniu sytuacji, w których ma się do czynienia z brakami formalnymi lub poprawianiem

oczywistych omyłek we wniosku, opisanych w §7 ust. 5 Regulaminu, jest jasne jakich sytuacji

i uchybień będzie dotyczyć możliwość skorzystania z tego rozwiązania. Korzystne jest

wprowadzenie rozwiązania, zgodnie z którym, zarówno na etapie analizy braków

formalnych, jak i oceny w ramach Komisji Oceny Projektów, informacja do projektodawcy

jest wysyłana za pomocą poczty elektronicznej, a termin na uzupełnienie brakujących

wyjaśnień liczy się od dnia wysłania informacji. Rozwiązanie należy ocenić pozytywnie, jako

znacznie skracające cały proces oceny. Niestety, niesie ono za sobą także pewne ryzyka,

związane z istotą komunikacji elektronicznej. Mianowicie, niektórzy adresaci mogą nie

otrzymywać wiadomości z różnych powodów, takich jak umieszczenie przez swój serwer

pocztowy maila w folderze komunikacji niechcianej („spam”) lub też problemów programów

pocztowych (takich jak na przykład aktualny problem mylnego odrzucania przez popularny

serwis pocztowy gmail wszelkich pilików z rozszerzeniem .docx jako rzekomo

zawirusowanych). Taka sytuacja może z kolei prowadzić do składania przez wnioskodawców

uzasadnionych protestów. W związku z tym proponujemy rozważenie wprowadzenia w

jakiejś formie wymogu potwierdzania odbioru korespondencji przez wnioskodawcę, chociaż

będzie to wymóg dość pracochłonny (np. żądanie potwierdzenia otrzymania informacji drogą

elektroniczną, w przypadku braku potwierdzenia - kontakt telefoniczny wyjaśniający

zaistniałą sytuację i - najprawdopodobniej - powodujący przekazanie potwierdzenia). W

związku z powyższym, termin 3 dni roboczych na reakcje wnioskodawcy na etapie oceny

formalnej i merytorycznej wydaje się nieco ryzykowny (na etapie wstępnego badania

kompletności i czytelności wniosku termin ten wynosi 7 dni kalendarzowych) i dlatego

proponujemy rozważenie wydłużenia go do 5 dni roboczych.

Pewne sugestie można też zgłosić, co do kształtu wniosku o dofinansowanie i instrukcji jego

wypełniania. Dotyczą one następujących kwestii:

96

Procedur i przepisów, dotyczących wyboru projektów, z wyjątkiem samych kryteriów wyboru projektów i ich uszczegółowień.

96


•••• Jako korzystne należy uznać (identyczne jak w etapie I) podejście, związane z

wykazaniem, że projekt wpisuje się w obszar regionalnych inteligentnych specjalizacji

(RIS), wspólnych dla co najmniej dwóch województw Polski Wschodniej, polegające

na wybraniu z listy rozwijanej spośród siedmiu obszarów we wniosku projektowym

obszarów (branż) spełniających powyższy warunek. Jest to znacznym ułatwieniem

zarówno dla wnioskodawców, jak i dla osób oceniających wniosek. Naturalnie, nadal,

podobnie jak przy samych RIS, pozostaje pytanie o interpretację tego, co oznacza, że

dany projekt wpisuje się w specjalizację np. ekologia lub energetyka i jak

wąsko/szeroko interpretować te pojęcia. Kwestię tę trzeba pozostawić osobom

oceniającym.

•••• Nie jest natomiast do końca jasne, z jakich powodów we wniosku o dofinansowanie

pojawił się warunek wpisywania się projektu w obszar co najmniej dwóch

regionalnych inteligentnych specjalizacji, wspólnych dla co najmniej dwóch

województw Polski Wschodniej. Kryteria oceny projektów dla etapu II nie

wspominają w ogóle o konieczności jego spełnienia (odmiennie, niż miało to miejsce

dla etapu I, w którym nie był to wprawdzie wymóg formalny, ale jego spełnienie

pozwalało na uzyskanie dodatkowego punktu w ocenie merytorycznej).


Kryteria dla Działania 1.4 etap II obejmują:

− kryteria formalne (wnioskodawcy, projektu, wniosku i specyficzne) oraz

− kryteria merytoryczne.

Formalne

Kryteria formalne nie budzą większych wątpliwości. Tego typu katalog wydaje się niezbędny

do oceny, czy od strony formalnej wnioskodawca i zgłaszany przez niego projekt wpisują się

w zasady dotyczące etapu II Działania 1.4 POPW. Wprawdzie teoretycznie można by się

zastanawiać, czy - biorąc pod uwagę fakt, że dany wnioskodawca podlegał już ocenie

formalnej w ramach I etapu Działania 1.4 - niezbędna jest ocena jego kwalifikowalności na

etapie II. Naszym zdaniem powtórzenie tej oceny jest niezbędne ponieważ od momentu

składania wniosków w ramach etapu I, do momentu składania wniosków w etapie II, może

upłynąć dłuższa ilość czasu (szacunkowo od 10 do 14 miesięcy) i w tym okresie

charakterystyki wykonawcy (zarówno jego status - firma należąca do sektora MŚP i nie

mająca takiego charakteru - jak i brak wykluczenia z możliwości uzyskania wsparcia w

ramach Działania 1.4 POPW) mogły ulec zmianie. Dlatego uznajemy, że niezbędne jest

przeprowadzenie ponownej oceny.

Można się natomiast zastanawiać, czy kryterium specyficzne 1 Wnioskodawca prawidłowo

wykorzystał pomoc finansową otrzymana w ramach I etapu działania 1.4 POPW nie powinno

zostać odmiennie sformułowane, aby dla wszystkich aplikujących firm było jasne, że wnioski

w ramach drugiego etapu mogą składać tylko firmy, które skorzystały z etapu 1 i prawidłowo

97


wykorzystały pomoc finansową, a ich strategia wzornicza została zatwierdzona. Ewentualnie

zatem, można je sformułować następująco: „Wnioskodawca realizował projekt w ramach I

etapu Działania 1.4 POPW i prawidłowo wykorzystał otrzymaną pomoc finansową, a jego

strategia wzornicza została zatwierdzona przez właściwą Instytucję Pośredniczącą”.

Merytoryczne

Zasadniczą kwestią w przypadku oceny merytorycznej jest nie tyle konkretne sformułowanie

kryteriów oceny, ile sposób oceny strategii opracowanej w ramach etapu I. Biorąc bowiem

pod uwagę fakt, że wsparcie w ramach I etapu otrzyma 66 projektów, a jednocześnie

alokacja w ramach konkursu dla II etapu wynosi 150 milionów złotych, to, przy

maksymalnym wsparciu na projekt w wysokości 3 milionów złotych, oznacza to, że - co do

zasady97 - co najmniej 50 projektów (przy założeniu aplikowania o maksymalne wsparcie) ma

bardzo duże szanse na przejście do II etapu98. Oznacza to, że de facto kluczowe dla

przyznania wsparcia w ramach II etapu Działania 1.4 POPW będą nie tyle powyższe kryteria ,

ile pozytywna lub negatywna ocena strategii wzorniczej opracowanej w ramach I etapu

Działania99. Naturalnie, sposób oceny tej strategii wybiega poza zakres niniejszego

opracowania (gdyż de facto nie jest elementem systemu kryteriów i oceny projektów i jest

realizowany w ramach wewnętrznych procedur i uregulowań PARP), to jednak można

wskazać pewne postulaty dotyczące sposobu oceny strategii:

•••• Warto rozważyć opracowanie wewnętrznych zaleceń, dotyczących zasad przyjęcia

(akceptacji) oceny opracowanych strategii.

•••• W ocenie strategii wzorniczych warto byłoby skorzystać z pomocy zewnętrznych

ekspertów, specjalistów od działań wzorniczych, najlepiej osób doświadczonych w

pracach Komisji Oceny Projektów (poważną barierą może być naturalnie dostępność

środków finansowych na wynagrodzenia dla takich osób).

97

Z jednej strony, liczba finansowanych projektów może wzrosnąć w wyniku procedury odwoławczej, z kolei - z różnych przyczyn – w przypadku nie wszystkich projektodawców może dojść do podpisania umowy. 98

§ 16 pkt. 1 Regulaminu dopuszcza możliwość zwiększenia alokacji na dany konkurs; z taką sytuację mielibyśmy zapewne do czynienia, gdyby iloczyn liczby wniosków, która uzyskały pozytywną ocenę merytoryczną i wartości wnioskowanego wsparcia przekroczyłby zakładaną alokację. 99

Oczywiście, znaczenie mogą odegrać także inne czynniki, jak na przykład ewentualna skłonność firmy do realizacji strategii wzorniczej ze wsparciem środków w ramach Działania 1.4 POPW lub jej brak.

98


8 Wnioski i rekomendacje

Tabela 11. Tabela wniosków i rekomendacji (odrębny załącznik)

99


9 Spis tabel i rysunków

Spis tabel

Tabela 1. Przedmiot ewaluacji - działania / podziałania I OP POPW ......................................... 8

Tabela 2. Zastosowanie metod badawczych ............................................................................ 13

Tabela 3. Lista indywidualnych wywiadów pogłębionych (IDI)................................................ 14

Tabela 4. Cykl spotkań informacyjnych po ogłoszeniu naboru ................................................ 18

Tabela 5. Skala zainteresowania wsparciem w konkursach z I OP POPW, w

których zakończono nabory ..................................................................................................... 20

Tabela 6. Harmonogram naborów w I OP POPW w 2016 R ..................................................... 26

Tabela 7. Zestawienie celów szczegółowych i wskaźników rezultatu strategicznego ............. 28

Tabela 8. Zestawienie wskaźników na poziomie działań i poddziałań ..................................... 32

Tabela 9. Liczba kryteriów merytorycznych w ramach poszczególnych działań I

Osi Priorytetowej POPW .......................................................................................................... 36

Tabela 10. Wymogi dotyczące kryteriów i ocena ich spełnienia ............................................. 39

Tabela 11. Tabela wniosków i rekomendacji ........................................................................... 98

Spis rysunków

Rysunek 1. Model logiczny interwencji w Działaniu 1.1 POPW (Poddziałania 1.1.1 i 1.1.2) ..... 9

Rysunek 2. Model logiczny interwencji w Działaniu 1.2 POPW (etap 1 i 2) ............................... 9

Rysunek 3. Model logiczny interwencji w Poddziałaniu 1.3.1 POPW....................................... 10

Rysunek 4. Model logiczny interwencji w Poddziałaniu 1.3.2 POPW....................................... 11

Rysunek 5. Model logiczny interwencji w Działaniu 1.4 POPW (etap 1 i 2) ............................. 11

100


10 Bibliografia

Dokumenty programowe POPW 2014-2020

− Program Operacyjny Polska Wschodnia 2014-2020,

− Szczegółowy Opis Osi Priorytetowych POPW 2014-2020,

− Metodologia szacowania wskaźników POPW,

− Materiały opracowane w ramach ewaluacji ex-ante POPW.

Dokumenty określające uwarunkowania wdrażania funduszy UE

− Rozporządzenie Parlamentu Europejskiego i Rady (UE) nr 1303/2013 z dnia 17 grudnia 2013 r. ustanawiające wspólne przepisy dotyczące EFRR, EFS, FS, EFFROW oraz EFMiR,

− Rozporządzenie Parlamentu i Rady (UE) nr 1301/2013 z dnia 17 grudnia 2013 roku w sprawie EFRR i przepisów szczególnych dotyczących celu „Inwestycje na rzecz wzrostu i zatrudnienia” oraz w sprawie uchylenia rozporządzenia (WE) nr 1080/2006,

− Rozporządzenie Komisji (UE) nr 651/2014 z dnia 17 czerwca 2014 r. uznające niektóre rodzaje pomocy za zgodne z rynkiem wewnętrznym w zastosowaniu art. 107 i 108 Traktatu oraz inne akty prawne związane z zasadami udzielania pomocy publicznej,

− Rozporządzenie wykonawcze Komisji (UE) nr 821/2014 z dnia 28 lipca 2014 r. ustanawiające zasady stosowania rozporządzenia Parlamentu Europejskiego i Rady (UE) nr 1303/2013,

− Rozporządzenie Komisji (UE) nr 1407/2013 z dnia 18 grudnia 2013 r. w sprawie stosowania art. 107 i 108 Traktatu o funkcjonowaniu Unii Europejskiej do pomocy de minimis Tekst mający znaczenie dla EOG,

− Ustawa z dnia 11 lipca 2014 r. o zasadach realizacji programów w zakresie polityki spójności finansowanych w perspektywie finansowej 2014–2020, (t.j. Dz. U. z 2016 r. poz. 217),

− Wytyczne MIR w zakresie trybów wyboru projektów na lata 2014-2020,

− Wytyczne MIR w zakresie realizacji zasady partnerstwa na lata 2014-2020.

Dokumenty związane z systemem wyboru projektów POPW 2014-2020

− Harmonogram konkursów POPW 2014-2020,

− Kryteria wyboru projektów POPW 2014-2020 (I OP POPW),

− Regulaminy przeprowadzania konkursów w poszczególnych działaniach/ poddziałaniach I OP POPW (inne dokumenty formalne dotyczące konkursów).

Dokumentacja związana z wynikami konkursów POPW 2014-2020

− Karty oceny wniosków,

− Listy rankingowe z konkursów.

Inne dokumenty / opracowania

− Badania ewaluacyjne dotyczące systemu wyboru projektów w ramach programów operacyjnych na lata 2007-2013 i dotyczące systemu wyboru projektów w ramach programów operacyjnych na lata 2014-2020,

− Inne badania ewaluacyjne, Raport końcowy z badania ewaluacyjnego (z 2014) pt. Ewaluacja ex-ante Programu Operacyjnego Polska Wschodnia 2014-2020.

− Działalność innowacyjna przedsiębiorstw w latach 2012-2014, GUS, Warszawa 2015 r.

− Strategia rozwoju społeczno-gospodarczego Polski Wschodniej do roku 2020 - aktualizacja, MRR 2013,

− Diagnoza wyzwań, potrzeb i potencjałów obszarów objętych Programem Operacyjnym Polska Wschodnia 2014-2020 (dokument uzupełniający POPW),

− Gorgol P., Kotrasiński J., Weremiuk A. (2012), Metaewaluacja wyników badań ewaluacyjnych Programu Operacyjnego Innowacyjna Gospodarka, 2007-2013, raport na zlecenie Ministerstwa Rozwoju Regionalnego,

− Ocena stosowanych trybów wyboru projektów w ramach programów operacyjnych na lata 2007-2013, CRSG (2013),

101


11 Kryteria wyboru projektów dla poszczególnych działań

/poddziałań

Poddziałanie 1.1.1 Platformy startowe dla nowych pomysłów

Kryteria formalne

Grupa Nazwa kryterium Zakres oceny

Min.

Wnioskodawca

1. Wnioskodawca posiada siedzibę na terytorium jednego z województw makroregionu Polski Wschodniej.

TAK / NIE TAK

2. Wnioskodawca / partnerzy nie podlegają wykluczeniu z możliwości uzyskania wsparcia w ramach Poddziałania 1.1.1 POPW.

TAK / NIE TAK

Projekt

1. Projekt jest realizowany na terytorium makroregionu Polski Wschodniej

TAK / NIE TAK

2. Przedmiot projektu nie dotyczy rodzajów działalności wykluczonych z możliwości uzyskania wsparcia w ramach Poddziałania 1.1.1 POPW.

TAK / NIE TAK

3. Realizacja projektu mieści się w ramach czasowych Poddziałania 1.1.1 POPW

TAK / NIE TAK

4. Projekt zostanie rozpoczęty po dniu złożenia wniosku o dofinansowanie

TAK / NIE TAK

5. Projekt jest zgodny z zasadami horyzontalnymi wymienionymi w art. 7 i 8 Rozporządzenia Parlamentu Europejskiego i Rady (UE) nr 1303/2013.

TAK / NIE TAK

Wniosek 1. Złożenie wniosku we właściwej instytucji TAK / NIE TAK

2. Złożenie wniosku w terminie wskazanym w ogłoszeniu o konkursie TAK / NIE TAK

Specyficzne

1. Kwalifikowalność Wnioskodawcy w ramach poddziałania 1.1.1 POPW

TAK / NIE TAK

2. Wnioskodawca posiada strategię rozwoju swojej działalności (lub dokument równoważny).

TAK / NIE TAK

3. Wnioskodawca złożył jeden wniosek o dofinansowanie w konkursie

TAK / NIE TAK

4. Wnioskodawca nie występuje jako Partner w innym wniosku o dofinansowanie złożonym w konkursie

TAK / NIE TAK

Kryteria merytoryczne (Panel Ekspertów)

Nazwa kryterium Zakres oceny

Min.

1. Realizacja projektu angażuje biznesowe i społeczne partnerstwo (zaangażowanie aktorów ekosystemu startupowego)

0-1 1

2. Wnioskodawca i partnerzy z sektora instytucji otoczenia biznesu (jeśli biorą udział w realizacji projektu) posiadają doświadczenie w preinkubacji i inkubacji przedsiębiorstw typu startup

0-1 1

3. Projekt zakłada realizację wskaźnika rezultatu - minimum 60 wspartych nowoutworzonych przedsiębiorstw.

0-1 1

4. Wydatki w ramach projektu są kwalifikowalne, uzasadnione, racjonalne 0-1 1

5. Wnioskodawca zapewni świadczenie usług wysokiej jakości, spełniających standardy krajowe lub międzynarodowe

0-1 1

6. Wnioskodawca zapewnia proces testowania przez przedsiębiorstwo typu startup 0-1 1

102



Min.

hipotez dotyczących modelu biznesowego z wykorzystaniem jednej z wybranych metodologii: Customer Development, Lean Startup (bądź jego pochodne np. Running Lean) lub Design Thinking

7. Wnioskodawca oraz partnerzy zapewniają realizację projektu przez zespół posiadający doświadczenie i kompetencje

0-1 1

8. Wnioskodawca zapewnia efektywny sposób zarządzania projektem 0-1 1

9. Wnioskodawca zapewnia system monitorowania postępów inkubacji oraz prowadzonej działalności przedsiębiorstw po zakończeniu programu inkubacji w ramach Platformy startowej

0-1 1

10. Wnioskodawca zapewnia strategię promocyjno- informacyjną 0-1 1

11. Wnioskodawca zapewnia przeprowadzenie naboru innowacyjnych pomysłów oraz ich wsparcie

0-1 1

12. Wnioskodawca zapewnia system preferencji dla pomysłów wpisujących się w obszary regionalnych inteligentnych specjalizacji wspólnych dla co najmniej dwóch województw Polski Wschodniej

0-1 1

Tabela Kryteria merytoryczne punktowane rankingujące


Min.

1. Zaangażowanie władz jednostek samorządu terytorialnego na rzecz Platformy startowej jako uczestnika ekosystemu (PORÓWNAWCZE)

� Równocześnie kryterium rozstrzygające drugiego stopnia

0-10 2

2. Zaangażowanie uczelni na rzecz Platformy startowej jako uczestnika ekosystemu (PORÓWNAWCZE)

0-10 2

3. Zaangażowanie dużych przedsiębiorców na rzecz Platformy startowej jako uczestnika ekosystemu (PORÓWNAWCZE)

0-5 0

4. Zaangażowanie innych instytucji otoczenia biznesu (typu fundusze Venture Capital, fundusze kapitału zalążkowego, anioły biznesu) jako uczestnika ekosystemu (PORÓWNAWCZE)

0-10 0

5. Działania Platformy startowej wynikające ze strategii promocyjno- informacyjnej zapewniają odpowiedni sposób dotarcia do grupy pomysłodawców oraz zagwarantują napływ innowacyjnych pomysłów (PORÓWNAWCZE)

1-5 3

6. Sposób organizacji i przeprowadzenia naboru pomysłów (PORÓWNAWCZE) 1-5 3

7. Wnioskodawca oraz partnerzy posiadają potencjał finansowy, techniczny i organizacyjny do świadczenia usług przedsiębiorstwom typu startup na Platformie startowej (PORÓWNAWCZE)

1-10 4

8. Jakościowa ocena strategii rozwoju działalności Wnioskodawcy (PORÓWNAWCZE)

1-5 3

9. Kompetencje i zasoby kadrowe odpowiadające za program inkubacji przedsiębiorstw typu startup (PORÓWNAWCZE)

1-5 3

10. Planowane wydatki są adekwatne do zaplanowanych rezultatów – badanie efektywności budżetowej inkubacji (PORÓWNAWCZE)

� Równocześnie kryterium rozstrzygające pierwszego stopnia

1-10 5

11. Doświadczenie Wnioskodawcy i partnerów w preinkubacji i inkubacji przedsiębiorstw typu startup

1-5 1

103


Kryteria rozstrzygające


1. (kryterium pierwszego stopnia) Planowane wydatki są adekwatne do zaplanowanych rezultatów – badanie efektywności budżetowej inkubacji Liczba punktów w ramach

oceny merytorycznej punktowanej) 2. (kryterium drugiego stopnia) Zaangażowanie władz jednostek

samorządu terytorialnego na rzecz Platformy startowej jako uczestnika ekosystemu

104


Poddziałanie 1.1.2 Rozwój startupów w Polsce Wschodniej

Kryteria formalne


Min.

Wnioskodawca 1. Wnioskodawca nie podlega wykluczeniu z możliwości uzyskania

wsparcia w ramach Poddziałania 1.1.2 POPW. TAK / NIE TAK

Projekt


TAK / NIE TAK

2. Przedmiot projektu nie dotyczy rodzajów działalności wykluczonych z możliwości uzyskania wsparcia w ramach Poddziałania 1.1.2 POPW.

TAK / NIE TAK

3. Realizacja projektu mieści się w ramach czasowych Poddziałania 1.1.2 POPW.

TAK / NIE TAK

4. Wnioskowana kwota wsparcia jest zgodna z zasadami finansowania projektów obowiązującymi dla Poddziałania 1.1.2 POPW.

TAK / NIE TAK


TAK / NIE TAK

Wniosek

1. Złożenie wniosku we właściwej instytucji. TAK / NIE TAK

2. Złożenie wniosku w terminie wskazanym w ogłoszeniu o konkursie.

TAK / NIE TAK

Specyficzne 1. Kwalifikowalność Wnioskodawcy w ramach Poddziałania 1.1.2

POPW. TAK / NIE TAK



Min.

1. Innowacyjność produktu. 1 lub 4 1

2. Wydatki w ramach projektu są kwalifikowalne, racjonalne i uzasadnione. 0-1 1

3. Jakościowa ocena modelu biznesowego. 0-10 5

4. Wnioskodawca zapewnia personel posiadający kompetencje niezbędne do realizacji projektu.

0 lub 3 3

5. Przedmiot projektu wpisuje się w zakres regionalnych inteligentnych specjalizacji wspólnych dla co najmniej dwóch województw z Polski Wschodniej.

� Równocześnie kryterium rozstrzygające w przypadku wniosków uzyskujących w łącznej ocenie taką samą liczbę punktów.

0-1 0

6. Prezentacja projektu przez Wnioskodawcę (sesja pitchingowa). 0-3 1

7. Wskaźniki projektu są obiektywnie weryfikowalne i odzwierciedlają założone cele projektu

0-1 1

8. Realizacja projektu przyczyni się do promocji zielonej i zrównoważonej gospodarki

0-1 0

9. Wnioskodawca zapewnia wymagany wkład własny. 0-1 1

Razem (niezbędne minimum) 13

105


Działanie 1.2 Internacjonalizacja MŚP - I etap (opracowanie modelu biznesowego)

Kryteria formalne


Min.

Wnioskodawca

1. Wnioskodawca prowadzi działalność gospodarczą na terytorium Rzeczypospolitej Polskiej.

TAK / NIE TAK

2. Wnioskodawca nie podlega wykluczeniu z możliwości uzyskania wsparcia w ramach poddziałania 1.2 POPW.

TAK / NIE TAK

3. Wnioskodawca jest mikro, małym lub średnim przedsiębiorcą. TAK / NIE TAK

Projekt

1. Projekt jest realizowany na terytorium makroregionu Polski Wschodniej.

TAK / NIE TAK

2. Przedmiot projektu nie dotyczy rodzajów działalności wykluczonych z możliwości uzyskania wsparcia w ramach poddziałania 1.2 POPW.

TAK / NIE TAK

3. Realizacja projektu mieści się w ramach czasowych poddziałania 1.2 POPW.

TAK / NIE TAK

4. Wnioskowana kwota wsparcia jest zgodna z zasadami finansowania projektów obowiązującymi dla poddziałania 1.2 POPW.

TAK / NIE TAK

5. Projekt zostanie rozpoczęty po dniu złożenia wniosku o dofinansowanie.

TAK / NIE TAK


TAK / NIE TAK

Wniosek



TAK / NIE TAK

Specyficzne

1. Wnioskodawca przed dniem złożenia wniosku zamknął przynajmniej jeden rok obrotowy trwający przynajmniej 12 miesięcy.

TAK / NIE TAK

2. Wnioskodawca osiągnął przychody ze sprzedaży nie mniejsze niż 200 tys. PLN przynajmniej w jednym zamkniętym roku obrotowym w okresie 3 lat poprzedzających rok, w którym złożył wniosek o udzielenie wsparcia.

TAK / NIE TAK

3. Wnioskodawca przeprowadził postępowanie ofertowe i dokonał wyboru wykonawcy zgodnie z wymogami określonymi w Regulaminie Konkursu oraz podpisał z nim umowę warunkową

TAK / NIE TAK

4. Wnioskodawca złożył jeden wniosek o dofinansowanie w konkursie.

TAK / NIE TAK

Kryteria merytoryczne


Min.

1. Wnioskodawca posiada w ofercie co najmniej jeden produkt (wyrób lub usługę), który może być przedmiotem sprzedaży zagranicznej.

0-1 1

2. Wnioskodawca zapewnia finansowanie projektu. 0-1 1

3. Wydatki w ramach projektu s kwalifikowalne, racjonalne i uzasadnione. 0-1 1

106



Min.

4. Działalność wnioskodawcy będąca przedmiotem projektu wpisuje się w zakres regionalnych inteligentnych specjalizacji wspólnych dla co najmniej dwóch województw z Polski Wschodniej

0-3 0

5. Wybrany wykonawca posiada doświadczenie i potencjał niezbędny do należytego świadczenia usług internacjonalizacji działalności biznesowej, której dotyczy projekt.

0-3 1

6. Poprawność wskaźników projektu 0-1 1

7. Przychody ze sprzedaży zagranicznej w ostatnim roku obrotowym Wnioskodawcy są mniejsze od 30% sumy przychodów netto ze sprzedaży towarów i usług

0-4 0

8. Realizacja projektu przyczynia się do promocji zielonej i zrównoważonej gospodarki.

0-1 0

Kryterium rozstrzygające


1. Wskaźnik przedsiębiorczości w powiecie Polski Wschodniej, w którym znajduje się lokalizacja projektu.

Wskaźnik przedsiębiorczości.

107


Działanie 1.2 Internacjonalizacja MŚP - II etap (przygotowanie do wdrożenia modelu)

Kryteria formalne


Min.

Wnioskodawca

1. Wnioskodawca nie podlega wykluczeniu z możliwości uzyskania wsparcia w ramach poddziałania 1.2 POPW.

TAK / NIE TAK


Projekt


TAK / NIE TAK

2. Przedmiot projektu nie dotyczy rodzajów działalności wykluczonych z możliwości uzyskania wsparcia w ramach poddziałania 1.2 POPW.

TAK / NIE TAK

3. Realizacja projektu mieści się w ramach czasowych poddziałania 1.2 POPW.

TAK / NIE TAK

4. Wnioskowana kwota wsparcia jest zgodna z zasadami finansowania projektów obowiązującymi dla poddziałania 1.2 POPW.

TAK / NIE TAK


TAK / NIE TAK


TAK / NIE TAK

Wniosek



TAK / NIE TAK

Specyficzne

1. Projekt dotyczy przygotowania do wdrożenia nowego modelu biznesowego internacjonalizacji - zatwierdzonego przez PARP w ramach realizacji I etapu działania 1.2 POPW

TAK / NIE TAK


TAK / NIE TAK



Min.

1. Wydatki w ramach projektu są kwalifikowalne, racjonalne i uzasadnione oraz wynikają bezpośrednio z modelu biznesowego opracowanego w ramach I etapu działania 1.2 POPW.

0-1 1

2. Prognoza finansowa wskazuje na opłacalność projektu. 0-1 1


4. Poprawność wskaźników projektu. 0-3 0

108


Poddziałanie 1.3.1 Wdrażanie innowacji przez MŚP

Kryteria formalne


Min.

Wnioskodawca


TAK / NIE TAK

2. Wnioskodawca nie podlega wykluczeniu z możliwości uzyskania wsparcia w ramach poddziałania 1.3.1 POPW.

TAK / NIE TAK


Projekt


TAK / NIE TAK

2. Przedmiot projektu nie dotyczy rodzajów działalności wykluczonych z możliwości uzyskania wsparcia w ramach poddziałania 1.3.1 POPW.

TAK / NIE TAK

3. Realizacja projektu mieści się w ramach czasowych poddziałania 1.3.1 POPW.

TAK / NIE TAK

4. Wnioskowana kwota wsparcia jest zgodna z zasadami finansowania projektów obowiązującymi dla poddziałania 1.3.1 POPW.

TAK / NIE TAK

5. Projekt zostanie rozpoczęty po dniu złożenia wniosku o dofinasowanie.

TAK / NIE TAK


TAK / NIE TAK

Wniosek

1. Złożenie wniosku we właściwej instytucji TAK / NIE TAK

2. Złożenie wniosku w terminie wskazanym w ogłoszeniu o konkursie

TAK / NIE TAK

Specyficzne


TAK / NIE TAK

2. Wnioskodawca zatrudnia co najmniej 5 pracowników. TAK / NIE TAK

3. Wnioskodawca osiągnął przychody ze sprzedaży nie mniejsze niż 600 tys. PLN przynajmniej w jednym zamkniętym roku obrotowym w okresie 3 lat poprzedzających rok, w którym złożył wniosek o udzielenie wsparcia.

TAK / NIE TAK

4. Członkostwo Wnioskodawcy w ponadregionalnym powiązaniu kooperacyjnym z Polski Wschodniej.

TAK / NIE TAK

Kryteria merytoryczne dostępu (Panel Ekspertów)


Min.

5. Ponadregionalne powiązanie kooperacyjne, do którego należy Wnioskodawca, spełnia warunki wymienione w opisie kryterium.

0-1 1

6. Przedmiot projektu jest zgodny z obszarem działalności powiązania kooperacyjnego oraz jego celami rozwoju.

0-1 1

7. Wskaźniki projektu są obiektywnie weryfikowalne i odzwierciedlają założone cele projektu.

0-1 1

8. Projekt dotyczy inwestycji początkowej zgodnie z rozporządzeniem KE nr 651/2014.

0-1 1

109



Min.

9. Wnioskodawca dysponuje prawami do wyników prac B+R. 0-1 1

Kryteria merytoryczne rankingujące (Panel Ekspertów)


Min.

1. Innowacyjność produktu. 3-18 7

2. Potencjał rynkowy produktu będącego efektem projektu. 0-9 4



5. Przygotowanie do realizacji projektu. 0-1 1


7. Projekt ma pozytywny wpływ na działalność gospodarczą członków ponadregionalnego powiązania kooperacyjnego.

0-1 0

8. Podmiot zarządzający ponadregionalnym powiązaniem kooperacyjnym posiada siedzibę na terytorium Polski Wschodniej.

0-1 0


0-1 0

10. Realizacja projektu przyczyni się do wzrostu zatrudnienia. 0-2 0


0-2 0



1. Innowacyjność produktu. Liczba punktów w ramach oceny

merytorycznej punktowanej 2. Potencjał rynkowy produktu będącego efektem projektu.

3. Wnioskowana intensywność wsparcia jest niższa od maksymalnej możliwej do uzyskania zgodnie z zasadami poddziałania.

Pod uwagę brana jest intensywność wsparcia w ramach wydatków inwestycyjnych.

Preferowane są projekty o intensywności niższej niż maksymalna dopuszczalna.

4. Stopa bezrobocia w powiecie, w którym zlokalizowany jest projekt.

Preferowane są projekty realizowane w powiatach o wyższej stopie bezrobocia.

110


Poddziałanie 1.3.2 Tworzenie sieciowych produktów przez MŚP

Kryteria formalne


Min.

Wnioskodawca


TAK / NIE TAK

2. Wnioskodawca nie podlega wykluczeniu z możliwości uzyskania wsparcia w ramach poddziałania 1.3.2 POPW.

TAK / NIE TAK


Projekt


TAK / NIE TAK

2. Przedmiot projektu nie dotyczy rodzajów działalności wykluczonych z możliwości uzyskania wsparcia w ramach poddziałania 1.3.2 POPW.

TAK / NIE TAK

3. Realizacja projektu mieści się w ramach czasowych poddziałania 1.3.2 POPW

TAK / NIE TAK

4. Projekt zostanie rozpoczęty po dniu złożenia wniosku o dofinasowanie.

TAK / NIE TAK

5. Wnioskowana kwota wsparcia jest zgodna z zasadami finansowania projektów obowiązującymi dla poddziałania 1.3.2 POPW.

TAK / NIE TAK


TAK / NIE TAK

Wniosek



TAK / NIE TAK

3. Dysponowanie pozwoleniem na budowę. TAK / NIE TAK

Kryteria merytoryczne dostępu (Panel Ekspertów)


Min.

1. Poprawność wskaźników projektu. 0-1 1

2. Projekt dotyczy inwestycji początkowej zgodnie z rozporządzeniem KE nr 651/2014.

0-1 1


0-1 1

4. Efektem realizacji projektu będzie utworzenie co najmniej 20 miejsc pracy 0-1 1

5. Struktura kosztów kwalifikowalnych w projekcie zgodna z SZOOP. 0-1 1

6. Minimalny udział finansowy członków konsorcjum we wkładzie własnym projektu w ramach kosztów kwalifikowalnych.

0-1 1

7. Minimum 50% członków konsorcjum prowadzi działalność gospodarczą co najmniej rok przed dniem złożenia wniosku.

0-1 1


9. Prognoza finansowa wskazuje na opłacalność projektu 0-1 1


111



Min.

11. Projekt jest skupiony wokół maksymalnie 3 głównych atrakcji /elementów pakietu/ składowych, będących przedmiotem wsparcia w ramach projektu.

0-1 1

12. Typ projektu zgodny z SZOOP. 0-1 1

13. W ramach projektu utworzony zostanie produkt o charakterze sieciowym. 0-1 1

14. Ponadregionalne oddziaływanie produktu. 0-1 1

Kryteria merytoryczne rankingujące (Panel Ekspertów)


Min.

1. Innowacyjność produktu. 0-10 5

2. Potencjał rynkowy produktu będącego efektem projektu 0-9 6

3. Przygotowanie do realizacji projektu. 0-5 1


0-3 0

5. Realizacja projektu przyczyni się do wzrostu zatrudnienia 0-5 0

6. Projekt ma zapewnioną wykonalność pod kątem stabilności współpracy między członkami konsorcjum.

0-4 2

7. Projekt dotyczy produktu mającego wpływ na aktywizację i rozwój sektora MŚP oraz społeczności lokalnej.

0-1 0

8. Projekt angażuje MŚP mające siedzibę na terenie obszarów wiejskich. 0-2 0

9. Projekt jest zlokalizowany na obszarach wiejskich 0-1 0



1. Innowacyjność produktu. Liczba punktów w ramach oceny

merytorycznej punktowanej 2. Potencjał rynkowy produktu będącego efektem projektu.

3. Wnioskowana intensywność wsparcia jest niższa od maksymalnej możliwej do uzyskania zgodnie z zasadami poddziałania.

Pod uwagę brana jest intensywność wsparcia w ramach wydatków inwestycyjnych.

Preferowane są projekty o intensywności niższej niż maksymalna dopuszczalna.

4. Stopa bezrobocia w powiecie, w którym zlokalizowany jest projekt.

Preferowane są projekty realizowane w powiatach o wyższej stopie bezrobocia.

112


Działanie 1.4 Wzór na konkurencję - etap I (audyt, strategia)

Kryteria formalne


Min.

Wnioskodawca

1. Wnioskodawca prowadzi działalność gospodarczą na terytorium makroregionu Polski Wschodniej.

TAK / NIE TAK

2. Wnioskodawca nie podlega wykluczeniu z możliwości uzyskania wsparcia w ramach działania 1.4 POPW.

TAK / NIE TAK

3. Wnioskodawca jest mikro, małym lub średnim przedsiębiorcą TAK / NIE TAK

Projekt


TAK / NIE TAK

2. Przedmiot projektu nie dotyczy rodzajów działalności wykluczonych z możliwości uzyskania wsparcia w ramach działania 1.4 POPW.

TAK / NIE TAK

3. Realizacja projektu mieści się w ramach czasowych działania 1.4 POPW

TAK / NIE TAK

4. Wnioskowana kwota wsparcia jest zgodna z zasadami finansowania projektów obowiązującymi dla działania 1.4 POPW

TAK / NIE TAK

5. Projekt zostanie rozpoczęty po dniu złożenia wniosku o dofinansowanie

TAK / NIE TAK


TAK / NIE TAK

Wniosek 1. Złożenie wniosku we właściwej instytucji TAK / NIE TAK

2. Złożenie wniosku w terminie wskazanym w ogłoszeniu o konkursie TAK / NIE TAK

Specyficzne

1. Wnioskodawca przed dniem złożenia wniosku zamknął przynajmniej jeden rok obrotowy trwający przynajmniej 12 miesięcy.

TAK / NIE TAK

2. Wnioskodawca zatrudnia co najmniej 5 pracowników. TAK / NIE TAK

3. Wnioskodawca osiągnął przychody ze sprzedaży nie mniejsze niż

600 tyś100

PLN przynajmniej w jednym zamkniętym roku

obrotowym w okresie 3 lat poprzedzających rok, w którym złożył wniosek o udzielenie wsparcia.

TAK / NIE TAK

4. Wnioskodawca przeprowadził postępowanie ofertowe i dokonał wyboru wykonawcy zgodnie z wymogami określonymi w Regulaminie Konkursu oraz podpisał z nim umowę warunkową.

TAK / NIE TAK


TAK / NIE TAK



Min.

1. Wnioskodawca posiada odpowiednią wiedzę pozwalającą na realizację projektu, ma sprecyzowane oczekiwania rezultatów audytu oraz jest zdeterminowany do

0-2 1

100

Prawidłowy skrót to "tys." (z kropką); w opisie pojawiają się jednak także cytowany "tyś" oraz "tys" (bez kropki).

113



Min.

wdrażania działań z niego wynikających.



4. Przedmiot projektu wpisuje się w zakres regionalnych inteligentnych specjalizacji wspólnych dla co najmniej dwóch województw z Polski Wschodniej

0-1 0

5. Wskazany wykonawca posiada potencjał niezbędny do należytego świadczenia usług oraz zapewnia ich realizację przez osoby posiadające niezbędne kwalifikacje.

0-1 1

6. Wskaźniki projektu są obiektywnie weryfikowalne i odzwierciedlają założone cele projektu

0-1 1

7. Poziom bezrobocia w powiecie Polski Wschodniej, w którym znajduje się lokalizacja projektu

0-1 0

114


Działanie 1.4 Wzór na konkurencję - etap II (wdrożenie strategii)

Kryteria formalne


Min.

Wnioskodawca

1. Wnioskodawca nie podlega wykluczeniu z możliwości uzyskania wsparcia w ramach działania 1.4 POPW.

TAK / NIE TAK


Projekt


TAK / NIE TAK

2. Przedmiot projektu nie dotyczy rodzajów działalności wykluczonych z możliwości uzyskania wsparcia w ramach działania 1.4 POPW.

TAK / NIE TAK

3. Realizacja projektu mieści się w ramach czasowych działania 1.4 POPW.

TAK / NIE TAK

4. Wnioskowana kwota wsparcia jest zgodna z zasadami finansowania projektów obowiązującymi dla działania 1.4 POPW.

TAK / NIE TAK


TAK / NIE TAK


TAK / NIE TAK

Wniosek



TAK / NIE TAK

Specyficzne

1. Wnioskodawca prawidłowo wykorzystał pomoc finansową otrzymaną w ramach I Etapu Działania 1.4 POPW.

TAK / NIE TAK


TAK / NIE TAK



Min.

1. Rezultatem projektu jest wprowadzenie na rynek innowacji. 0-1 1

2. Proces projektowy oraz wdrożenie zostały odpowiednio zaplanowane. 0-1 1

3. Wydatki w ramach projektu są kwalifikowalne, racjonalne i uzasadnione oraz wynikają bezpośrednio z Etapu I Działania 1.4 POPW.

0-1 1



6. Projekt dotyczy inwestycji początkowej zgodnie z rozporządzeniem KE nr 651/2014 (jeśli dotyczy).

0-1 1

7. Wskaźniki projektu są obiektywnie weryfikowalne i odzwierciedlają założone cele projektu.

0-1 1

Treść wniosku Treść rekomendacjiAdresat

rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.

Uzasadnienie odrzucenia/częściowego wdrożenia

a b c d e f g h i j k

Regulaminy konkursów w ramach

poszczególnych działań i poddziałań różnią się

m.in. ze względu na sposób ujęcia informacji o

przebiegu paneli eksperckich, w szczególności

prezentacji projektu przez wnioskodawcę.

(Zob. Raport - str.16-17)

Brak jest dokumentów zawierających szersze

wyjaśnienia dotyczące poszczególnych kryteriów

(poza definicjami), przez co przynajmniej część z

nich wzbudza wątpliwości i pytania

wnioskodawców.

(Zob. Raport - str. 17)

Konstrukcja stron internetowych poświęconych

POPW, w szczególności popw.parp.gov.pl

mogłaby być wygodniejsza w nawigacji

(poszukiwanie najważniejszych informacji) i

bardziej użyteczna dla potencjalnych

użytkowników.

(Zob. Raport - str. 20-21)

Weryfikacja wymogów formalnych przedłużała

proces oceny projektów, m.in. ze względu na

tradycyjny (papierowy) obieg dokumentów.

Wysyłanie wezwań do uzupełnienia

braków formalnych i/lub poprawy

oczywistych omyłek w formie

elektronicznej (na adres podany we

wniosku).


Możliwość przesłania oświadczenia o

wprowadzeniu zmian w dokumentacji

aplikacyjnej w formie skanu dokumentu

(w tych przypadkach, w których

wnioskodawcy korzystać będą z

tradycyjnej formy korespondencji).

IZ POPW

IZ POPW

IZ POPW

Rekomendacje o charakterze ogólnym, właściwe dla wszystkich działań / poddziałań I osi priorytetowej PO POPW

Lp.

nd

Polska

Wschodnia

Polska

Wschodnia

Polska

Wschodnia

Polska

Wschodnia

Korekta

regulaminów

konkursów.

III / IV

kwartał

2016 r.

3.

Poprawienie nawigacji po stronie

popw.parp.gov.pl, m.in. umożliwienie

wyszukiwania informacji po

działaniach/naborach (zwłaszcza w

zakładce wiadomości). Uzupełnienie

informacji o odnośniki do nagrań ze

spotkań informacyjnych, cykli spotkań

on-line.

PARP

Przebudowa

strony

internetowej

II kwartał

2017 r.

System

realizacji

polityki

spójności

Rekomendacja

zatwierdzona

częściowo

(wdrożona)

Rekomendacja

zatwierdzona w

całości

IZ POPW

2.

Z braku innych wytycznych dla

wnioskodawców (poza FAQ) warto

rozważyć rozszerzenie instrukcji o

dodatkowe informacje, dotyczące

kryteriów, w szczególności tych

najmniej oczywistych.

PARP

Rozszerzenie

informacji

zawartych w

instrukcji

wypełniania

wniosku o

dofinansowani

e.

III / IV

kwartał

2016 r.

1.

Ujednolicenie opisu dotyczącego

ogólnego przebiegu paneli eksperckich

na poziomie Regulaminów

poszczególnych konkursów.

PARP

Uzupełnienie

Regulaminów

konkursów.

III / IV

kwartał

2016 r.

System

realizacji

polityki

spójności

4.

PARP

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

Ze względu na zróżnicowanie instrumentów wsparcia realizowanych w I osi piorytetowej PO PW nie jest

możliwe określenie wspólnych reguł dla wszystkich działań, w ramach których prowadzona jest ocena w

ramach panelu ekspertów. Należy mieć na uwadze, że wsparcie oferowane przez PARP jest przeznaczone

dla różnych grup docelowych przedsiębiorców (np. startupy, eksporterzy, konsorcja, IOB) oraz

zróżnicowany jest jego zakres (inwestycje, doradztwo, programy akceleracyjne). Każda z wymienionych

zmiennych w jakiś sposób wpływa na proces oceny i założone kryteria wyboru projektów co uniemożliwia

ich pełne ujednolicenie. W dokumentacji dla kolejnych konkursów dla wybranych działań I osi POPW

zostały ujednolicone zasady przebiegu paneli ekspertów z uwzględnieniem specyfiki poszczególnych

działań.

nd

nd

Rekomendacja

zatwierdzona w

całości

Rekomendacja

zatwierdzona w

całości

(wdrożona)

Tabela rekomendacji z badania Ewaluacja systemu wyboru projektów w Programie Operacyjnym Polska Wschodnia 2014-2020

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

1


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

Dla zwiększenia efektywności i jakości ocen w

ramach paneli eksperckich warto rozważyć

wprowadzenie preselekcji projektów trafiających

na panel, przynajmniej w działaniach o

oczekiwanej dużej liczbie aplikacji (np. 1.3.1).

(Zob. Raport - str. 24-25 i 27)

Ogólna ocena przebiegu procesu oceny

merytorycznej i paneli eksperckich jest

pozytywna, niemniej dla poprawy jej jakości

warto wprowadzić kilka usprawnień na poziomie

organizacji paneli eksperckich.


PARP

Korekta

założeń paneli

eksperckich i

regulaminu

KOP.

III / IV

kwartał

2016 r.

Rekomendacja

zatwierdzona

częściowo

(realizowana)

5.

Dopuszczanie do oceny panelowej tylko

tych projektów, które spełniły kryteria

merytoryczne dostępu.

PARPPolska

Wschodnia

Polska

Wschodnia

Korekta

regulaminów

konkursów.

III / IV

kwartał

2016 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

IZ POPW

IZ POPW6.

Rekomendacja została częściowo wprowadzona w ostatnim konkursie dla działania 1.3.1. tj. ocena

panelowa została poprzedzona szkoleniem dla ekspertów oceniających, na którym zostały

przedyskutowane kwestie organizacyjne. Dodatkowo panele eksperckie do poszczególnych projektów

zostały przedzielone około 1-godzinnymi przerwami niezbędnymi na ustalenie wyników oceny

poprzedniego wniosku o dofinansowanie oraz ewentualną wymianę informacji odnośnie kolejnego

wniosku o dofinansowanie. Takie same rozwiązanie planuje się przyjąć w przypadku organizacji paneli do

działania 1.4 POPW. W kwestii równomiernego podzielenia liczby pytań na poszczególnych ekspertów

należy mieć na uwadze to, że przewodniczący KOP kieruje pracami komisji, zarządza czasem i liczbą

zadawanych pytań. Z góry określona liczba pytań dla poszczególnych ekspertów nie miałoby uzasadnienia

z uwagi na różną specyfikę projektów i odmienne w nich problemy. Tego rodzaju techniczno-

organizacyjne kwestie, choć zasadne, powinny pozostać w gestii danej Komisji i jej Przewodniczącego, w

zależności od rodzaju instrumentu, zakresu czasowego, merytorycznego oraz ew. zróżnicowania ról w

ramach składu osobowego panelu ekspertów. Zasady te nie powinny być unifikowane i sztywno zapisane

w regulaminach. W praktyce takie ustalenia były regułą w dotychczas przeprowadzonych panelach

ekspertów, choć nie zostało to uregulowane w dokumentach. PARP planuje wprowadzenić zapisy do

regulaminu KOP przewidujących czas na spotkanie członków KOP przed rozpoczęciem Panelu Ekspertów w

celu wymiany opinii i ewentualnego omówienia pytań do wnioskodawców. Bazując na dotychczasowych

doświadczeniach nie ma potrzeby tworzenia wytycznych dotyczących sposobu zadawania pytań. Podział

pytań w odniesieniu do konkretnego eksperta jest nieuzasadniony z racji tego, że potrzeba zadawania

pytań wynika ze specyfiki każdego z ocenianych projektów, gdzie mogą wystąpić różne obszary

wymagające wyjaśnienia wątpliwości, niekiedy różne z punktu widzenia każdego z ekspertów. Narzucanie

np. liczby pytań dla każdego eksperta jest niezasadne ponieważ może ograniczyć potrzebę wyjaśnienia

wszystkich wątpliwych zagadnień w projekcie.

Wyodrębnienie kolejnego etapu oceny może nie przynieść skutku w postaci przyspieszenia oceny

projektów. Przy dużej liczbie wniosków każdy etap, który wymaga zapoznania się z wnioskiem przez pewną

grupę oceniających i opracowanie wyniku oceny powoduje przedłużenie czasu na ocenę tego projektu.

Ocena na tym etapie nie musi być czasowo krótsza, niż ocena w ramach Panelu. Dla zwiększenia

efektwyności niektóre kryteria dostępowe zostaną przeniesione z etapu oceny panelowej do etapu oceny

formalnej, co spowoduje, że mniej projektów będzie ocenianych w panelach ekspertów.

Rozpoczynanie paneli eksperckich od

bloku czasu dla ekspertów (czas na

wymianę opinii i ustalenie pytań do

wnioskodawców) lub stworzenie

wytycznych dotyczących sposobu

zadawania pytań (np. liczby pytań na

każdego eksperta).

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

Rekomendacja

zatwierdzona

częściowo

2


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

W pierwszych konkursach w systemie LSI nie

było możliwości nanoszenia uwag i komentarzy

bezpośrednio na wniosku, co zdaniem części

ekspertów ograniczało użyteczność tego

systemu.

(Zob. Raport - str. 24 i 26)

Należy zwrócić uwagę na opis sposobu oceny w

kryteriach, w których jednoczesnej ocenie

podlega kilka elementów. Problem ten dotyczy

kryteriów, w których ocenia się

"kwalifikowalność, racjonalność i uzasadniony

charakter" wydatków.


Występują niespójności w nazewnictwie grup

kryteriów, stosowanym w poszczególnych

działaniach / poddziałaniach na podobnych

etapach oceny, a więc charakteryzujących się

analogiczną logiką oceny (np. kryteria

merytoryczne dostępu vs. kryteria merytoryczne

lub kryteria merytoryczne punktowane

rankingujące vs. kryteria merytoryczne

rankingujące)


Regulamin Komisji Oceny Projektów nie

wskazuje wystarczająco precyzyjnie, do jakich

kryteriów merytorycznych rankingujących ma

zastosowanie ocena porównawcza wniosków.


Rekomendacje dla Poddziałania 1.1.1 Platformy startowe dla nowych pomysłów

IP (PARP) nie widzi możliwości nanoszenia uwag na wniosku w systemie LSI. Wdrożenie propozycji

ewaluatora wymagałoby przebudowy całego systemu LSI. Nakład niezbędnych środków i czasu na

przebudowę systemu byłby niewspółmierny do potencjalnych osiągniętych korzyści.

nd

Polska

Wschodnia

System

realizacji

polityki

spójności

Polska

Wschodniand

IZ POPW

IZ POPW

IZ POPW

Korekty w

kryteriach

oceny

projektów.

III / IV

kwartał

2016 r.

11.

Doprecyzowanie w §8. Regulaminu

Oceny Projektów, wskazujące, że ocena

merytoryczna porównawcza zachodzi w

odniesieniu (tylko) do wskazanych

(niektórych) kryteriów merytorycznych.

PARP

Korekta treści

w Regulaminie

Oceny

Projektów.

IV kwartał

2017 r.

System

realizacji

polityki

spójności

Polska

Wschodnia

Polska

Wschodnia

Polska

Wschodnia

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

Rekomendacja

zatwierdzona w

całości

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

Rekomendacja

zatwierdzona w

całości

(wdrożona)

8.

Wprowadzenie w LSI możliwość

nanoszenia uwagi i komentarzy

bezpośrednio na wniosku.

PARP Zmiana LSI

III / IV

kwartał

2016 r.

7.

W przypadku działań zakładających

współpracę z zewnętrznym wykonawcą

warto rozważyć formalne dopuszczenie

jego przedstawiciela do prowadzenia

części prezentacji.

PARP

Korekta

założeń paneli

eksperckich i

regulaminu

KOP.

III / IV

kwartał

2016 r.

System

realizacji

polityki

spójności

IZ POPW

IZ POPW

10.

Wprowadzenie spójnych nazw grup

kryteriów na poszczególnych etapach

oceny.

PARP

Korekty w

nazwach grup

kryteriów (w

opisach

kryteriów,

regulaminach

konkursów)

IV kwartał

2016 r.

9.

W opisie takich kryteriów należy

wyraźnie wskazać, że spełnienie

przedstawionych w kryterium

warunków oceniane jest łącznie, co

oznacza, że częściowe spełnienie

kryterium nie jest wystarczające.

PARP

Rekomendacja

odrzucona

Rekomendacja

zatwierdzona w

całości

(realizowana)

Rekomendacja

zatwierdzona w

całości

nd

nd

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

3


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

Kryterium formalne specyficzne nr 2, dotyczące

posiadania przez wnioskodawcę strategii

rozwoju swojej działalności, wymaga

dostosowania w taki sposób, aby odzwierciedlało

logikę oceny formalnej.


Zakres oceny na podstawie kryterium

merytorycznego (Panel Ekspertów) nr 2,

dotyczącego posiadanego doświadczenia w

preinkubacji i inkubacji startupów, pokrywa się z

zakresem kryterium merytorycznego

punktowanego rankingującego nr 11 (jest to

jedyne kryterium rankingujące, które nie ma

charakteru porównawczego; dotyczy

przeprowadzania naboru innowacyjnych

pomysłów i ich wspierania).


Ocena w oparciu o kryterium merytoryczne nr 5

(Panel Ekspertów), dotyczącego świadczenia

usług, spełniających standardy krajowe lub

międzynarodowe, wskazuje na konieczność

oceny "jakości" usług - bardzo trudnej do oceny

na podstawie opisu we wniosku (i szczególnie w

skali zero-jedynkowej).


Skale oceny we wszystkich kryteriach

merytorycznych (Panel Ekspertów) ograniczają

elastyczność oceny (szczególnie biorąc pod

uwagę przedmiot oceny tych kryteriów,

specyficzny dla niniejszego Poddziałania).

Wskazane jest zapewnienie większej

elastyczności i precyzji oceny.


IZ POPW

IZ POPW

IZ POPW

IZ POPW15.

Rozszerzenie skali oceny poprzez

dodanie do niej poziomu pośredniego,

wskazującego na "częściowe"

spełnienie kryterium: skala 0 (nie

spełnia) lub 0,5 (spełnia częściowo) lub

1 (spełnia całkowicie); wymagane

minimum = 1.

PARP

Zmiana skal

oceny w

zestawie

kryteriów

(kryteria

merytoryczne -

Panel

Ekspertów).

IV kwartał

2017 r.

System

realizacji

polityki

spójności

Polska

Wschodnia

Rekomendacja

programowa -

operacyjna.

Rekomendacja

zatwierdzona w

całości

14.

Odmienne sformułowanie treści

kryterium - rezygnacja z oceny

"jakości". Nowe sformułowanie nazwy

kryterium: "Wnioskodawca zapewni

świadczenie usług, opartych na

systemie zarządzania, gwarantującym

spełnienie krajowych i/lub

międzynarodowych standardów

świadczenia takich usług".

PARP

Zmiana treści

w nazwie

kryterium

(odpowiednie

dostosowanie

opisu

kryterium).

IV kwartał

2017 r.

Rekomendacja

zatwierdzona w

całości

13.

Rezygnacja z kryterium nr 2 na rzecz

zrekonstruowanego kryterium

punktowanego rankingującego (nr 11)

ze zmienioną dolną granicą skali oceny

(z "1" do "0") oraz zmiana skali oceny w

kryterium merytorycznym

punktowanym nr 11 (skala od 0 do 5

pkt, wymagane minimum = 1 pkt).

PARP

Rekonstrukcja

zestawu

kryteriów i

skali oceny.

IV kwartał

2017 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

Polska

Wschodnia

Polska

Wschodnia

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

Rekomendacja

zatwierdzona w

całości

12.

Rekonstrukcja opisu kryterium

formalnego poprzez wykreślenie

pierwszego zdania drugiego akapitu

opisu ("Ocenie podlega kompletność

opisu strategii zgodnie z zakresem

wymaganych informacji"), a w zamian

wprowadzenie nowej treści, np. "Jako

załącznik do wniosku o dofinansowanie

Wnioskodawca przedkłada

oświadczenie, że posiada strategię

rozwoju swojej działalności (lub

dokument równoważny), zawierającą

co najmniej treści wskazane w

kryterium formalnym specyficznym nr

2".

PARP

Korekta treści

w opisie

kryterium.

IV kwartał

2017r.

Rekomendacja

zatwierdzona w

całości

System

realizacji

polityki

spójności

Polska

Wschodnia

Rekomendacja

programowa -

operacyjna.

nd

nd

nd

nd

4


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

Kryterium merytoryczne rankingujące nr 7,

dotyczące posiadania potencjału finansowego,

technicznego i organizacyjnego, wymaga bardzo

trudnego w praktyce różnicowania oceny w

ramach przyjętej obecnie skali jakościowej.


W przypadku kryterium merytorycznego

rankingującego nr 10, dotyczącego adekwatności

wydatków do zaplanowanych rezultatów,

zastosowana skala utrudnia ocenę "efektywności

budżetowej inkubacji". W związku z tą skalą

pojawia się trudność w przypisaniu oceny

punktowej. Niezbędne jest ustalenie

odpowiednich przedziałów wielkości wskaźnika

oraz przypisanie im jednoznacznych poziomów

punktacji.


Uzupełnienie kryteriów formalnych (dotyczących

projektu) o nowe kryterium (przeniesione z

grupy kryteriów merytorycznych).

Obecnie kryterium merytoryczne nr 9, dotyczące

zapewnienia wymaganego wkładu własnego, ma

de facto postać kryterium formalnego. Dlatego

może być umieszczone w grupie kryteriów

formalnych, co uprości ocenę merytoryczną.


W zestawie kryteriów merytorycznych (Panel

Ekspertów, kryterium nr 1, dotyczące

innowacyjności produktu), udział punktacji za

"innowacyjność produktu" projektu jest

stosunkowo niewielki, gdy tymczasem

"innowacyjność" jest ważnym elementem logiki

tego Poddziałania.


IZ POPW

IZ POPW

19.

Zmiana (podwyższenie) znaczenia

kryterium, oceniającego poziom

innowacyjności produktu, poprzez

podwyższenie liczby punktów

przyznawanych za innowacyjność na

poziomie krajowym (obecnie 1 pkt, po

zmianie 2 pkt) oraz na poziomie

europejskim (obecnie 4 pkt, po zmianie

5 pkt).

PARP

Zwiększenie

liczby punktów

za

innowacyjność

w skali kraju.

IV kwartał

2017 r.

System

realizacji

polityki

spójności

Polska

WschodniaIZ POPW

Rekomendacja

programowa -

operacyjna.

Rekomendacja

zatwierdzona w

całości

18.

Wprowadzenie do zestawu kryteriów

formalnych (w grupie kryteriów,

dotyczących projektu) kryterium,

oceniającego zadeklarowanie

minimalnie wymaganej w Poddziałaniu

wielkości wkładu własnego.(

PARP

Zmiana w

zestawie

kryteriów.

IV kwartał

2017 r.

Rekomendacja

zatwierdzona w

całości

17.

Propozycja ustalenia wskaźników oraz

odpowiadających im przedziałów oceny

(punktacji) - ustalenie różnych

poziomów wskaźnika procentowego

(dofinansowania pomniejszonego o

koszty zarządzania w relacji do kwoty

dofinansowania) oraz przypisanie tym

poziomom skokowej skali oceny (2, 4, 6,

8, 10) w ramach stosowanego opisu

jakościowego.

PARP

Rekonstrukcja

kryterium -

ustalenie

granicznych

wielkości

ocenianego

wskaźnika i

zmiana skali

oceny.

IV kwartał

2017 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

Polska

Wschodnia

Polska

WschodniaIZ POPW

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

Rekomendacja

zatwierdzona w

całości

Rekomendacje dla Poddziałania 1.1.2 Rozwój startupów w Polsce Wschodniej

16.

Zmiana struktury skali oceny -

zastosowanie skali skokowej, aby nie

wymagać różnicowania oceny (bardzo

trudnego) w ramach przypisanej

charakterystyki. Proponowana skala: 2

pkt (stopień spełnienia kryterium: niski),

4 pkt (przeciętny), 6 pkt (dobry), 8 pkt

(bardzo dobry), 10 pkt (doskonały).

PARP

Zmiana rodzaju

i struktury skali

oceny w

ramach

kryterium.

IV kwartał

2017 r.

Rekomendacja

zatwierdzona w

całości

System

realizacji

polityki

spójności

Polska

Wschodnia

Rekomendacja

programowa -

operacyjna.

nd

nd

nd

nd

5


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

Kryterium merytoryczne nr 2, dotyczące

wydatków kwalifikowanych, zostało

sformułowane w sposób niejednoznaczny,

utrudniający jego spójną ocenę.


Kryterium merytoryczne nr 3 (Panel Ekspertów),

dotyczące jakościowej oceny modelu

biznesowego, wymaga bardzo trudnego w

praktyce różnicowania oceny w ramach przyjętej

obecnie skali jakościowej.


Sposób oceny na kryterium merytorycznym

(Panel Ekspertów) nr 4, dotyczącym oceny

kompetencji personelu projektu, jest mało

elastyczny. Nie pozwala na ocenę pośrednią.


Kryterium merytoryczne (Panel Ekspertów) nr 5,

dotyczące wpisywania się projektu w zakres

regionalnych inteligentnych specjalizacji, zostało

ustalone jako kryterium rozstrzygające. Jest to

jednak kryterium o słabej selektywności i

poprzez to może być nieodpowiednie jako

rozstrzygające. Poza tym jest w dużej mierzej

uznaniowe.


Rekomendacja

zatwierdzona w

całości

Rekomendacja

zatwierdzona w

całości

23.

Rezygnacja z kryterium merytorycznego

nr 5 jako kryterium rozstrzygającego,

uzasadniona - ocenianą jako bardzo

wysoka - uznaniowością oceny w

ramach tego kryterium oraz niskim

stopniem selektywności tego kryterium.

W zamian, ustalenie innego kryterium

rozstrzygającego (np. nr 3 ("Jakościowa

ocena modelu biznesowego") - jest to

kryterium znacznie bardziej selektywne.

PARP

Zmiana w

zestawie

kryteriów.

Wprowadzenie

innego

kryterium

rozstrzygająceg

o.

IV kwartał

2017 r.

System

realizacji

polityki

spójności

Polska

WschodniaIZ POPW

Rekomendacja

programowa -

operacyjna.

22.

Wprowadzenie dodatkowego poziomu

oraz zmiana skali oceny tego kryterium:

Po zmianie skala oceny przybierze

następującą postać: 0 pkt - kryterium

niespełnione, 2 pkt - kryterium

spełnione częściowo i 4 pkt - kryterium

spełnione. Ustalenie wymaganego

minimum na poziomie 4 punktów.

PARP

Zmiana skali

oceny i

ustalenie

nowego

minimum.

IV kwartał

2017 r.

Rekomendacja

zatwierdzona w

całości

21.

Zmiana struktury skali oceny -

zastosowanie skali skokowej, aby nie

wymagać różnicowania oceny (bardzo

trudnego) w ramach przypisanej

charakterystyki. Proponowana skala: 0

pkt (stopień spełnienia kryterium:

niedostateczny), 2 pkt (niski), 4 pkt

(przeciętny), 6 pkt (dobry), 8 pkt

(bardzo dobry), 10 pkt (doskonały).

Ustalenie minimum oceny na poziomie

6 pkt.

PARP

Zmiana rodzaju

i struktury skali

oceny w

ramach

kryterium.

IV kwartał

2017 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

Polska

Wschodnia

Polska

Wschodnia

IZ POPW

IZ POPW

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

20.

Jednoznaczne uwypuklenie w opisie

kryterium koniunkcji warunków,

dotyczących planowanych w projekcie

wydatków poprzez uzupełnienie

pierwszego zdania aktualnego opisu

kryterium, w następujący sposób:

"Wydatki planowane do poniesienia

/.../ muszą być jednocześnie

kwalifikowalne, uzasadnione i

racjonalne /.../".

PARP

Modyfikacja

opisu

kryterium.

IV kwartał

2017 r.

Rekomendacja

zatwierdzona w

całości

System

realizacji

polityki

spójności

Polska

WschodniaIZ POPW

Rekomendacja

programowa -

operacyjna.

nd

nd

nd

nd

6


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

Kryterium merytoryczne nr 6 (Panel Ekspertów)

(prezentacja projektu podczas sesji

pitchingowej), dotyczy (m.in.) oceny

atrakcyjności dokonywanej przez wnioskodawcę

prezentacji podczas sesji pitchingowej - ocena w

tym zakresie będzie zawsze uznaniowa (i w

związku z tym trudna do oceny, szczególnie w

związku z głównym celem prezentacji, tj.

wykazaniem zasadności biznesowej projektu), a

ponadto można mieć wątpliwości, co do jej

powiązania z logiką interwencji.


Zmiana kryterium rozstrzygające - obecne

kryterium rozstrzygające (nr 9 - wpisywanie się

projektu w zakres regionalnych inteligentnych

specjalizacji) jest zbyt mało selekcyjne


Kryteria wyboru nie w pełni odzwierciedlają

logikę interwencji, w szczególności kwestie

niezbyt istotne (referencje firmy doradczej) mają

większy wpływ na wybór niż kwestie bardzo

istotne (potencjał rynkowy internacjonalizacji).


Model internacjonalizacji przedsiębiorstwa

tworzony w ramach etapu I, nie jest

przedmiotem oceny w etapie II. Jest

zatwierdzany przez PARP według nieznanych

(niezamieszczonych w dokumentacji

konkursowej) kryteriów.

Ocena panelowa prowadzona jest w I etapie,

jednocześnie nie jest wtedy jeszcze dostępny

model internacjonalizacji przedsiębiorstwa,

podejmowana decyzja niesie ze sobą

stosunkowo niewielkie skutki finansowe, a

kryteria oceny są w pełni sparametryzowane –

oznacza to, że nie tylko ocena panelowa jest

przedwczesna, ale także prowadzona jest w

odniesieniu do kryteriów, dla których

Rekomendacje dla Działania 1.2 Internacjonalizacja MŚP

Rekomendacja

zatwierdzona w

całości

28.

Rezygnacja z oceny panelowej w etapie

I.PARP

Zmiana

systemu

wyboru

projektów.

I kwartał

2017 r.

Rekomendacja

zatwierdzona

częściowo

27.

Niezależnie od zatwierdzenia przez

PARP (warunkującego prawidłowe

zakończenie etapu I), Model

internacjonalizacji przedsiębiorstwa

powinien być przedmiotem oceny

punktowanej w ramach kryteriów

wyboru w II etapie.

PARP

Zmiana

kryteriów

oceny

merytorycznej.

IV kwartał

2016 r. / I

kwartał

2017 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

Polska

Wschodnia

Polska

Wschodnia

IZ POPW

IZ POPW

Rekomendacja

zatwierdzona

częściowo

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

26.

W zależności od pozostałych zmian w

ramach etapu I: albo wyłącznie

zredukowanie obecnych kryteriów

merytorycznych punktowanych do

kryteriów dostępu (z punktową oceną

w etapie II), albo położenie większej

wagi na potencjale rynkowym

internacjonalizacji (kryterium

punktowane).

PARP

Zmiana

kryteriów

oceny

merytorycznej.

Rekomendacja

zatwierdzona

częściowo

25.

Wprowadzenie innego (z obecnej grupy

kryteriów merytorycznych) kryterium

rozstrzygającego, tj. kryterium

merytorycznego nr 3 ("Jakościowa

ocena modelu biznesowego").

PARP

Zmiana w

zestawie

kryteriów.

IV kwartał

2017 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

Polska

WschodniaIZ POPW

IZ POPWPolska

Wschodnia

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

24.

Modyfikacja treści (opisu) kryterium, tj.

jego drugiego akapitu, polegająca na

wykreśleniu części zdania: "Ocenie

podlega atrakcyjność prezentacji

pomysłu oraz wykazanie zasadności

biznesowej /.../".

PARPZmiana opisu

kryterium.

IV kwartał

2017 r.

Rekomendacja

zatwierdzona w

całości

System

realizacji

polityki

spójności

Polska

WschodniaIZ POPW

Rekomendacja

programowa -

operacyjna.

nd

nd

Trwają prace nad zmianą systemu oceny w działaniu 1.2 POPW. Należy mieć na uwadze, że w ramach I

etapu Panel Ekspertów ocenia na poziomie podstawowym zdatność produktów wnioskodawcy do

internacjonalizacji, natomiast głębsze badanie potencjału internacjonalizacji nie jest na tym etapie

możliwe, gdyż po pierwsze ten właśnie aspekt będzie przedmiotem badania w ramach usług doradczych

(wnioskodawca nie musi posiadać w I etapie wiedzy na ten temat), po drugie zaś II etap ma prowadzić do

zwiększenia potencjału internacjonalizacji, który w momencie przystąpienia do II etapu może być jeszcze

niepełny.

Trwają prace nad zmianą systemu oceny w działaniu 1.2 POPW. Dla projektów wybranych na I etapie

przewiduje się, że system zatwierdzenia modelu biznesowego, przy rozliczeniu I etapu, będzie miał

charakter ekspercki, a nie jedynie czysto formalny. Zostały opracowane kryteria, wedle których model

będzie oceniony. Wdrożenie panelu na II etapie w celu badania Modelu Biznesowego związanego z

internacjonalizacją działalności przedsiębiorstwa nie tylko podważałoby sens wcześniejszej oceny tego

dokumentu, ale również wydłużyłby ścieżkę przedsiebiorcy do rozpoczęcia faktycznych działań na rzecz

internacjonalizacji (ocena panelowa trwa dłużej niż niepanelowa).

I kwartał

2017 r.

Trwają prace nad zmianą systemu oceny w działaniu 1.2 POPW. Ocena panelowa na I etapie ma na celu

przede wszystkim weryfikację kompetencji i potencjału wybranej firmy doradczej w realizacji usług

podlegających dofinansowaniu.

7


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

W Regulaminie konkursu: §4 ust. 8. -

sformułowanie „Wnioskodawcy oraz projekty

muszą spełnić kryteria wyboru projektów

obowiązujące dla I Etapu działania (…)” jest nieco

mylące, ponieważ część kryteriów

merytorycznych nie musi być spełniona.


W Regulaminie konkursu: §7 ust. 13. –

sformułowanie „W przypadku, jeżeli w ciągu 2

dni roboczych od dnia uzupełnienia lub

poprawienia wniosku o dofinansowanie w

Generatorze Wniosków wnioskodawca nie złoży

oświadczenia o uzupełnieniu wniosku o

dofinansowanie w Generatorze Wniosków,

wniosek o dofinansowanie zostanie

pozostawiony bez rozpatrzenia i nie będzie

podlegał ocenie lub dalszej ocenie, o czym

wnioskodawca zostanie poinformowany w

formie pisemnej.” jest nieco mylące.


Liczba kryteriów merytorycznych jest

stosunkowo duża, przy czym pewna ich część

(kryteria dotyczące powiązania kooperacyjnego)

mogłaby – bez straty dla skuteczności oceny –

być skomasowana do jednego.


Umiejscowienie we wniosku o dofinansowanie

pola dotyczącego efektów realizacji projektów

(cz. VIII wskaźniki) w części dotyczącej

wskaźników wydaje się mało intuicyjne,

szczególnie w elemencie dotyczącym wpływu

projektu na działalność ponadregionalnego

porozumienia.


Rekomendacje dla Poddziałania 1.3.1 Wdrażanie innowacji przez MŚP

32.

Ujęcie w jednym miejscu we wniosku

wszystkich kwestii związanych z

powiązaniem kooperacyjnym.

Najlepszym do tego miejscem,

pozwalającym jednocześnie na

zachowanie pewnej ciągłości narracji,

byłoby umieszczenie tego pola na

zakończenie bloku XIII. Charakterystyka

ponadregionalnego powiązania

kooperacyjnego, do którego należy

wnioskodawca.

PARP

Modyfikacja

wniosku o

dofinansowani

e.

IV kwartał

2016 r.

Rekomendacja

zatwierdzona w

całości

31.

Zebranie kwestii oceny powiązania

kooperacyjnego do jednego kryterium

(na poziomie definicji) i jednego bloku

we wniosku o dofinansowanie.

PARP

Modyfikacja

liczby i definicji

kryteriów oraz

wniosku o

dofinansowani

e.

IV kwartał

2016 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

IZ POPW

IZ POPW

Rekomendacja

zatwierdzona w

całości

Polska

Wschodnia

Polska

Wschodnia

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

30.

Sugeruje się następującą modyfikację:

„W przypadku, j Jeżeli w ciągu 2 dni

roboczych od dnia uzupełnienia lub

poprawienia wniosku o dofinansowanie

w Generatorze Wniosków

wnioskodawca nie złoży oświadczenia o

uzupełnieniu wniosku o

dofinansowanie w Generatorze

Wniosków, wniosek o dofinansowanie

zostanie pozostawiony bez rozpatrzenia

i nie będzie podlegał ocenie lub dalszej

ocenie, o czym wnioskodawca zostanie

poinformowany w formie pisemnej.”

PARPRegulamin

konkursu.

III/ IV

kwartał

2016 r. (w

miarę

możliwości

przed II

konkursem

dla I etapu

2016 r.)

Rekomendacja

zatwierdzona w

całości

29.

Sugeruje się zmianę na „Wnioskodawcy

oraz projekty muszą spełnić kryteria

formalne oraz w zakresie wymaganego

minimum kryteria merytoryczne

wyboru projektów obowiązujące dla I

Etapu działania (…)”.

PARPRegulamin

konkursu.

III/ IV

kwartał

2016 r. (w

miarę

możliwości

przed II

konkursem

dla I etapu

2016 r.).

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

Polska

Wschodnia

Polska

Wschodnia

IZ POPW

IZ POPW

Rekomendacja

zatwierdzona w

całości

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

nd

nd

nd

nd

8


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

We wniosku o dofinansowanie nie ma jasno

wskazanego (z punktu widzenia członków KOP)

miejsca, w którym zawarta jest informacja,

dotycząca siedziby podmiotu koordynującego

porozumienie kooperacyjnym.


Definicja kryterium merytorycznego projekt

dotyczy inwestycji początkowej zgodnie z

rozporządzeniem KE nr 651/2014 , wprowadza w

błąd sugerując, że wsparcie przeznaczone może

być na wszystkie 4 typy inwestycji początkowej,

podczas gdy ze spotkań informacyjnych wynika,

że inwestycje dotyczyć mogą tylko 2 rodzajów

inwestycji początkowej, pozwalających na

wdrożenie innowacji produktowej.


Brak jest kryterium pozwalającego na weryfikację

jakości i zakresu prac B+R podlegających

wdrożeniu oraz oceny ich przydatności dla

produktu będącego efektem wdrożenia.

Uzupełnienie kryteriów dostępu o

kryterium dotyczące prac B+R, w

którym na podstawie opisu prac B+R

przedstawionego przez Wnioskodawcę,

eksperci ocenialiby czy:

Kryterium merytoryczne dotyczące

dysponowania przez wnioskodawcę prawami do

wyników prac B+R, nie pozwala na weryfikację

powyższych kwestii.

• prace B+R spełniają definicje prac

B+R – przy czym z punktu widzenia

celów programu można będzie na

poziomie kryteriów zaznaczyć, że

dofinansowanie nie będzie

przyznawane na wdrożenie wyników

prac B+R, dotyczących badań

marketingowych, społecznych etc.;


• wyniki prac B+R, które chce wdrażać

wnioskodawca są kluczowe dla

opracowania produktu (towaru lub

usługi), którego dotyczy projekt.

Kryterium dotyczące innowacyjności produktu

zawiera elementy nie związane z oceną

produktu, który ma być opracowany w ramach

projektu.


nd

ndPolska

Wschodnia

Polska

Wschodnia

Polska

Wschodnia

36.

Rezygnacja z oceny kwestii związanych z

rodzajem wdrażanych wyników prac

B+R.

PARP

Modyfikacja

definicji

kryterium.

IV kwartał

2016 r.

System

realizacji

polityki

spójności

IZ POPWRekomendacja

odrzucona

35.

PARP

Modyfikacja

definicji

kryterium.

IV kwartał

2016 r.

Rekomendacja

zatwierdzona w

całości

Rekomendacja

zatwierdzona w

całości

34.

Konieczna jest poprawa definicji

kryterium, poprzez jednoznaczne

wskazanie jakiego typu inwestycje

mogą być dofinansowane w ramach

poddziałania 1.3.1.

PARP

Modyfikacja

definicji

kryterium.

IV kwartał

2016 r.

Rekomendacja

zatwierdzona w

całości

33.

W tabeli, w której wylistowane mają

być podmioty wchodzące w skład

powiązania kooperacyjnego, można

zaznaczyć, że w pierwszym rzędzie

należy wpisać nazwę podmiotu

koordynującego.[1]

PARP

Modyfikacja

wniosku o

dofinansowani

e.

IV kwartał

2016 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

IZ POPW

IZ POPW

IZ POPW

Polska

Wschodniand

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

Rezygnacja z oceny kwestii związanych z rodzajem wdrażanych wyników prac B+R spowoduje mniejszą

wartość dodaną interwencji, której celem jest wzrost innowacyjności i pośrednio wzrost nakładów na

prace B+R przedsiębiorstw z Polski Wschodniej. Zatem rekomendacja nie jest zgodna z przyjętą logiką

interwencji w poddziałaniu.

9


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

Jednym z kluczowych aspektów oceny

innowacyjności produktu powinna być

jakościowa ocena, która obecnie przewidziana

jest na poziomie oceny produktu pod względem

jego użyteczności dla klientów oraz

konkurencyjności, w stosunku do innych

dostępnych produktów.

Definicja kryterium dotyczącego potencjału

rynkowego produktu będącego efektem

projektu, pozwala na przyznawanie punktów

elementom, które z logicznego punktu widzenia

powinny się wykluczać.

Proponujemy, aby w kolejnych

konkursach doprecyzować zapisy tego

kryterium i/lub zmienić sposób jego

oceny.


Wariant 1. Po pierwsze na poziomie

definicji warto zaznaczyć, że

poszczególne podpunkty oceniane będą

również w relacji do informacji

zawartych w innych podpunktach (np.

kwestie właściwego określenia potrzeb

klientów będą rozpatrywane w

powiązaniu z tym czy sam rynek

docelowy został właściwie

zidentyfikowany i zdefiniowany)

Wariant 2. Dalej posuniętą zmianą,

którą warto rozważyć, będzie zmiana

podejścia do oceny kryterium, w której

punkty przyznawane byłyby w

odniesieniu do ogólnej oceny całego

kryterium/potencjału rynkowego

produktu, a nie poszczególnych

podpunktów.

Na poziomie oceny widoczne były pewne

problemy z oceną rzetelności informacji

dotyczących zapewnienia finansowania projektu

z zewnętrznych źródeł (kryterium wnioskodawca

zapewnia finansowanie projektu).

Na poziomie kryteriów i wytycznych dla

oceniających należy:


• Wskazać, że dokumenty

poświadczające możliwość

sfinansowania projektu ze środków

zewnętrznych (promesy etc.) muszą być

ważne w dniu zamknięcia naboru, a

przed podpisaniem umowy konieczne

jest wskazanie aktualnych zaświadczeń.

nd

nd39.

PARP

Modyfikacja

definicji

kryterium i

wytycznych dla

oceniających.

IV kwartał

2016 r.

38.

PARP

Polska

Wschodnia

Polska

Wschodnia

Polska

Wschodnia

Rekomendacja

zatwierdzona w

całości

nd

Modyfikacja

definicji

kryterium.

IV kwartał

2016 r.

Rekomendacja

zatwierdzona w

całości

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

IZ POPW

IZ POPW

Rekomendacja

programowa -

operacyjna.

37.

Proponujemy zwiększenie wagi tych

elementów (m.in. przez wspomnianą

powyżej rezygnację z oceny charakteru

wdrażanych wyników prac B+R).

PARP

Modyfikacja

definicji

kryterium.

IV kwartał

2016 r.

Rekomendacja

zatwierdzona w

całości

System

realizacji

polityki

spójności

IZ POPW

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

10


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

• Określić jakiego typu zaświadczenia

dostępności zewnętrznych źródeł

finansowania będą brane pod uwagę

(np. czy mogą to być promesy

warunkowe, dla których

zabezpieczeniem jest lokata).

Kryterium merytoryczne projekt ma pozytywny

wpływ na działalność gospodarczą członków

ponadregionalnego powiązania kooperacyjnego ,

ma małe znaczenie dla wyboru najlepszych

projektów. Mimo przykładów zawartych w

definicji, wydaje się również mało zrozumiałe dla

wnioskodawców.


Definicja kryterium merytorycznego dostępu,

dotyczącego inwestycji początkowej, wprowadza

w błąd i może prowadzić do analogicznych

problemów jakie wystąpiły w Poddziałaniu 1.3.1.


Kryterium dotyczące prognozy finansowej (nr 9)

może powodować podobne problemy jak w

poddziałaniu 1.3.1 (problem z właściwym

wyliczeniem NPV).


W kryterium dotyczącym kwalifikowalności,

racjonalności i uzasadnienia wydatków w

projekcie (nr 10) zastosowano nieco

nieprecyzyjne zapisy dot. Sposobu oceny i

przyznawania punktów.


Rekomendacje dla Poddziałania 1.3.2 Tworzenie sieciowych produktów przez MŚP

Kryterium jest uzasadnione z punktu widzenia przyjętej logiki interwencji. Cel podziałania 1.3.1 to

wzmacnianie powiązań kooperacyjnych poprzez wsparcie MSP wchodzących w ich skład w zakresie

zdolności do realizowania procesów innowacyjnych. Wartością pożądaną w zakresie wsparcia jest

pozytywne, dodane oddziaływanie wyników projektu na pozostałych członków powiązania.

W przypadku poddziałania 1.3.2 powstaje produkt o charakterze sieciowym i nie powstaje on na poziomie

jednego podmiotu. Na ten produkt składają się inwestycje realizowane przez poszczególne podmioty,

zatem wskazanie typów inwestycji możliwych do dofinansowania w tym poodziałaniu nie jest właściwa.

Rekomendacja

zatwierdzona w

całości

nd

Rekomendacje dla Działania 1.4 Wzór na konkurencję – etap I

43.

Należy doprecyzować zapisy. PARP

Modyfikacja

definicji

kryterium.

IV kwartał

2017 r.

Rekomendacja

zatwierdzona w

całości

42.

PARP

Modyfikacja

definicji

kryterium.

IV kwartał

2016 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

Polska

Wschodnia

Polska

Wschodnia

IZ POPW

IZ POPW

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

41.

Konieczna jest poprawa definicji

kryterium, poprzez jednoznaczne

wskazanie jakiego typu inwestycje

mogą być dofinansowane w ramach

poddziałania 1.3.2.

PARP

Modyfikacja

definicji

kryterium.

IV kwartał

2017 r.

Rekomendacja

odrzucona

40.

Rezygnacja z kryterium i ewentualne

uwzględnienie kwestii znaczenia

produktu będącego efektem projektu

dla powiązania kooperacyjnego w

ocenie innowacyjności produktu (jako

kolejny element tego kryterium).

PARP

Modyfikacja

definicji

kryterium.

IV kwartał

2016 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

IZ POPW

IZ POPW

Polska

Wschodnia

Polska

Wschodnia

Rekomendacja

odrzucona

Rekomendacja

programowa -

operacyjna.

Rekomendacja

programowa -

operacyjna.

nd

11


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

Skala ocen w ramach kryterium merytorycznego

nr 1, dotyczącego posiadania przez

wnioskodawcę odpowiedniej wiedzy,

pozwalającej na realizację projektu,

sprecyzowanych oczekiwań, co do rezultatów

audytu oraz determinacji do wdrażania działań z

niego wynikających, nie pozwala na odpowiednie

różnicowanie ocen dla różnego rodzaju

wnioskodawców.



wydatków kwalifikowanych, zostało

sformułowane w sposób niejednoznaczny,

utrudniający jego spójną ocenę.



potencjału i doświadczeń wykonawcy może

budzić pewne wątpliwości, jeżeli chodzi o

definicję branży (w której wykonawca dysponuje

odpowiednim doświadczeniem), a zastosowana

skala ocen nie pozwala na odpowiednie ich

różnicowanie dla różnego typu wykonawców.

(Zob. Raport str. 93)


wskaźników projektu, nie powinno należeć do

grupy kryteriów merytorycznych, ze względu na

fakt, że wskaźniki są wyznaczane w sposób

automatyczny.


47.

Przeniesienie kryterium

merytorycznego nr 6, dotyczącego

wskaźników do grupy kryteriów

formalnych.

PARP

Przeniesienie

kryterium do

grupy

kryteriów

merytorycznyc

h.

III kwartał

2016 r.

45.

Kryterium merytoryczne nr 3 „Wydatki

w ramach projektu są kwalifikowalne,

racjonalne i uzasadnione” należałoby

sformułować w następujący sposób

„Wydatki nie są racjonalne lub wydatki

są nieuzasadnione lub oceniający

dokonali korekty wydatków

kwalifikowalnych powyżej progu

procentowego określonego w

Regulaminie Komisji Oceny Projektów”,

co pozwoli na uniknięcie niejasności w

jego ocenie.

PARP

Zmiana

brzmienia

kryterium.

III kwartał

2016 r.

Rekomendacja

zatwierdzona

częściowo

(wdrożona)

Rekomendacja

zatwierdzona w

całości

(wdrożona)

nd

nd

Rekomendacja

zatwierdzona

częściowo

(wdrożona)

46.

Proponujemy, aby pojęcia branża

rozumieć w sposób zbliżony do

poziomu działu Polskiej Klasyfikacji

Działalności, czyli branżą byłaby na

przykład produkcja artykułów

spożywczych (Dział 10) lub działalność

wydawnicza (Dział 58). Warto też

rozszerzyć skalę oceny w ramach

kryterium merytorycznego 5, tak, aby

kryterium to było oceniane w skali 0-2

lub nawet 0-3, przy zachowaniu

minimalnej akceptowalnej oceny na

poziomie 1. Uzasadnieniem takiej

propozycji jest umożliwienie większego

zróżnicowania oceny potencjału

wykonawców przez osoby oceniające.

PARP

Uzupełnienie

uszczegółowie

nia kryterium

merytoryczneg

o 5,

rozszerzenie

skali ocen.

III kwartał

2016 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

Polska

Wschodnia

Polska

Wschodnia

IZ POPW

IZ POPW

Rekomendacja

programowa -

operacyjna

Rekomendacja

programowa -

operacyjna.

Rekomendacja

zatwierdzona w

całości

(wdrożona)

44.

W przypadku tego kryterium

merytorycznego można rozważyć

poszerzenie skali ocen do zakresu 0-3

lub nawet 0-4 punktów, w celu

zróżnicowania oceny dla różnych

wnioskodawców i przedkładanych

projektów.

PARP

Zmiana skali

ocen dla

kryterium.

III kwartał

2016 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

Polska

Wschodnia

Polska

Wschodnia

IZ POPW

IZ POPW

Rekomendacja

programowa -

operacyjna

Rekomendacja

programowa -

operacyjna

Zmieniono skalę punktową dla kryterium Wskazany wykonawca posiada potencjał niezbędny do

należytego świadczenia usług oraz zapewnia ich realizację przez osoby posiadające niezbędne kwalifikacje -

w ramach tego kryterium wnioskodawca może otrzymać 0 ,1 ,2 lub 3 punkty. Natomiast definicja branży

nie została doprecyzowana gdyż wprowadzenie kodów PKD mogłoby skomplikować rozumienie kryterium.

Jednocześnie w ramach przeprowadzonego konkursu nie było żadnych zgłoszeń od wnioskodawców,

wykonawców i oceniających ekspertów, że kwestia branż jest niezrozumiała bądź problematyczna.

Kryterium dot. wskaźników na etapie oceny merytorycznej nie różnicowało punktacji projektów ponieważ

ich wartości wynikały z założeń działania ( np. opracowanie strategii wzorniczej), zatem nie było potrzeby

pozostawienia go ani na etapie oceny merytorycznej, ani na etapie oceny formalnej. Kryterium zostało

usunięte.

12


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

Należy rozważyć rezygnację z kryterium

merytorycznego nr 7 (poziom bezrobocia w

powiecie, w którym zlokalizowany jest projekt),

jako mającego kluczowy wpływ na wybór

projektów, a słabo związanego z logiką

interwencji.


We wniosku o dofinansowanie część poświęcona

opisowi doświadczeń wykonawcy była

stosunkowo ograniczona, co utrudniało ocenę.


Pojęcie wzornictwa, a także audytu wzorniczego i

strategii wzorniczej nie były do końca jasne, a ich

definicje powinny zostać dopracowane i

rozwinięte.

Doprecyzowanie i uszczegółowienie

definicji wzornictwa i działań

wzorniczych w kontekście realizacji tego

Działania, podając jednocześnie

odpowiednie przykłady pozytywne i

negatywne (co na pewno można

zaliczyć do wzornictwa, a co na pewno

wzornictwem nie jest)”.

(Zob. Raport - str. 89)Doprecyzowanie pojęć audytu

wzorniczego i strategii wzorniczej.

Kluczowe znaczenie w ramach prezentacji

powinny mieć plany i determinacja

wnioskodawcy oraz doświadczenia i plany

wykonawcy, na tych kwestiach powinna się

koncentrować prezentacja podczas panelu

ekspertów. Wykonawca powinien mieć

formalnie umożliwione przedstawienie swego

doświadczenia podczas prezentacji.


Rekomendacja

programowa -

operacyjna

49.

Należy rozważyć poszerzenie we

wniosku opisu wykonawcy i jego

doświadczeń.

PARP

Poszerzenie

wniosku o

bardziej

szczegółowy

opis

doświadczeń

wykonawcy.

III kwartał

2016 r.

48.

Usunięcie kryterium merytorycznego nr

7.PARP

Usunięcie

kryterium.

III kwartał

2016 r.

W ramach Etapu I działania nie ma działań stricte wzorniczych. Są działania związane z audytem

wzorniczym i strategią. Definicje tych pojęć znajduą się w regulaminie konkursu, a w dotychczasowych

naborach nie było problemu z ich rozumieniem przez wnioskodawców.

IZ POPW

IZ POPW

IZ POPW

Rekomendacja

zatwierdzona w

całości

(wdrożona)

Polska

Wschodnia

Rekomendacja

odrzucona

Rekomendacja

zatwierdzona

częściowo

(wdrożona)

Rekomendacja

zatwierdzona w

całości

(wdrożona)

IZ POPW

System

realizacji

polityki

spójności

nd

nd51.

Ograniczenie zakresu prezentacji do

kryteriów merytorycznych 1 i 5,

formalne umożliwienie realizacji części

prezentacji przez przedstawiciela

wykonawcy i jej koncentracja na celach

projektu i korzyściach z niego płynących

dla wnioskodawcy, a także skrócenie

samej prezentacji i zwiększenie czasu na

zadawanie pytań.

PARP

Zmiana

regulaminu

konkursu i

uwzględnienie

wspomnianych

zmian.

III kwartał

2016 r.

50.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

Polska

Wschodnia

Polska

Wschodnia

Polska

WschodniaPARP

Uzupełnienie

instrukcji

wypełniania

wniosku o

bardziej

szczegółowe i

opatrzone

stosownymi

przykładami

opisy i definicje

pojęcia

wzornictwa, a

także audytu

wzorniczego i

III kwartał

2016 r.

Rekomendacja

programowa -

operacyjna

Rekomendacja

programowa -

operacyjna

Rekomendacja

programowa -

operacyjna

Rekomendacje dla Działania 1.4 Wzór na konkurencję – etap II

Zgodnie z opinią ewaluatorów waga tego kryterium była zbyt wysoka i stąd wynikała rekomendacja

usunięcia kryterium. W obecnie przyjętych kryteriach oceny projektów dla Etapu I działania waga

punktowa innnych kryteriów została rozszerzona przy zachowaniu możliwości uzyskania maksymalnie 1

punktu w kryterium nr 7. Waga tego kryterium została więc znacząco obniżona. Jednocześnie w kryteriach

oceny musi być wprowadzone kryterium umożliwiające ułożenie listy rankingowej wniosków dla

projektów o jednakowym poziomie merytorycznym.

13


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

Konstrukcja etapu II zakłada, że olbrzymia

większość projektów, która była realizowana w

ramach etapu I i które zostały rozliczone, a

opracowana strategia została zaakceptowana

przez PARP, powinna łatwo otrzymać

finansowanie w ramach II etapu. Oznacza to

zatem kluczową rolę procesu akceptowania

opracowanych strategii wzorniczych.


Zaproponowane przejście z tradycyjnej

(papierowej) formy wysyłania próśb o

uzupełnienie wniosku na formę elektroniczną

należy ocenić korzystnie, z drugiej jednak strony

ze względu na ograniczenia związane z

komunikacją elektroniczną może to prowadzić

do niejasności i nieporozumień.

(Zob. Raport - str. 95)Niezbędna jest ocena wnioskodawcy (jego

kwalifikowalności na etapie II). Powtórzenie tej

oceny jest niezbędne ponieważ od momentu

składania wniosków w ramach etapu I, do

momentu składania wniosków w etapie II, może

upłynąć dłuższy czas (szacunkowo od 10 do 14

miesięcy) i w tym okresie charakterystyki

wykonawcy (zarówno jego status - firma

należąca do sektora MŚP i nie mająca takiego

charakteru - jak i brak wykluczenia z możliwości

uzyskania wsparcia w ramach Działania 1.4

POPW) mogą ulec zmianie.

Rekomendacja

programowa -

operacyjna.

Kryterium specyficzne 1 Wnioskodawca

prawidłowo wykorzystał pomoc finansową

otrzymana w ramach I etapu działania 1.4

POPW powinno zostać odmiennie

sformułowane. , aby dla wszystkich aplikujących

firm było jasne, że wnioski w ramach II etapu

mogą składać tylko firmy, które skorzystały z

etapu I i prawidłowo wykorzystały pomoc

finansową, a ich strategia wzornicza została

zatwierdzona przez PARP.

Rekomendacja

programowa -

operacyjna

Warto rozważyć opracowanie wewnętrznych

zaleceń, dotyczących zasad przyjęcia oceny

opracowanych strategii.


Rekomendacja

programowa -

operacyjna

Rekomendacja

programowa -

operacyjna

Rekomendacja

programowa -

operacyjna

nd

Rekomendacja

odrzucona

Rekomendacja

zatwierdzona w

całości

Polska

Wschodnia

Rekomendacja

zatwierdzona w

całości

Rekomendacja

zatwierdzona

częściowo

(wdrożona)

IZ POPW

Rekomendacja

zatwierdzona w

całości

IZ POPW

IZ POPW

III kwartał

2016 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

IZ POPW

IZ POPWPolska

Wschodnia

Polska

Wschodnia

System

realizacji

polityki

spójności

W etapie II działania uwzględnione są kryteria formalne praktycznie tożsame z kryteriami w etapie I.

nd53.

Przy realizacji procesu wysyłania próśb

o uzupełnienie wniosku, zachowanie

rozsądnej równowagi pomiędzy

sprawnością procesu oceny i

respektowaniem praw wnioskodawców

oraz unikaniem ryzyka składania

odwołań (kwestia formy występowania

o uzupełnienia i wyjaśnienia).

PARP

Opracowanie

systemu

sprawdzania i

potwierdzania,

czy dane

pismo, wysłane

drogą

elektroniczną,

dotarło do

adresata.

III/IV

kwartał

2016 r.

System

realizacji

polityki

spójności

System

realizacji

polityki

spójności

Polska

Wschodnia

Polska

Wschodnia

52.

Położenie nacisku na szczegółową

ocenę opracowanych w ramach I etapu

strategii wzorniczych z rozważeniem

wykorzystania zewnętrznych

ekspertów, wspomagających w tej

sferze pracowników PARP.

PARP

Opracowanie i

wdrożenie

zasad oceny

strategii

wzorniczych z

udziałem

zewnętrznych

ekspertów.

IV kwartał

2016 r.

54.

Ocena wnioskodawcy według kryteriów

formalnych wnioskodawcy z etapu I.PARP

Dodanie

kryterium.

III kwartał

2016 r.

56.

Opracowanie wewnętrznych zaleceń,

dotyczących zasad przyjęcia oceny

opracowanych strategii.

PARPOpracowanie

zaleceń.

IV kwartał

2016 r.

55.

Ewentualnie, można je sformułować

następująco: „Wnioskodawca

realizował projekt w ramach I etapu

Działania 1.4 POPW i prawidłowo

wykorzystał otrzymaną pomoc

finansową, a jego strategia wzornicza

została zatwierdzona przez właściwą

Instytucję Pośredniczącą”.

PARPZmiana nazwy

kryterium.

Informacja o tym, że wnioskodawcą w etapie II może być wyłacznie przedsiębiorca, który prawidłowo

zrealizował projekt w etapie I znajduje się w opisie kryterium specyficznego nr 1 oraz w regulaminie

konkursu. Nie ma zatem potrzeby zmiany nazwy przedmiotowego kryterium.

nd

14


rekomendacji

Sposób

wdrożenia

Termin

wdrożenia

(kwartał)

Klasa

rekomendacji

Obszar

tematyczny

Program

Operacyjny

Instytucja

zlecająca

badanie

Bazowy status

rekomendacji

stan na 30

września 2016 r.



Lp.

W ocenie strategii wzorniczych warto byłoby

skorzystać z pomocy zewnętrznych ekspertów,

specjalistów od działań wzorniczych, najlepiej

osób doświadczonych w pracach Komisji Oceny

Projektów.


STATUS rekomendacji rekomendacja zatwierdzona w całości – rekomendacja, która została zaakceptowana do wdrożenia w całości i działania wdrożeniowe jeszcze się nie rozpoczęły,

rekomendacja zatwierdzona częściowo – rekomendacja, która została zaakceptowana do wdrożenia w części, i działania wdrożeniowe jeszcze się nie rozpoczęły,

rekomendacja zatwierdzona w całości (realizowana) – rekomendacja, która została zaakceptowana do wdrożenia w całości i działania wdrożeniowe jeszcze trwają,

rekomendacja zatwierdzona częściowo (realizowana) – rekomendacja, która została zaakceptowana do wdrożenia w części, i działania wdrożeniowe jeszcze trwają,

rekomendacja zatwierdzona w całości (wdrożona) – rekomendacja, która została zaakceptowana do wdrożenia w całości i działania wdrożeniowe już zakończono,

rekomendacja zatwierdzona częściowo (wdrożona) – rekomendacja, która została zaakceptowana do wdrożenia tylko w części i działania wdrożeniowe już zakończono,

rekomendacja odrzucona – rekomendacja, która została całkowicie odrzucona.

Rekomendacja

programowa -

operacyjna

Polska

Wschodnia

Rekomendacja

zatwierdzona w

całości

IZ POPW

System

realizacji

polityki

spójności

57.

Skorzystanie z pomocy zewnętrznych

ekspertów przy ocenie strategii

wzorniczych.

PARP

Zaangażowanie

ekspertów

zewnętrznych .

IV kwartał

2016 r.nd

nd - nie dotyczy, bo zgodnie z pkt. 3.4.2 Wytycznych w zakresie ewaluacji polityki spójnosci na lata 2014-2020 , uzasadnienia wymaga rekomendacja odrzucona lub częściowa.

15

Ewaluacja systemu wyboru projektów w Programie Operacyjnym … · 2016-10-14 · 2 „Ewaluacja...

Documents

Transcript of Ewaluacja systemu wyboru projektów w Programie Operacyjnym … · 2016-10-14 · 2 „Ewaluacja...