Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

1

Komentarz do projektu Małopolskiego Instytutu Kultury:

Poprawa jakości gromadzenia danych – o publicznych i niepublicznych instytucjach kultury w

Polsce

Marcin Śliwa, Mazowiecki Instytut Kultury

Kaja Dziarmakowska, Pracownia Badań i Innowacji Społecznych „Stocznia”

KULTURALNA EWALUACJA – JAK I DLACZEGO EWALUOWAĆ PROJEKTY KULTURALNE?

Refleksje na podstawie trzech lat obecności

Mazowieckiego Centrum Kultury i Sztuki w Szydłowcu

I. Wprowadzenie

Artykuł, który macie Państwo przed sobą, powstał w ramach projektu Małopolskiego Instytutu

Kultury (MIK) pt. Poprawa jakości gromadzenia danych o publicznych i niepublicznych

instytucjach kultury w Polsce, finansowanego z grantu Ministerstwa Kultury i Dziedzictwa

Narodowego (MKiDN) w ramach programu Obserwatorium kultury. W projekcie wzięli udział

m.in. przedstawiciele Mazowieckiego Instytutu Kultury: Agata Roman oraz niżej podpisany, by

podzielić się doświadczeniami w zakresie ewaluacji projektów edukacyjnych i animacyjnych.

Poniższy artykuł, będący częścią projektu, powstał we współpracy z Kają Dziarmakowską,

niezależną ekspertką specjalizującą się w ewaluacji projektów edukacyjnych. Współpracuje ona

z Pracownią Badań i Innowacji Społecznych „Stocznia”, która na zlecenie MKiDN opracowała

ogólnodostępne narzędzia ewaluacyjne dla projektów edukacji kulturalnej1.

Uznaliśmy, że warto skonfrontować doświadczenie praktyczne z wiedzą teoretyczną i

dodatkowo zakotwiczyć wspólny namysł w konkretnym projekcie, a właściwie trzyletnim

1 http://www.mkidn.gov.pl/pages/strona-glowna/finanse/programy-ministra/programy-mkidn-

2014/edukacja/edukacja-kulturalna.php

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

2

eksperymentalnym i interdyscyplinarnym programie edukacyjno-artystyczno-animacyjnym

Mazowieckiego Centrum Kultury i Sztuki (MCKiS; obecnie Mazowiecki Instytut Kultury) w

Szydłowcu na południowym Mazowszu2. Rozmawialiśmy, analizowaliśmy obszerną

dokumentację foto, video, teksty, debaty, które narosły wokół projektu. Postanowiliśmy skupić

się na barierach w ewaluacji projektów animacyjnych i edukacyjnych. Efekty przedstawiamy

Państwu poniżej.

Marcin Śliwa

II. Witajcie w raju – niszczycielskie polowanie na autentyczność

Podróżowanie bywa niemoralne. Kiedyś – w czasach, gdy kolonizacji poddano pół świata – było

to może bardziej jaskrawe, oczywiste. Dziś o masowej turystyce uzależniającej lokalne

społeczności od kapryśnego ruchu turystycznego mówi się, że jest kolonizacją w białych

rękawiczkach. Pragnienie odkrywania nowych miejsc i kultur, zanurzania się w nieznanym

rytmie, obcowania z autentycznością, to z pozoru czyste i nieszkodliwe motywy. Można by wręcz

powiedzieć, że dzięki takim doświadczeniom przenikają się kultury, budują nowe więzi, a świat

staje się miejscem lepszym i bardziej sprawiedliwym. Cóż, kiedy podróżowanie bez głębszej

refleksji prowadzi (en masse i w uproszczeniu) do podporządkowywania kolejnych miejsc

dyktatowi paru sieci hotelarskich…

Jak daleka jest „chęć poszerzania pola kultury” od napędzającego podróżnika „apetytu

odkrywcy”? Czy rezydencje i tzw. loty do lokalnych społeczności, niewielkich domów kultury,

gminnych bibliotek, prywatnych muzeów to działania służące odwiedzanym czy odwiedzającym?

Pytanie o to, jakie konsekwencje przynoszą wizyty animacyjne w lokalnych społecznościach oraz

– szerzej – jakie są faktyczne efekty działań prowadzonych w ramach edukacji kulturalnej,

bardzo często wybija się na pierwszy plan dyskusji o tego rodzaju przedsięwzięciach.

2 Materiały zostały zebrane na stronie: www.ciecie.org [dostęp: 20.12.2015].

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

3

W debacie Pułapki partycypacji 3, pomyślanej jako dynamiczny komentarz do filmów

4xDudziarska i Szydłowiec, które zrealizowano w związku z działaniami MCKiS w 2012 r., wątek

„kolonizacyjny” wybija się bardzo wyraźnie, a rozmowa ogniskuje się wokół obawy o dalszy los

„obudzonych” i czystość motywacji edukatorów. W związku z trzyletnią obecnością MCKiS w

Szydłowcu nieraz padały pytania o ostatecznych beneficjentów sytuacji aranżowanej przez

edukatorów (podobnie zresztą dzieje się przy okazji wielu innych przedsięwzięć animacyjnych

czy edukacyjnych, niezależnie od ich skali, zwykle znacznie mniejszej niż w omawianym

przypadku):

Kiedy i pod jakimi warunkami można mówić o wspieraniu kapitału społecznego, a kiedy

prowadzone działania są eksploatowaniem lokalnej społeczności na zewnętrzny użytek?

Czy korzyści czerpane przez instytucje prowadzące działalność kulturalną są z gruntu złe i

niemoralne? Czy możliwa jest sytuacja, w której obie strony relacji stoją po wygranej

stronie?

Gdzie kończy się odpowiedzialność edukatora za społeczność/instytucję, w której za

sprawą jego działań miała się dokonać zmiana?

Wzmożona uważność, szacunek, empatia to bezwzględnie prawidłowe, choć może naiwnie

brzmiące rozwiązania powyższych dylematów. Za praktyczny wariant tych romantycznych

postulatów należałoby uznać aktywne zainteresowanie efektami działań animacyjnych –

ewaluację.

III. Odkładanie na jutro – o praktykach ewaluacyjnych w projektach edukacji kulturalnej

Współpraca z edukatorami i animatorami przy ewaluacji ich projektów pozwala się domyślać, że

postrzegają oni ewaluację jako pożądany element działań – planują, że kiedyś na pewno warto

się za to zabrać na poważnie i solidnie, poświęcić środki i czas, może zaprosić specjalistę. Kiedyś

tak, tym razem trzeba będzie jeszcze polegać na własnym osądzie. Gorzej, gdy pojawi się

potrzeba udokumentowania projektu w sprawozdaniu. To wówczas zaczynają krążyć naprędce 3 „Pułapki partycypacji” – debata wokół filmów „4xDudziarska” oraz „Szydłowiec”, 08.10.2012, [online:]

http://www.ciecie.org/pulapki-partycypacji-debata-wokol-filmow-4xdudziarska-oraz-szydlowiec/ [dostęp: 20.12.2015].

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

4

tworzone ankiety, wówczas zlicza się głowy na listach obecności, cytuje okolicznościowe notki

pojawiające się w lokalnej prasie... Inaczej mówiąc, podejmuje się spory wysiłek, którego

efektem jest produkowanie wiedzy dość powtarzalnej (zwłaszcza z perspektywy osoby czytającej

raporty spływające pod koniec okresu sprawozdawczego od beneficjentów programów), a przy

tym, niestety, powierzchownej i budzącej spore wątpliwości co do obiektywizmu sprawozdawcy.

Trudno podjąć na tej podstawie decyzję o dalszym losie programów, z których finansowane są

projekty, trudno dobrać właściwe elementy wsparcia, trudno promować dobre praktyki, służyć

głosem doradczym. Z kolei dla realizatorów projektów kulturalnych ewaluacja na potrzeby

sprawozdania dla grantodawcy to tylko formalny i zwykle przykry obowiązek, który nie niesie

realnej korzyści (np. w postaci uzyskania istotnych informacji o funkcjonowaniu elementów

projektu). W takim wydaniu ewaluowanie się oznacza dopełnienie biurokratycznych wymogów,

a treść ewaluacji jest nastawiona na spełnienie wyobrażonych oczekiwań grantodawcy, a nie na

zaspokojenie ciekawości autora projektu.

Nie dziwi wobec tego, że w najbardziej popularnym scenariuszu myślenie o ewaluacji pojawia

się w projektach edukacji kulturalnej jako ostatni akord, który ma wieńczyć i spinać działania.

Ma się zacząć w zasadzie już „po wszystkim”, gdy ważne (i ciekawe) rzeczy zostaną zrobione, gdy

będzie czas na oddech i pomyślenie o rzeczach nawet jeśli istotnych, to przecież

drugoplanowych. Jak ewaluacja właśnie. Niestety, w takim momencie nakładają się na siebie

ryzyka z bardzo różnych „życiowych” obszarów. Najbardziej banalną, ale niemożliwą do

pokonania czy zignorowania przeszkodą jest brak czasu. Otóż koniec projektu oznacza, cóż, jego

koniec właśnie. Kończą się pieniądze na wynagrodzenia dla realizatorów, pojawia się

konieczność wprawiania w ruch kolejnych przedsięwzięć, zespół zaczyna się rozglądać za

nowymi aktywnościami. Najwyższy poziom osiąga też znużenie – zwykłe, wstydliwe, ale bardzo

ludzkie zmęczenie tematem. Motywacja do kolejnych, a skądinąd właściwie niekoniecznych,

nadmiarowych działań w projekcie nie mogłaby być niższa. Wydaje się, choć trudno mówić o

tym głośno, że z tego rodzaju wypaleniem zmaga się wielu edukatorów. Działania animacyjne są

z natury bardzo angażujące, często przez wiele miesięcy żyje się intensywnie, jakby nieswoim

życiem, czasem faktycznie z dala od domu, w innym miejscu, wśród innych, nagle bliskich ludzi.

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

5

Po takim doświadczeniu trudno spojrzeć na wszystko z dystansu. Przypadek obecności MCKiS w

Szydłowcu pokazuje, że im wyższa intensywność działań, im dłuższe zaangażowanie, tym więcej

czasu może wymagać decyzja o „powrocie ewaluacyjnym”. Bo choć zamiary ewaluacyjne

towarzyszyły działaniom podejmowanym na miejscu, były to raczej luźne intencje niż konkretne

plany i siłą rzeczy nigdy nie stały się one meritum aktywności. Nie mogąc konkurować z

bieżącymi wydarzeniami, miały się wydarzyć później, co w praktyce zaowocowało odsunięciem

ewaluacji w czasie na – jak się obecnie wydaje – co najmniej rok od zakończenia działań

animacyjnych w Szydłowcu. Na szczęście w trakcie trzyletniej obecności zebrano wiele

materiałów, które mogą stanowić dobrą, bogatą i bardzo różnorodną podstawę do ewaluacji,

nawet tak odsuniętej w czasie. W przypadku wielu projektów taka dokumentacja jednak w ogóle

nie powstaje, co znacznie utrudnia odtworzenie realiów projektu i zewaluowanie go w

późniejszym terminie4.

IV. Zmiana akcentów – jak przeorientować myślenie o ewaluacji?

Choć z różnych stron słychać głosy o pojawieniu się mody na ewaluację, biurokratyczne odium

nie sprzyja zmianie paradygmatu ewaluacyjnego przyjętego w wielu instytucjach. Studiując

raporty z ewaluacji, można odnieść wrażenie, że musi być to przedsięwzięcie poważne, na

odpowiednim poziomie naukowego zaawansowania, odwołujące się do statystyk, operujące

językiem liczb i wykresów. Umacniać taki wizerunek mogą także opisy, takie jak ten ze strony

Polskiego Towarzystwa Ewaluacyjnego, gdzie ewaluacja przedstawiana jest jako:

ocena wartości projektu z zastosowaniem określonych kryteriów w celu jego

usprawnienia, rozwoju lub lepszego rozumienia;

zbieranie, analiza oraz interpretacja danych na temat znaczenia i wartości projektu przy

zwróceniu uwagi na zagadnienia istotne dla zainteresowanych;

4 Ewaluacja ex post jest opisywana w literaturze przedmiotu, funkcjonuje też powszechnie w rzeczywistości

projektowej, jednak powyższe argumenty pokazują, że jest to przedsięwzięcie obarczone ryzykiem – nie zawsze bowiem udaje się dotrzeć do materiałów i osób pozwalających dokonać pełnej i pogłębionej ewaluacji już po zakończeniu działań w projekcie.

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

6

ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności projektu w

kontekście założonych celów, porównywanie rezultatów projektu ze wstępnymi

zamierzeniami5.

Aby nieco uprościć sprawę, w najogólniejszym ujęciu można jednak powiedzieć, że ewaluacja to

proces pozwalający na sprawdzenie, czy w projekcie zrobiono wszystko, by zrealizować

zamierzenia stojące za podjętymi działaniami. Ewaluacja to nie audyt i nie rozliczenie

realizatorów z wykonanych zadań. Jej funkcją nie jest sprawowanie kontroli, ale refleksja,

głębokie zastanowienie się nad sensem projektu, nad jego faktycznym wpływem na otoczenie.

Sednem ewaluacji jest próba zrozumienia, co takiego zadziało się pod wpływem naszych

oddziaływań, czy coś drgnęło? Coś się zmieniło? Czy tak właśnie miało być?

Powinna być ponadto, jak postulują autorzy poradnika Ewaluacja, jak to się robi?6, procesem

samokształcenia, wobec czego próby scedowania tej części pracy nad projektem na

zewnętrznych specjalistów mijają się z celem. Mądra ewaluacja nigdy nie wydarzy się bez

udziału zespołu projektu. Naprawdę i niezależnie od tego, jak wiele osób czytając te słowa,

prycha z rozdrażnieniem albo wręcz odczuwa chęć ucieczki. Na szczęście zaangażowanie

autorów i realizatorów projektu w działania ewaluacyjne nie musi być procesem bolesnym.

Dobra ewaluacja powinna respektować naturę projektu, pasować do niego jak szyty na miarę

garnitur. Tragiczne przypadki ankietowania uczestników spektakli teatralnych w momencie

największych wzruszeń albo równie dramatyczne odpytywanie rodziców z tego, „co pomyślały

ich dzieci”, to nie ewaluacja, tylko pusty rytuał, bez większych szans na wartościowe wnioski.

Innymi słowy, ewaluacja, aby dostarczać rzetelnej wiedzy o projekcie, musi być do niego

adekwatna, i to pod wieloma względami. Musi uwzględniać metody pracy. Rozmiary i budżet

projektu. Jego kalendarz. Specyfikę zespołu i uczestników. A wreszcie – musi dawać możliwość

prześledzenia wpływu projektu na jego otoczenie.

5 http://www.pte.org.pl/index.php/o-ewaluacji/czym-jest-ewaluacja, dostęp: 29.12.2014

6 Poradnik do pobrania: http://stocznia.w1.laboratorium.ee/publikacje-stoczni/, dostęp: 29.12.2014

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

7

Odwołując się bezpośrednio do doświadczeń z realizacji projektów podczas obecności MCKiS w

Szydłowcu, można opisać pożądaną ewaluację także jako taką, która wspierałaby realizatorów

już w trakcie programu, pozwalając korygować kurs i dokonywać świadomych wyborów

decydujących o kształcie kolejnych zamierzeń. W ujęciu długofalowym idealna ewaluacja

pozwalałaby sprawdzić, kto skorzystał na projekcie, tzn. czy – niezależnie od chęci – projekt

pozwolił osiągnąć pożądaną przez autorów zmianę społeczną. A biorąc pod uwagę aspekt jak

najbardziej praktyczny, powinna móc uwiarygodniać projekt w oczach partnerów i przyszłych

mecenasów podobnych działań.

Oznacza to zatem, że ewaluacja idealna powinna:

być częścią zaplanowanych w projekcie działań, towarzyszyć im od samego początku;

angażować osoby najlepiej rozumiejące projekt – autorów, realizatorów;

odwoływać się do otoczenia;

„mówić” tym samym językiem co pozostałe działania projektowe;

przynosić sensowną, wartościową dla autorów projektu wiedzę – bazować na

wskaźnikach, które pozwolą sprawdzić, na ile osiągnięto zamierzone cele, co się udało, a

co nie;

być efektywna – nie generować niepotrzebnych, dodatkowych ruchów, powinna dziać

się niejako przy okazji;

być jasna i czytelna – dawać mierzalne, porównywalne wyniki.

V. Mierzenie niewysłowionego – specyfika ewaluacji projektów edukacji kulturalnej

Przestrzeń działania edukatora kulturalnego i animatora jest trudna do precyzyjnego

zdefiniowania. Jak jednoznacznie i bez wątpliwości odróżnić ją od dziedziny sztuki? Jednym ze

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

8

sposobów jest skoncentrowanie się nie na działaniach i metodach pracy, ale celach

przedsięwzięć:

Istnieje tradycyjne rozróżnienie na artystę i edukatora. Jeśli artysta ma dokładnie

uświadomiony cel swojego działania, to nie jest artystą. Dokładnie odwrotnie jest z

edukatorem. On ma właśnie klarownie sformułowany cel. Ja wolę artystów edukatorów,

niż szaleńców bożych. Bo taki szaleniec jest zwolniony z odpowiedzialności za to, co robi7.

Artysta skierowany jest na siebie, tymczasem edukator skupia się na konsekwencjach swoich

działań:

Kiedy my wchodzimy w społeczność, by ją zmienić za pomocą sztuki, interesuje nas

przede wszystkim właśnie ta społeczność. Chcemy mieć trwałe, mierzalne rezultaty,

widoczne zmiany. Interesuje nas stan, w jakim zostawiamy „obudzonych” przez nas z

letargu ludzi, interesują nas ich dalsze losy. Wy [artyści] używacie społeczności jako

paliwa dla sztuki, a my sztuki jako paliwa dla społeczności. To fundamentalna różnica,

fundamentalnie inna odpowiedzialność8.

Sfera projektów czysto artystycznych, realizowanych z pozycji sztuki, nie edukacji czy animacji,

jest trudna do zmierzenia. Niektóre strategie artystyczne zakładają poświęcenie człowieka lub

społeczności w celu wskazania problemu społecznego, moralnego, a nawet osiągnięcia czystej

wartości artystycznej. Są projekty, które są anarchistyczną interwencją artysty, więc ich

ewaluację można (chyba) uznać za bezcelową. Są też działania delikatne, sztuka efemeryczna,

relacyjna, intuicyjna, performatywna – tu bardzo trudno wyobrazić sobie ewaluatora z

odpowiednim wyczuciem, ale i śmiałością, by chcieć takie przedsięwzięcia ewaluować. Z kolei aż

się prosi o ewaluację wysokobudżetową klasyczna „sztuka wysoka”, tworzona przez wielkie i

średnio wielkie, a nawet małe i nieistotne instytucje – sztuka, która pochłania olbrzymie

budżety, a jej ważkość społeczna jest dyskusyjna. 7 Marcin Śliwa, Posłaniec, który nas budzi, w: Wojciech Kłosowski [red.], Kierunek kultura. W stronę żywego

uczestnictwa w kulturze, s. 25, [online:] http://www.kierunekkultura.waw.pl/images/stories/PDF/kierunek_kultura_w_strone_zywego_uczestnictwa_w_kulturze.pdf [dostęp 07.01.2015]. 8 Tamże, s. 22

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

9

Niezależnie jednak od poglądów na ewaluację działań artystycznych, jeśli zgodzimy się, że

nastawienie na cel i zainteresowanie oddźwiękiem społecznym to elementy konstytuujące

edukację kulturalną, naturalną konsekwencją takiego ujęcia powinna być właśnie ewaluacja

działań. Tymczasem, choć jest to dziedzina, która aż się prosi o ewaluację, praktyka wygląda

zupełnie inaczej. Dlaczego tak się dzieje?

Podobnie jak skoncentrowanie na celach może odróżniać działania edukacyjne i animacyjne od

uprawiania sztuki, tak ich eksperymentalny, innowacyjny charakter odróżnia je zwykle od reszty

projektów zaangażowanych społecznie. Oryginalność form oddziaływania wymaga

wyjątkowego, specjalnie zakrojonego podejścia, co – przy ograniczonym budżecie – może stać

się poważną przeszkodą w zorganizowaniu adekwatnej ewaluacji. Z kolei zastosowanie bardziej

konwencjonalnych metod może nie wystarczyć do pomiaru wpływu projektu. Odwołanie się do

tradycyjnych metod badawczych może też dostarczyć realizatorom przykrego dyskomfortu (któż

chciałby się wcielić w rolę ankietera tuż po tym, gdy inspirował, otwierał oczy na nowe, był

„mistrzem karnawału”?), a nawet wiązać się z ryzykiem negatywnego oddziaływania na odbiór

projektu (czy zakreślanie kwadracików ankiety nie zniweczy magii wydarzenia?, czy nie wzbudzi

niesmaku, nie zniechęci do udziału w kolejnych przedsięwzięciach?).

Obecność MCKiS w Szydłowcu to trzy lata eksperymentalnych przedsięwzięć obejmujących tak

różne inicjatywy, jak koncert w kamieniołomie, warsztaty recyclingowo-modowe, wykłady o

tuningu, świetlna instalacja artystyczna na polach uprawnych, warsztaty stolarskie, instalacja

„błotna” w starej synagodze, partycypacyjne tworzenie mapy turystycznej i kilkadziesiąt innych

maksi-, midi-, mini- i mikroprzedsięwzięć. Wspólnym mianownikiem było „poszerzanie pola

kultury”, cel szeroki na tyle, że w praktyce uniemożliwia zastosowanie jednorodnej metody

ewaluacyjnej. Zmierzenie poziomu realizacji takiego celu wymaga uzgodnienia przez inicjatora

projektu i jego ewaluatora, czym jest pole, o które chodzi, a następnie opracowania szeregu

wskaźników, które mogłyby świadczyć o jego poszerzeniu. Jest to z oczywistych względów

trudne, cele projektów edukacyjnych łatwiej bowiem zrozumieć i wyczuć na poziomie intuicji niż

opowiedzieć precyzyjnym językiem.

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

10

Opracowanie procedury ewaluacyjnej dla Szydłowca dodatkowo utrudniał fakt ewoluowania

przedsięwzięcia. Podczas trzech lat pracy zmieniały się szczegółowe zamierzenia,

doprecyzowywały cele. Można powiedzieć, że projekt „łagodniał”, a inaczej, że „dostrajał się” do

rzeczywistości zastanej na miejscu. W pewnym sensie taki właśnie efekt powinna przynieść

dobrze funkcjonująca maszyna ewaluacyjna – pozwolić w porę zmienić kurs i nie tyle dopuścić

do błędów (tych nie unikniemy, realizując projekty eksperymentalne), ile szybko na nie

zareagować. Dodatkową wartością ewaluacji byłoby jednak reagowanie na przeszkody w

uporządkowany sposób, uczenie się instytucjonalne, nie tylko zdobywanie doświadczeń przez

kolejne osoby realizujące konkretne działania. Wnioski płynące zarówno z sukcesów, jak i

porażek miałyby szansę przysłużyć się nie tylko pojedynczym realizatorom, ale stać się realną

korzyścią dla całych instytucji czy społeczności. Uporządkowanie wiedzy o efektach aktywności

edukacyjnej, zebranie wniosków o tym, jakie konkretne korzyści może przynieść, można uznać

obecnie za jeden z ważniejszych celów ewaluacji przedsięwzięć zbliżonych do działań w

Szydłowcu oraz szeregu innych projektów o podobnym charakterze.

Omawiany przypadek Szydłowca jest o tyle szczególny, że spośród setek projektów

animacyjnych i kulturalno-edukacyjnych realizowanych każdego roku, miał on zupełnie

wyjątkową skalę – obejmował wydarzenia korzystające z dorobku i narzędzi różnych dziedzin

sztuki, miał niezwykle szerokie zaplecze instytucjonalne (w Szydłowcu pojawili się

przedstawiciele MCKiS oraz innych warszawskich instytucji: Centrum Sztuki Współczesnej,

Muzeum Sztuki Nowoczesnej, Akademii Sztuk Pięknych, Krytyki Politycznej, Centrum Myśli Jana

Pawła II i wielu, wielu innych znanych i mniej znanych podmiotów – instytucji, organizacji,

kolektywów artystycznych, niezależnych artystów i animatorów). Ponadto od samego początku

było to przedsięwzięcie pomyślane jako rodzaj dłuższej rezydencji, a więc oddziaływania

długofalowego, a nie akcyjnego. Przy takiej skali działań tym więcej mówi o kondycji ewaluacji w

sferze edukacji kulturalnej brak doradcy ewaluacyjnego w zespole realizatorów (trzeba jednak

uczciwie powiedzieć, że kilka lat temu nieobecność takiej osoby nie budziła żadnego

zaskoczenia, wręcz przeciwnie – zaangażowanie badacza ewaluatora uznano by pewnie za

posunięcie niecodzienne, jeśli nie dziwaczne).

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

11

Nawet przy najmniejszej skali działań, jaką byłaby pojedyncza interwencja animacyjna (np.

warsztat kreatywny w ramach lekcji muzealnej), ewaluacja wiąże się z trudnościami

wynikającymi z braku rutyny w prowadzeniu tego typu działań. Realizatorom brakuje własnych

doświadczeń w tym zakresie (jeśli nie brać pod uwagę zliczania uczestników wydarzeń i

wymienia tej liczby w sprawozdaniu), wiedza o tym, gdzie szukać wskazówek, jest słaba, a w

kręgu zawodowych znajomości edukatorów rzadko kiedy znajduje się ktoś taki jak badacz

ewaluator.

Sprawy nie ułatwia także to, że budżety projektów niekoniecznie obejmują takie pozycje jak

profesjonalna ewaluacja. Należy tu jednak podkreślić, że w wielu, zwłaszcza ogólnopolskich

programach grantowych ewaluacja coraz częściej jest elementem nie tylko wymaganym, ale i

traktowanym jako odrębna dziedzina kosztów. Cóż, gdy stałą praktyką finansowania projektów

kulturalnych jest ograniczanie wnioskowanego budżetu o kilka–kilkadziesiąt procent,

realizatorzy stają wobec konieczności redukowania kosztów, co skutkuje m.in. likwidacją

budżetu na badania.

Doświadczenia z Szydłowca pokazują, że nawet pewna swoboda finansowa nie daje gwarancji

przeprowadzenia ewaluacji. O ile budżet na badania nie zostanie zawczasu wyłoniony i

zamrożony, o tyle wydatki ewaluacyjne mogą się przekładać na poczucie utraty środków

niezbędnych do sfinansowania bieżących działań projektowych. To prosta droga do odłożenia

planów ewaluacyjnych na inne, lepsze czasy.

Ewaluacja wymaga zatem wysiłku, doświadczenia, czasu i pieniędzy, co na ogół niweczy szanse

na jej zaistnienie w sferze projektów edukacyjnych. Na domiar złego elementem, który najsilniej

przekłada się na niechęć edukatorów, jest coraz bardziej powszechny… wymóg jej

przeprowadzania. Narzucanie ewaluacji bez zaoferowania realizatorom wsparcia we

wprowadzaniu jej w życie tworzy wokół tego procesu złą atmosferę, lokując go w świecie

biurokratycznych fanaberii.

Trudno się też oprzeć wrażeniu, że nieprzychylny ewaluacji klimat to skutek zjawiska

specyficznego nie tylko dla projektów edukacyjnych czy kulturalnych, ale znacznie szerszego i

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

12

przenikającego różne dziedziny życia. Analizując styl działania przeróżnych instytucji, organizacji,

a także pojedynczych osób można dojść do wniosku, że za niechęć do ewaluacji odpowiada nasz

narodowy charakter. Generalnie, wydaje się, że my Polacy nie mamy najlepszych doświadczeń z

planowaniem i myśleniem strategicznym. Panuje u nas raczej kultura prowizorki, improwizacji,

kult „załatwiania” i „łatania”. To nasz narodowy żywioł i nasza tradycja. Także instytucjonalna9.

Planowanie i regularna weryfikacja rezultatów łatwo może zostać uznana za nudziarstwo. W

sferze działań artystycznych, ale także okołoartystycznych jest to w zasadzie „przestępstwo”.

Dlatego myśląc o ewaluacji projektów edukacji kulturalnej, konieczne musimy zaproponować

działania niestandardowe, zaskakujące, zabawne. I jakkolwiek forma nie powinna dominować

nad treścią, to z pewnością nie wolno jej zaniedbywać.

VI. Kulturalna ewaluacja – jak zwiększyć szanse na bezbolesną ewaluację projektów

edukacyjnych i animacyjnych?

W obliczu tak licznych przeciwności wydaje się, że tylko wyjątkowy entuzjazm realizatora

projektu może sprawić, by działaniom edukacji kulturalnej towarzyszyła ewaluacja. Istnieje

jednak szereg sposobów, dzięki którym prawdopodobieństwo przeprowadzenia ewaluacji w

sposób elastyczny i bezbolesny wzrasta.

Dobrze zaplanowana ewaluacja jest efektywna pod względem czasu i środków finansowych,

dzieje się – jeśli tylko to możliwe – przy okazji podstawowej aktywności projektowej, korzysta z

zasobów, które siłą rzeczy są obecne w projekcie, unika generowania dodatkowych wysiłków. W

projekcie powstaje mnóstwo materiałów, które jeśli do nich ponownie i wielokrotnie

(krytycznie?) nie zajrzymy, po prostu się zmarnują. A przecież gromadziliśmy je pieczołowicie i z

intuicją, że warto to robić, że to ważne, by je przechować. Szuflady i regały są pełne

dokumentacji, na komputerach zapisujemy masę interesujących ewaluacyjnie danych.

Warunkiem tego, by uczynić z nich materiał, z którego można wyciągnąć wartościowe wnioski,

9 Por. Marcin Śliwa w rozmowie z Pauliną Sobieszuk: Strategia Rozwoju Kultury w województwie mazowieckim na

lata 2013-2020 jako wyraz odpowiedzialności za „obudzonych”, [w:] Wojciech Kłosowski [red.], Proces powstawania strategii rozwoju kultury w województwie mazowieckim na lata 2013–2020, s. 13 [online:] http://www.mazowia.org.pl/files/proces_powstawania_strategii_rozwoju_kultury_mazowia_57ra.pdf [dostęp: 20.12.2015].

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

13

jest względny porządek – oznaczone daty czy choćby notka pozwalająca rozpoznać, z jakiego

wydarzenia pochodzi dane zdjęcie, czego dotyczy ważny mail, kiedy powstało nagranie, film itp..

Przy prowadzeniu działań animacyjnych w dość skrupulatny sposób zbiera się dane na temat

frekwencji na wydarzeniach. Sprawdza się ją nawykowo, a poza tym jest to dość łatwy do

mierzenia wskaźnik, często wymagany przez grantodawców jako miara oceny przedsięwzięcia.

Wymóg szacowania liczby odbiorców działań, czyli próba określenia zasięgu oddziaływania

przekłada się na krzywdzącą dla ewaluacji opinię, że polega ona w gruncie rzeczy na zliczaniu i

nie ma szans na oddanie ducha projektu. Jest bowiem jasne, że liczba zapełnionych miejsc

będzie słusznym miernikiem w odniesieniu do oceny sukcesu komercyjnego, jednak o

powodzeniu wydarzenia o charakterze niekomercyjnym ciężko wnioskować tylko na podstawie

jego popularności. Bywa przecież i tak, że obiektywnie niskiej frekwencji towarzyszy poczucie, że

projekt nie był klapą, że miał swój wpływ na społeczność albo będzie „pączkował” w przyszłości.

W Szydłowcu fiaskiem frekwencyjnym okazał się, ku zaskoczeniu i rozgoryczeniu organizatorów,

pewien nietypowy wykład. Dotyczył światowych trendów w tuningu samochodowym, stanowiąc

ofertę absolutnie unikatową, adresowaną do niszowego grona zagorzałych miłośników tej

sztuki, których w Szydłowcu nie brakuje. Wykładowca był charyzmatyczny, a promocji

wydarzenia nawet z perspektywy czasu nie można niczego zarzucić. Uczestniczył w nim jednak

zaledwie trzy osoby i nie była to frekwencja, którą można uznać za zadowalającą, nawet gdyby

wszystkie one napisały po latach doktoraty z tej wyjątkowej dziedziny. Zawiódł, jak to się zdarza

w takich sytuacjach, kalendarz – wykład odbywał się w godzinach pracy zainteresowanych.

Zdarzenie to może figurować jako niebywała klapa w sprawozdaniu, można też o nim

wspominać w ramach anegdoty. Ewaluacja, w której można by się odwołać do liczb, obserwacji

czy wywiadów, stanowiłaby krok w kierunku przekucia tej jakby nie było porażki w sensowną

wytyczną na przyszłość (nie tylko naukę dla pomysłodawców).

Trzeba podkreślić, że frekwencja nie musi być złą miarą. Nie mówi wszystkiego, na pewno nie

należy uznawać jej za główny wskaźnik w ewaluacji, ale jest przecież czegoś wyraźnym

świadectwem. Dokumentując frekwencję z wydarzenia na wydarzenie, gromadzimy bogate

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

14

dane. Możemy na tej podstawie śledzić zmianę w partycypacji. Oczywiście, aby zwiększyć

trafność wnioskowania, lepiej byłoby wyposażyć nasze narzędzie ewaluacyjne w dodatkowe

miary. Idealna byłaby uporządkowana obserwacja (jak przygotować arkusz obserwacyjny i

prowadzić obserwację, można się dowiedzieć np. z Miniporadnika ewaluacji dla realizatorów

projektów Edukacji kulturalnej przygotowanym dla MKiDN przez Pracownię Badań i Innowacji

Społecznych „Stocznia”10), sprawdzi się jednak także „wrażeniowa” notatka głosowa albo zapiski

w formie SMS w telefonie. Wzmianki o atmosferze, komentarze do wydarzenia, obserwacje

reakcji uczestników, refleksje o obecnych i nieobecnych można potraktować jako dane

jakościowe, które w zestawieniu z pomiarami frekwencji powiedzą nam dużo o tym, co się

naprawdę zadziało w trakcie naszej obecności. Czy udało nam się wejść w dialog, czy kogoś

zainteresowaliśmy, podrzuciliśmy komuś myśl, a może tylko pozwoliliśmy nieco rozwiać nudę,

dostarczyliśmy rozrywki, dzięki nam ktoś mógł spędzić czas w inny niż zwykle sposób? To, czy

wyniki ewaluacji nas usatysfakcjonują, zależy od celów, jakie sobie wyznaczyliśmy. Istotne, że

nawet tak proste zabiegi i intuicyjne wnioski wnoszą zupełnie nową jakość, która pozwala

skomentować działania edukacyjne, lepiej je ukierunkować, wzmacnia motywację, pokazuje

sens czy bezsens zastosowanych rozwiązań.

Trudno wymienić, a nawet wyobrazić sobie, jak różne formy mogą przybrać dane przydatne przy

ewaluowaniu przedsięwzięcia. W przypadku obecności MCKiS w Szydłowcu niezwykle cennym z

perspektywy ewaluatora zasobem jest bogaty materiał filmowy wyprodukowany w ramach

projektu. Dokumentacja projektów edukacyjnych MCKIS była wielokrotnie wykorzystywana w

różnego rodzaju konferencjach, sympozjach czy warsztatach organizowanych przez podmioty

zewnętrzne. Ponadto trafiła do Archiwum Wizualnego Uniwersytetu Adama Mickiewicza w

Poznaniu – w kategorii dziesięciu najlepiej udokumentowanych projektów animacyjno-

edukacyjnych w Polsce. Prawdopodobnie zostanie wykorzystana jako ważny zasób badawczy.

10

Maja Durlik, Kaja Dziarmakowska, Miniporadnik ewaluacji dla realizatorów projektów edukacji kulturalnej, 2013, [online:]http://stocznia.org.pl/wp-content/uploads/2014/04/Miniporadnik_ewaluacji_cc_by.pdf [dostęp: 20.12.2015].

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

15

Jeśli weźmiemy pod uwagę specyfikę tego rodzaju danych11, wypowiedzi sfilmowane w trakcie

działań mogą posłużyć za wywiady z uczestnikami i realizatorami, w zależności od zawartości

merytorycznej filmu można wykorzystać go także jako sposób na utrwalenie powstałych w

przedsięwzięciu prac, zapis ewentualnych zmian w sposobie ekspresji uczestników wydarzeń,

zmian w filmowanym otoczeniu i na wiele innych sposobów. Przy analizie niezbędne będzie

wspieranie się dodatkowymi materiałami (w omawianym przypadku świetnym zastanym

źródłem danych jest blog o działaniach w Szydłowcu), próby kontaktu i przeprowadzenia

wywiadów lub ankiet z uczestnikami i dużym zespołem realizatorów.

Nawet bliska ideału „ewaluacja mimochodem”, czyli ta dokonywana przy okazji podstawowych

działań projektowych, wymaga wysiłku. Zebrany materiał zdjęciowy, blog, nagrania koncertów,

filmy to źródło danych, które wymaga prześledzenia, uporządkowania i analizy pod kątem

konkretnych pytań badawczych. W wersji minimalistycznej, dokładnie tak jak przy najbardziej

złożonych badawczo planach, ewaluacja rozpoczyna się od odtworzenia celów przedsięwzięcia,

nazwania ich w sposób jak najprostszy, postawienia pytań o spełnienie tych celów i znalezienia

takich wskaźników, które pozwoliłyby na te pytania odpowiedzieć12. Trzeba pamiętać o

ograniczeniach, które wynikają z przyjętych procedur. Ewaluowanie się po latach jest obarczone

brzemieniem upływu czasu, ewaluacja na podstawie zapisów wolontariuszy lub własnych

naprędce tworzonych notatek może się okazać zbyt ogólnikowa, mało pogłębiona, nie całkiem

obiektywna. Warto sięgać do opinii innych, uzupełniać swoje zdanie o wrażenia uczestników

wydarzenia, współpracowników. Nie należy jednak być zbyt ostrożnym, unikać rozstrzygnięć.

Jeśli ewaluacja ma służyć wewnętrznym celom, pomagać w podejmowaniu decyzji o projekcie,

kierunkowaniu działań, to intuicja (wynikająca przecież i z doświadczenia, i z wyczucia) nie jest

mniej ważnym argumentem. Jeśli z kolei ewaluacja służy także celom zewnętrznym, ma

stanowić rodzaj uwiarygodnienia przedsięwzięcia, to konieczne będą jasne, powtarzalne,

obiektywne miary. Zakres pytań, a także zasoby, którymi dysponuje ewaluator, będą decydować

11

Film nie jest czystym zapisem wydarzeń, został „przefiltrowany” przez realizatora, stąd istotne mogą być np. uzupełniające rozmowy i odwołania do dodatkowych źródeł. 12

W przypadku materiału filmowego dalsza procedura badania może polegać na oglądaniu wynotowywaniu „znalezisk”, które następnie kategoryzujemy i analizujemy pod kątem postawionych pytań ewaluacyjnych.

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

16

o kształcie ewaluacji. Pomocą dla ewaluatorów amatorów mogą być gotowe narzędzia

badawcze np. Zrób to sam. Jak zostać badaczem społeczności lokalnych? Poradnik dla domów

kultury13, Miniporadnik ewaluacji dla realizatorów projektów kulturalnych14.

Dobrym, obiektywizującym, rozwiązaniem będzie zatrudnienie do prześledzenia dokumentacji

projektowej zewnętrznego badacza. Także w przypadku projektów większych, trudnych do

zbadania metodami „chałupniczymi”, po amatorsku, warto zatrudnić zewnętrznego ewaluatora

lub zespół. Trudno o większy banał, jednak nie może tu tych słów zabraknąć: o wyborze nie

powinno przesądzać kryterium cenowe. Jeśli przeszkodą jest niezwykle szczupły budżet, może

sprawę rozwiąże zwrócenie się po wsparcie do najbliższego koła studentów socjologii?

Kimkolwiek by nie byli, ważne, by badacze opracowywali założenia ewaluacji równolegle z

powstawaniem planów projektu edukacyjnego. Pozwoli to nie tylko zminimalizować koszty

badania, ale przede wszystkim uporządkuje myślenie o ewaluacji na tyle, by powstały

adekwatne i kreatywne narzędzia badawcze.

VII. Postscriptum

W powyższym artykule nie wyczerpujemy kwestii ewaluacji projektów animacyjnych,

artystycznych i edukacyjnych. Jesteśmy raczej przekonani, że to głos w aktualnej debacie.

Namysł nad tą problematyką będzie jednym z kluczowych wyzwań, które stawiamy sobie w

ramach Mazowieckiego Obserwatorium Kultury, które właśnie uruchomiliśmy w Mazowieckim

Instytucie Kultury.

13

Michał Danielewicz [i in.], Zrób to sam. Jak zostać badaczem społeczności lokalnych? Poradnik dla

domów kultury, [online:] http://www.kulturalna.warszawa.pl/pi/73489_1.pdf [dostęp: 04.01.2013].

14 Maja Durlik, Kaja Dziarmakowska, dz. cyt.

Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego

17

W ramach badań obserwatorium podejmiemy trud zewaluowania kluczowych projektów

warszawskiego MIK – od interdyscyplinarnych i eksperymentalnych działań w Szydłowcu po

projekty impresaryjne. O wynikach będziemy Państwa informować na bieżąco.