Ewaluacja w polityce społecznej

Standardy ewaluacji i metaewaluacja

Dr hab. Ryszard Szarfenberg

rszarf.ips.uw.edu.pl/ewalps/

Dwa pojęcia standardu

• Standard jako pojęcie statystyczne

– X jest standardem = X jest powszechny, X jest stosowany przez większość, X występuje w większości przypadków

• Standard jako pojęcie normatywne

– X jest standardem Y = Y powinien odpowiadać X, Y ma mieć cechy oznaczone przez X, Y powinien być wzorowany na X, Y ma być podobny do X

Po co standardy? • Istnienie standardów zwiększa jakość ewaluacji

jako odrębnego typu stosowanych badań społecznych i służy promocji ewaluacji w społeczeństwie

• Przy pomocy owych standardów dokonuje się metaewaluacji, czyli oceny zarówno planowanych, jak i realizowanych ewaluacji

• Standardy dostarczają początkującym ewaluatorom wskazówek, jak powinien planować badania, co jest w nich istotne

B. Szatur-Jaworska red., Ewaluacja w

służbach społecznych, rozdział 6

Po co standardy? Cd.

• Standardy pomagają ewaluatorom i osobom z nimi współpracującym rozstrzygać wątpliwości, co do słuszności i etyczności postępowania ewaluatora w trakcie realizacji badań

• Standardy zwiększają wiarygodność środowiska ewaluatorów i podnoszą zaufanie do ich pracy ze strony zleceniodawców ewaluacji, uczestników ocenianych programów i innych stron zainteresowanych ewaluacją

• Standardy chronią osobiste dobra innych, niż zamawiający i ewaluatorzy, osób zaangażowanych w ewaluację

B. Szatur-Jaworska… i na

kolejnych slajdach

Różne nazwy

• Standardy (np. „Standardy ewaluacji” Polskiego Towarzystwa Ewaluacyjnego lub „Standardy SEVAL” Szwajcarskiego Towarzystwa Ewaluacyjnego)

• Wytyczne / wskazówki (np. „Guidelines for the Ethical Conduct of Evaluations, Autraloazjatyckiego Towarzystwa Ewaluacyjnego [Australasian Evaluation Society])

Różne nazwy cd. • Zasady (np. „Les principes de l’évaluation en France”

zawarte w dokumencie Francuskiego Towarzystwa Ewaluacyjnego [Société Française de l’Évaluation] pt. „Charte de l’Évaluation des politiques publiques et des programmes publics” oraz “Guiding Principles for Evaluators” Amerykańskiego Towarzystwa Ewaluacyjnego [American Evaluation Association]);

• Normy (np. “The United Nations Norms for Evaluation” Organizacji Narodów Zjednoczonych),

• Reguły (np. opracowane przez Grupę ONZ do spraw ewaluacji „Règles d’évaluation applicables au sein du système des Nations Unies”).

Czego dotyczą standardy?

1. Jak postępować, by zachować uczciwość i nie naruszać dobra innych osób i dobra wspólnego?

2. Jak postępować, by nie naruszać prawa?

3. Jak postępować, by być rzetelnym warsztatowo?

4. Jak postępować, by być sprawnym w działaniu?

5. Jak postępować, by prawidłowo przebiegała komunikacja w toku ewaluacji?

6. Jak postępować, by zapewnić ewaluacji odpowiednie warunki realizacji?

Kategorie standardów • standardy etyczne

– Jak postępować, by zachować uczciwość i nie naruszać dobra innych osób i dobra wspólnego?

– Jak postępować, by nie naruszać prawa?

• standardy metodologiczne – Jak postępować, by być rzetelnym warsztatowo?

• standardy prakseologiczne – Jak postępować, by być sprawnym w działaniu?

– Jak postępować, by prawidłowo przebiegała komunikacja w toku ewaluacji?

– Jak postępować, by zapewnić ewaluacji odpowiednie warunki realizacji?

Standardy ewaluacji Polskiego Towarzystwa Ewaluacyjnego (PTE)

Standardy etyczne PTE • (…) Określenie przejrzystych kryteriów wyboru

ewaluatora

– Zlecający, w przypadku zamówień publicznych, nie powinien przygotowywać badania ewaluacyjnego pod kątem konkretnego wykonawcy. Zlecający powinien umożliwić różnym wykonawcom równe szanse w dążeniach do realizacji ewaluacji.

– Przygotowanie zamówienia, jak również wyłonienie wykonawcy, powinno mieć charakter jawny i powinno opierać się na zasadach czytelnych dla wszystkich zainteresowanych podmiotów. (…)

Standardy etyczne PTE cd. • Zapewnienie niezależności ewaluacji.

– Ewaluator, podejmując się realizowania ewaluacji, powinien być niezależny w stosunku do ewaluowanego przedmiotu oraz zlecającego. W przypadku pojawienia się konfliktu interesów powinien odstąpić od realizacji ewaluacji i/lub otwarcie poinformować o jego występowaniu.

– Pożądane jest również zapewnienie maksymalnej niezależności osób bezpośrednio przygotowujących, zlecających i odbierających wykonaną ewaluację od działów realizujących ewaluowane przedsięwzięcie w ramach struktur organizacyjnych zlecającego.(…)

Standardy etyczne PTE cd.

• Ewaluator powinien:

– okazywać szacunek dla osób i podmiotów zaangażowanych w badanie ewaluacyjne, co przejawia się w szczególności w stosowaniu zasady poufności i anonimowości,

– zachować neutralność i obiektywizm wobec badanych,

– poznać kontekst sytuacji badanych, cechować się wrażliwością i empatią,

– zapewnić wszystkim badanym odpowiednie do potrzeb warunki/możliwości wypowiedzenia się. (…)

Standardy metodologiczne PTE • Precyzyjne określenie celu, przedmiotu i zakresu

badania.

– Dla powodzenia ewaluacji podstawowe znaczenie ma precyzyjne i logicznie spójne określenie przedmiotu i celu ewaluacji, kluczowych pytań, na które poszukuje się odpowiedzi oraz kryteriów, z zastosowaniem których przedmiot ewaluacji będzie ewaluowany. (…)Aby cele ewaluacji były w pełni zrozumiałe dla wszystkich zaangażowanych podmiotów, powinno się zidentyfikować sposób wykorzystania wyników badania. (…) Na etapie planowania ewaluacji powinno się sformułować kryteria oceny jakości raportu ewaluacyjnego.

Standardy metodologiczne PTE

• Zapewnienie trafności i rzetelności badań ewaluacyjnych.

– (…)Realizacja ewaluacji opiera się na metodologii badań naukowych. W badaniach ewaluacyjnych uprawnione jest stosowanie różnych podejść metodologicznych, ich wybór powinien być dokonywany w relacji do celów i zakresu badania oraz dostępnych / posiadanych zasobów.(…)

Standardy metodologiczne PTE cd.

• Zapewnienie przejrzystości struktury i języka raportu ewaluacyjnego.

• Zapewnienie rzetelności raportu ewaluacyjnego. – (…) Tezy raportu powinny bazować na zebranym

materiale empirycznym. Zamawiający nie powinien ingerować w wyniki badań ewaluacyjnych. Wprowadzenie zmian w raporcie może mieć miejsce wyłącznie za zgodą ewaluatora.

Standardy prakseologiczne PTE • Zasadność podejmowania ewaluacji.

– Powinno się zlecać realizację tylko takich ewaluacji, które są istotne dla zarządzania danym przedsięwzięciem i/lub charakteryzują się wysokimi walorami poznawczymi oraz praktycznymi.

• Realistyczne określenie sposobu przeprowadzenia ewaluacji. – Sposób realizacji badania powinien być adekwatny do celu,

przedmiotu i zakresu ewaluacji. Dlatego też niezbędne jest racjonalne oraz precyzyjne oszacowanie zasobów potrzebnych do przeprowadzenia prac ewaluacyjnych w sposób zgodny z zapotrzebowaniem. (…)

Standardy prakseologiczne PTE cd. • Dbanie o partycypacyjność i jakość współpracy w

procesie ewaluacji. – Komunikacja w procesie ewaluacji powinna być oparta

na stałym dialogu pomiędzy ewaluatorem a zlecającym.

• Konsultowanie wniosków i rekomendacji. – Po wstępnym sformułowaniu wniosków i rekomendacji

powinna odbyć się dyskusja nad ich trafnością, poprowadzona w gronie interesariuszy. (…) W razie potrzeby powinien być opracowany protokół rozbieżności, jako produkt procesu konsultacji.

Standardy prakseologiczne PTE cd.

• Wykorzystanie rekomendacji.

– (…) W ramach procesu ewaluacji powinno zadbać się o opracowanie przejrzystych procedur wdrożenia rekomendacji, w tym określić cel i sposób ich wdrożenia wraz z podaniem, o ile możliwe, adresatów rekomendacji oraz wstępnego harmonogramu. (…)

Metaewaluacja w Polsce? Przykład 1

Metaewaluacja projektów systemowych realizowanych w Działaniu 7.1 Programu Operacyjnego Kapitał

Ludzki na podstawie raportów końcowych z ewaluacji przeprowadzonych przez Regionalne Ośrodki

Polityki Społecznej w 2010 r.

Komentarz RSz: nie jest to metaewaluacja w sensie oceny jakości i wartości

ewaluacji przeprowadzonych przez ROPSy, ale podsumowanie wyników wielu

ewaluacji na podobny temat

Metaewaluacja w Polsce? Przykład 2

Szczegółowy Opis Zadania na wykonanie badania ewaluacyjnego pt. „Metaewaluacja wyników

Badań ewaluacyjnych Programu Operacyjnego Innowacyjna Gospodarka, 2007-2013”.

Komentarz RSz: nie jest to metaewaluacja w sensie oceny jakości i wartości

ewaluacji dotyczących PO IG, ale przegląd i podsumowanie wyników wielu

ewaluacji na podobny temat