Prezentacja wyników NPF Polska 2020, Warszawa 16.02.2009 r.

Badanie Delphiw Narodowym Programie

Foresight Polska 2020

Doświadczenia i wnioski

Prezentację przygotowali:Dr Jerzy Głuszyński (jgluszynski@pentor.pl)Anna Kowalewska (akowalewska@pentor.pl)

Pentor Research International

O czym chcemy powiedzieć w dzisiejszej prezentacji?

Chcemy podzielić się doświadczeniami z realizacji badania eksperckiego Delphi -realizowanego w Polsce po raz pierwszy na tak szeroką skalę i obejmującego tak duży zakres tematyczny

Chcemy przybliżyć ideę metody, sposób jej zastosowania w NPF Polska 2020 i wykorzystania jej wyników do budowy scenariuszy

Chcemy spróbować ocenić metodę, wskazać jej zalety i wady z punktu widzenia realizatora badania

Jakie główne wnioski chcielibyśmy przekazać?

1Delphi jest skutecznym sposobem zwiększenia społecznej partycypacji w projektach typu foresight. Dzięki Delphi udało się nam zgromadzić wokół NPF Polska 2020 kilka tysięcy ekspertów. W tym kontekście można traktować Delphi jako narzędzie kształtowania w Polsce kultury myślenia o przyszłości.

Metoda ma jednak swoje ograniczenia, jest trudna, czasochłonna i wymagająca dużego nakładu pracy.

Mimo tego pozwala ona na odkrycie obrazu przyszłości w sytuacji niepewności, a uzyskane wyniki mogą byćużytecznym wkładem w budowę scenariuszy rozwoju.

2

3

Zanim przejdziemy do szczegółów, kilka słów o metodzie…

Co to jest Delphi?Badanie eksperckie

Składające się zazwyczaj z dwóch lub trzech rund

Narzędziem badawczym w każdej z rund jest ten sam kwestionariusz ankiety, adresowany do tego samego grona ekspertów

Respondentom wypełniającym ankietę po raz drugi/kolejny prezentowane są zbiorcze odpowiedzi ekspertów z pierwszej/poprzedniej rundy.

Zaprojektowanie kwestionariusza I runda – zebranie

opinii ekspertów Analiza danych

Przesłanie ekspertom zbiorczych odpowiedzi z I rundy i realizacja II

rundy

Opracowanie i analiza wyników

końcowych

Idea DelphiPrzezwyciężenie ograniczeń związanych z tradycyjnym komunikowaniem się ekspertów:

wpływ liderów opinii, dominujących osobowości

konformizmniechęć do odrzucania wyrażonych sądówkomunikacja nie na temat

Metoda budowania konsensusu – respondenci kształtują swoją opinię pod wpływem opinii innych uczestników

Służąca do oceny i prognozy zjawisk w dłuższej perspektywie czasowej

Kluczowe cechy Delphi:anonimowośćinformacja zwrotna w postaci

statystycznego opisu danych z pierwszej/poprzedniej rundy.

Rola Delphiw NPF Polska 2020

Wkład do budowy scenariuszyidentyfikacja trendów społeczno-gospodarczych i przyszłościowych technologii prognoza horyzontu czasowego ich realizacjiocena ich skutków społeczno-gospodarczychanaliza potencjału niezbędnego do ich realizacji oraz identyfikacja związanych z nimi problemów i wyzwań

Sposób zwiększenia społecznej partycypacjikonsultacja ze środowiskami eksperckimipoinformowanie głównych interesariuszy o najważniejszych kwestiach podejmowanych przez Program i pozyskanie ich zaangażowaniaosiągnięcie konsensusu co do obrazu przyszłości i kształtu polityki naukowo-badawczej.

W jaki sposób zrealizowaliśmy badanie?

Pod „pretekstem” Delphipostanowiliśmy skupić grono

ludzi wokół NPFZespół Ekspertów Zewnętrznych NPF Polska 2020Deklarujących posiadanie wiedzy w którejś z dziedzin objętych NPFUspołecznienie procesu – zaangażowanie wielu środowisk, stworzenie poczucia współuczestnictwaMaksymalna różnorodność ekspertów -reprezentacja ekspertów z różnych dziedzinMożliwie największy udział w próbie przedstawicieli biznesuMożliwie liczna reprezentacja osób młodych, do 35 roku życiaMotywacja – certyfikat uczestnictwa w Programie

10

Zastosowaliśmy zarówno zamknięty, jak i otwarty model rekrutacji

1. Nominacja kandydatów

przez ekspertów wewnętrznych

Instytucje Partnerskiekierowników innych projektów

foresight

2. Otwarta rekrutacja –możliwość zgłoszenia

się do Zespołu z własnej inicjatywy

informację o naborze rozesłano m.in. do

pracowników naukiprzedsiębiorstw

uczelni wyższych, instytutów PAN jednostek badawczo-rozwojowych

izb gospodarczychinstytucji wspierających

innowacyjnośćorganizacji pozarządowych

portali regionalnych i branżowych

Model 1, stosowany jako jedyny, wiąże się z ryzykiem:

pominięcia osób o potencjalnie o dużej wiedzy, ale nie znanych w środowisku

nadreprezentacji top-ekspertów, odznaczających się w swoich przewidywaniach największym optymizmem.

11

Realizacja badania

I runda – 24 kwietnia – 13 maja 2008 r.

II runda – 10 czerwca – 01 lipca 2008 r.

Współczynnik realizowalności próby

Eksperci zewnętrzni

I runda – 2587 / 5413 - 48%

II runda – 2385 / 2587 -92%

Podsumowując - zadanie trudne realizacyjnie i pracochłonne, ale wykonalne

Trudna i czasochłonna rekrutacjaekspertówAngażująca komunikacja z kilkoma tysiącami ekspertówPilotaż ankiety, zebranie uwag i komentarzyŻmudna weryfikacja ankiety CAWI pod względem poprawności logicznejOpracowanie narzędzia do prezentowania danych w II rundzieCzasochłonna analiza danychPrzygotowanie internetowej przeglądarki wyników

Co nasze doświadczenie podpowiada nam na przyszłość?

14

Delphi – próba ewaluacji

Zmusiło respondentów do przemyślenia poglądów

między rundami

Zmusiło respondentów do myślenia o przyszłości i wyrażenia tych myśli w sposób zwięzły i prosty

Pokazało, czy istnieje konsensus

Uzyskane wyniki dają sięłatwo analizować, wskazują

na priorytety

Ryzyko traktowania wyników jako fakty

Czasochłonne i wymagające dużego nakładu pracy

Ignorowanie jednostkowych opinii, „tyrania” większości

Problemy z uwiarygodnieniem ekspertów

Pozwoliło włączyć w projekt kilka tysięcy osób

8%

21%

25%

40%

43%

66%

74%

91%Cenię sobie możliwość zobaczenia

zbiorczych odpowiedzi innych ekspertóww II rundzie badania

To wartościowa metoda pozwalająca naprzewidywanie przyszłych wydarzeń

Metoda pozwala na uzyskanie konsensusu

Metoda wymaga zastosowaniadługotrwałej procedury

Wypełnienie ankiety Delphi w NPF Polska2020 było czasochłonne

Tezy i pytania w ankiecie Delphi w NPFPolska 2020 były sformułowane w sposób

skomplikowany, czasem niezrozumiały

Wartość prognostyczna metody nie jestwyższa niż w przypadku innych metod

Nie widzę sensu drugiej i kolejnych rundw badaniach tego typu

A jak ocenili metodę eksperci zewnętrzni?

Delphi jest skuteczną techniką poszukiwania odpowiedzi na odpowiednie pytania

Gordon