Zając Ankiety internetowe w badaniach ewaluacyjnych
description
Transcript of Zając Ankiety internetowe w badaniach ewaluacyjnych
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Wykorzystanie ankiet internetowych
w badaniach ewaluacyjnych
Dr Jan Zając
III Regionalna Konferencja Ewaluacyjna, Rzeszów, 11 czerwca 2010
Projekt finansowany przez Unię Europejską ze środków Europejskiego Funduszu Rozwoju Regionalnego
w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007-2013
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
O czym powiem?
Czym są ankiety internetowe?
Kogo można badać przez Internet?
Jak realizować badanie?
Jak skonstruować narzędzie badawcze?
Czego przede wszystkim unikać, na co uważać?
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
CZYM SĄ ANKIETY INTERNETOWE?
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Znaczenie ankiet internetowych
Obecnie jest to w pełni uprawniona metoda badawcza
Choć stosunkowo młoda, ma wytyczne metodologiczne i
standardy – warto je stosować
Badania realizowane w Internecie, przede wszystkim ankiety
(CAWI), mają coraz większy udział w światowym rynku
badań
W Polsce ich pozycja jest słabsza, ale przewiduje się szybki
wzrost udziału tej techniki w najbliższych latach
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Zalety i wady ankiet internetowych
Zalety
Niskie koszty
Szybkość realizacji
Dotarcie do specyficznych
grup
Ułatwienia organizacyjne
Wygodne dla badanych
Wady
Brak reprezentatywności
dla wielu populacji
Niska motywacja badanych
Problemy ze standaryzacją
Wciąż niewystarczające
doświadczenie w realizacji
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
KOGO MOŻNA BADAĆ PRZEZ INTERNET?
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Internauci na tle populacji
Obecnie z Internetu korzysta ok. 55% dorosłych Polaków
Internauci wyróżniają się na tle wszystkich Polaków – są to
osoby młodsze, lepiej wykształcone, zamożniejsze i
mieszkające w większych miejscowościach
Z tego względu nie można prowadzić w Internecie badań
reprezentatywnych dla ogółu Polaków…
Ani badań populacji, gdzie skłonność do korzystania z
Internetu jest niska lub bardzo zróżnicowana…
Ale można badać specyficzne populacje i grupy celowe
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Korzystanie z internetu według wiekuKorzystanie w największym stopniu związane jest z wiekiem. Z internetu korzysta
zdecydowana większość młodych i bardzo niewiele starszych osób.
16-24 lat 25-34 lat 35-44 lat 45-59 lat 60-64 lat 65 i więcej lat0
10
20
30
40
50
60
70
80
90
100
72.7
49.2
35.2
21.6
7.62.8
76.5
59.4
45.9
31.7
13.7
3.6
86.8
73.7
62.1
39.5
20.6
5.8
200520072009
odse
tek
osób
kor
zyst
ając
ych
z in
tern
etu
Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Korzystanie z internetu według wykształcenia
Ogromne znaczenie ma również wykształcenie. Z internetu korzystają przede wszystkim osoby uczące
się i lepiej wykształcone. Wśród osób z wykształceniem podstawowym z sieci korzysta zaledwie 7%.
Podstawowe i niższe Zasadnicze/ gimnazjum
Średnie Wyższe i policealne Uczący się0
10
20
30
40
50
60
70
80
90
100
3.6
15.2
36.7
65.5
84.2
3.8
19.8
45.4
76.9
85.3
7.2
31.3
56.4
83.4
93.7
200520072009
odse
tek
osób
kor
zyst
ając
ych
z in
tern
etu
Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Korzystanie z internetu według statusu społeczno-zawodowego
Duże znaczenie dla faktu korzystania z internetu ma również status społeczno zawodowy. Korzysta
olbrzymia większość uczniów i studentów, a także większość osób pracujących. Najmniej
użytkowników jest wśród emerytów, rencistów i rolników.
prac. sektora publicznego
prac. sektora prywatnego
prywatni przedsiębiorcy
rolnicy
renciści
emeryci
uczniowie i studenci
bezrobotni
inni bierni zawodowo
0 10 20 30 40 50 60 70 80 90 100
55.6
42.2
52.3
10.6
12.3
5.4
84.2
21.3
21.1
66.4
51.5
69.2
13.2
17.2
8.8
85.3
27.1
33.6
76.4
66.3
80.5
25.3
20.3
13.3
93.7
40.9
40.9
200920072005
odsetek osób korzystających z internetu
Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Korzystanie z internetu według wielkości miejsca zamieszkaniaKorzystanie z internetu jest też związane z wielkością miejscowości zamieszkania. Im większa miejscowość, tym więcej osób korzysta. Należy jednak podkreślić, że znaczenie wielkości miejsca zamieszkania jest mniejsze niż innych czynników, a dodatkowo jego znacznie maleje. Jest to efektem znacznego przyrostu liczby użytkowników na wsi z 26% w 2007 roku do 38 w 2009.
miasta powyżej 500 tys.
miasta 200-500 tys.
miasta 100-200 tys.
miasta 20-100 tys.
miasta poniżej 20 tys.
wieś0
10
20
30
40
50
60
70
80
90
100
50.445.3 44.2
37.033.0
20.9
62.8
54.849.9 49.6
41.1
25.8
67.364.3
60.654.9
50.2
38.0
200520072009
odse
tek
osób
kor
zyst
ając
ych
z in
tern
etu
Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Korzystanie z internetu według dochodów w gospodarstwach domowych
Osoby mieszkające w gospodarstwach domowych z wyższym dochodem mają większe szanse na korzystanie z Internetu
pierwszy kwartyl drugi kwartyl trzeci kwartyl czwarty kwartyl0
10
20
30
40
50
60
70
80
90
100
26.4
33.2
43.6
60.2
34.6
41.1
52.9
72.4
200520072009
odse
tek
osób
kor
zyst
ając
ych
z in
tern
etu
Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Korzystanie z internetu w województwachMożna zaobserwować zróżnicowanie pomiędzy poszczególnymi województwami.
Dolnośląskie
Kujawsko-pomorskie
Lubelskie
Lubuskie
Łódzkie
Małopolskie
Mazowieckie
Opolskie
Podkarpackie
Podlaskie
Pomorskie
Śląskie
Świętokrzyskie
Warmińsko-mazurskie
Wielkopolskie
Zachodnio-pomorskie
0 10 20 30 40 50 60 70 80 90 100
43.6
35.5
34.2
45.1
40.6
45.9
44.2
39.1
38.6
42.1
53.9
44.5
30.6
32.4
43.5
36.5
53.9
50.2
43.8
53.9
47.8
53.0
52.5
48.9
44.4
50.2
58.3
54.0
39.3
44.8
52.1
52.7
2009 korzystanie z in-ternetu
2007 korzystanie z in-ternetu
odsetek osób w wieku 16+ z danego województwa
Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Jakie populacje badać przez Internet?
Można
Instytucje
Przedsiębiorstwa, zwłaszcza
duże i średnie
Mikrofirmy związane z e-
biznesem i technologiami
Przedsiębiorcy
Studenci i uczniowie
Nie warto
Bezrobotni
Rolnicy
Emeryci
Wykluczeni
Mieszkańcy terenów
wiejskich
Badania CAWI mają wiele zalet przy ocenie ex-post lub on
going, gdy beneficjenci biorą udział w różnych momentach
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
JAK REALIZOWAĆ BADANIE?
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Najważniejsze sposoby doboru próby i realizacji badania
1. Lista bazowa: wykorzystanie bazy respondentów,
zbieranych w trakcie projektu, np. listy z adresami e-mail
2. Korzystanie z panelu internetowego firmy badawczej
3. Ankiety pop-up - w wyskakujących okienkach
Metody mieszane: łączenie w obrębie 1 schematu
badawczego CAWI i badań telefonicznych lub pocztowych
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Lista bazowa
W wielu przypadkach zalecana metoda, zwłaszcza w
badaniach instytucji i przedsiębiorstw
Miejsce badań w strukturze projektu: skłanianie do udziału,
dbałość o dobre dane kontaktowe i zabezpieczenie
przetwarzania danych osobowych
Częstym problemem jest dezaktualizacja danych
respondentów, zwłaszcza małych i mikrofirm oraz osób
indywidualnych – np. zmiany e-maili
Warto łączyć sposoby kontaktu: telefon, e-mail, zwykły list
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Korzystanie z panelu internetowego
Wiele firm badawczych prowadzi panele internetowe, liczące
nawet kilkadziesiąt tysięcy osób
Można na nich realizować badania ad hoc lub dołączać
pytania do badań omnibusowych
Ograniczenie: te panele składają się w praktyce w
większości z ochotników, a struktura respondentów może
być zaburzona
Problem małej reprezentacji poszczególnych grup
Nie można dotrzeć do beneficjentów danych programów
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Ankiety pop-up
Zaproszenie do badania, lub wręcz cała krótka ankieta,
umieszczone jest w wyskakującym okienku
Umożliwia to emisję zaproszeń osobom odwiedzającym
określone strony internetowe, gdy nie mamy innych ich
danych kontaktowych
Problemem jest to, że przypomina nielubiane reklamy
Wykorzystywane w przypadku działań prowadzonych w
internecie, np. przy ocenie serwisów internetowych
Do oceny stron lepiej wykorzystywać dane typu site centric
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Znaczenie motywacji do udziału
Niechęć do udziału w badaniu jest częstym problemem
badań internetowych, więc warto o to zadbać niezależnie od
sposobu realizacji badania
W ewaluacji dość często badani są przekonani, że badanie
ich dotyczy i ma znaczenie, co pozytywnie wpływa na ich
motywację
Najbardziej skłonni do udziału są beneficjenci bezpośredni
Mniej chętni mogą być beneficjenci ostateczni oraz podmioty,
które nie dostały wsparcia, choć ubiegały się o nie
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Sposoby zwiększania realizacji próby
• Dostęp do wyników badań i raportów – istotne zwłaszcza dla
instytucji i przedsiębiorstw
• Personalizacja kontaktów z respondentami
• Zachęcające i wyczerpujące zaproszenie do badania
• Przypomnienia o badaniu w okresie zbierania danych
• Umożliwienie zapisania ankiety i powrotu do niej
Różne techniki ważenia (np. propensity score weighting)
umożliwiają korygowanie wyników po zakończeniu badania
-Wtórne metody – np. PPM
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
JAK SKONSTRUOWAĆ NARZĘDZIE BADAWCZE?
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Jakich narzędzi użyć?
Warstwa techniczna ankiety internetowej to nie tylko strona
z kwestionariuszem i serwer
Ważne jest także zarządzanie wysyłką zaproszeń i
kontrolowanie, kto bierze udział, itp.
Możliwe sposoby realizacji:
1. Tworzenie własnego rozwiązania – niezalecane
2. Użycie dedykowanego oprogramowania – może mieć
sens zwłaszcza przy wielu badaniach
3. Skorzystanie z rozwiązań firm badawczych
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Kilka uwag o narzędziu
Wskazane jest umieszczanie kwestionariusza na stronie
WWW, natomiast inne rozwiązania, np. wysyłanie go w
załączniku e-maila, nie są zalecane
Cenna jest możliwość łączenia danych z ankiety i z innych
źródeł, np. z wniosku, aby nie męczyć badanych
niepotrzebnym powtórnym wpisywaniem informacji
Wskazane jest kontrolowanie, kto z próby bierze udział w
badaniu, za pomocą indywidualnych adresów URL lub
logowania – oprogramowanie do realizacji umożliwia to
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Narzędzie - co jest wskazane?
Wskaźnik postępu (np. „strona 3 z 7” czy „20%”)
Prosty format odpowiedzi, unikanie dużych tabel i
niepotrzebnych elementów graficznych itp.
Sprawdzenie, czy serwer z ankietą wytrzyma jednoczesny
napływ wielu respondentów
Należy unikać zbyt długich badań, zwłaszcza w przypadku
respondentów indywidualne
W długich badaniach szczególnie ważne jest umożliwienie
przerwania i zapisania badania oraz powrotu do niego
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
KILKA UWAG NA ZAKOŃCZENIE
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Na co uważać?
Czy w ogóle badanie internetowe ma sens w przypadku
danej populacji i danego zagadnienia?
Uważajmy na generalizację z próby internetowej
Od początku projektu zbierajmy dobre dane kontaktowe
Zadbajmy o motywację badanych i realizację próby
Wybierzmy dobre narzędzie – ankieta internetowa to nie
tylko kwestionariusz na stronie
Badania CAWI nie są już metodą nowatorską – spytajmy o
doświadczenia i kompetencje wykonawców
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Nie tylko ankiety
Wykorzystanie CAWI w ewaluacji będzie coraz częstsze, ale
nie jest to jedyna metoda badań ilościowych w internecie
Wiele nowych metod, wykorzystujący dane zbierane online:
• Site-centric: statystyki korzystania ze stron internetowych
• Badania treści dostępnych w sieci i powiązań między nimi, z użyciem crawlerów i automatycznej analizy treści
• Wykorzystanie innych danych dostępnych w internecie, na przykład o zapytaniach w wyszukiwarkach online
W badaniach użyteczności serwisów lepiej niż ankiety
sprawdzają się testy scenariuszowe i obserwacje
Ankiety internetowe w badaniach ewaluacyjnych Jan Zając
Dziękuję za uwagę!
Dr Jan Zając
Prezentacja jest dostępna na stronie www.snrs.pl w sekcji Aktualności
Dziękuję dr Dominikowi Batorskiemu za udostępnienie wykresów