Błąd wynikający z braku odpowiedzi

Dobór próby w badaniach 12 maja 2014

Przykład błędu z operatu – wybory prezydenckie w USA

w 1936 roku

• Franklin Delano Roosevelt vs. Alf Ladon

• Sondaż The Literary Digest (2,4 milionów osób) – Landon 57%, Roosevelt 43%

• Wyniki wyborów – Roosevelt 62%, Landon 38%

• Dlaczego tak się stało?

Przykład błędu z operatu – wybory prezydenckie w

USA w 1936 roku

• The Literary Digest – wysyłka ankiet do 10 milionów osób z książek telefonicznych i list członkowskich różnych klubów

• Wykorzystano odpowiedzi 2,4 miliona osób spośród 10 milionów wylosowanych do próby

• Odmowa odpowiedzi• Nieobecność

respondenta• Przeoczenie ankietera

Skutki braku odpowiedziZmniejszenie próby

Obciążenie estymatorów

Przyczyny zniekształcenia wyników:

Im większa proporcja osób nie udzielających odpowiedzi, tym większy błąd

,gdzie R – proporcja udzielonych odpowiedzi, n – wielkość próby, r – ilość udzielonych odpowiedzi

Wielkość próby wynosi 1200 osób. Otrzymano 1000 odpowiedzi.Ile wynosi proporcja udzielonych odpowiedzi, a ile – proporcja braku odpowiedzi?

Błąd wynikający z braku odpowiedzi (non-response error)

𝑠𝑢𝑟𝑣𝑒𝑦𝑠𝑡𝑎𝑟𝑡𝑖𝑛𝑔𝑟𝑎𝑡𝑒=𝑙𝑖𝑐𝑧𝑏𝑎𝑟𝑜𝑧𝑝𝑜𝑐𝑧 ę h𝑡𝑦𝑐 𝑎𝑛𝑘𝑖𝑒𝑡

𝑙𝑖𝑐𝑧𝑒𝑏𝑛𝑜ść 𝑝𝑟 ó𝑏𝑦

Stopień realizacji próby (survey starting rate)

Nie wypełniony cały kwestionariusz (unit-non response)

Nie wypełnione niektóre pozycje kwestionariusza(item-non response)

Przyczyny zniekształcenia wyników:Istotność błędu wynikającego z braku odpowiedzi zależy od zakresu, w jakim średnia populacyjna obliczona w próbie dla warstwy osób nie udzielających odpowiedzi różni się od średniej obliczonej dla warstwy odpowiadających

Udzielający odpowiedzi Nie udzielający odpowiedzi

zł2,750

zł3,650

Średni dochód na osobę w rodzinie

Każdy powód nieudzielenia odpowiedzi w inny sposób wpływa

na wyniki!• Brak możliwości przeprowadzenia

wywiadu (choroba, bariera językowa itp.)

• Nieodnalezieni respondenci (np. przeprowadzka)

• Nieobecni w domu• Odmowa odpowiedzi (może zależeć

od rodzaju pytań!)

Od czego zależy proporcja nie udzielających odpowiedzi?

• Rodzaj populacji• Metoda zbierania danych• Rodzaj i forma zadawanych pytań• Umiejętności ankietera• Liczba ponownych prób kontaktu z

respondentem

Jak oszacować efekt braków odpowiedzi? Przykład.

Pytamy ludzi o ich preferencje polityczne. Na 3000 osób, które spytaliśmy, 10% (300 osób),

nie udzieliło odpowiedzi. Załóżmy, że wiemy z innych źródeł, że spośród

tych osób, 70% zarabia rocznie mniej około 30 tysięcy złotych

Wiemy też, że 90% osób uzyskujących dochody w tym przedziale głosuje na Partię Ludzi Na Dorobku.

Dzięki temu możemy szacować, że 189 osób, które nie udzieliły odpowiedzi, to zwolennicy PLND, bo: .

Poziom realizacji prób OBOP w latach 1973-2003

Z. Kołakowska; Metodologiczne problemy zjawiska niedostępności w badaniach sondażowych; Warszawa 2006.

Przyczyny braków udziałuwylosowany respondent nie żyje

2.6%

wylosowany respondnent zmienił miejsce zamieszkania i nie można się z nim skontak-

tować17.3%

nie można się skontaktować z nikim pod wskazanym adresem

12.3%

błędny adres1.2%

inne0.2%

wylosowany respondent nieobecny/nieuchwytny przez cały okres realizacji

35.8%

wylosowany respondent odmówił chęci wz-ięcia udziału

25.0%

wylosowany responent jest niesprawny5.5%

wylosowany respondent nie spełnił kryteriów badania0.1%

Z. Kołakowska; Metodologiczne problemy zjawiska niedostępności w badaniach sondażowych; Warszawa 2006.

Przyczyny braku odpowiedzi

odmowa57%

czasowa nieobecność8%

nikogo nie ma w domu22%

niemożność udziału w badaniu (choroba lub

podeszły wiek)10%

inne3%

Badanie Budżetów Gospodarstw Domowych 2012, GUS

Response rate dla płci

sty-05 lut-05 mar-05 kwi-05 maj-05 cze-05 lip-05 sie-05 wrz-05 paź-05 lis-05 ogółem 2005

0.62

0.61

0.58

0.62

0.61

0.60

0.59

0.56

0.58

0.59

0.58

0.600.60

0.58

0.56

0.61

0.56 0.56

0.55

0.50

0.57

0.53

0.57

0.56

kobiety mężczyźni

Z. Kołakowska; Metodologiczne problemy zjawiska niedostępności w badaniach sondażowych; Warszawa 2006.

Response rate dla wieku

Z. Kołakowska; Metodologiczne problemy zjawiska niedostępności w badaniach sondażowych; Warszawa 2006.

sty-05 lut-05 mar-05 kwi-05 maj-05 cze-05 lip-05 sie-05 wrz-05 paź-05 lis-05 gru-05 ogółem 2005

0.35

0.40

0.45

0.50

0.55

0.60

0.65

0.70

0.67

0.630.62

0.61

0.67

0.620.61

0.58

0.68

0.61 0.61

0.65

0.63

0.510.50 0.50

0.56

0.48

0.56

0.47 0.470.48

0.44

0.510.50 0.50

0.670.66

0.59

0.65

0.67

0.62

0.57

0.54

0.59

0.56 0.56

0.54

0.60

65+ 25-34 18-24

Response rate dla wieku

Z. Kołakowska; Metodologiczne problemy zjawiska niedostępności w badaniach sondażowych; Warszawa 2006.

sty-05 lut-05 mar-05 kwi-05 maj-05 cze-05 lip-05 sie-05 wrz-05 paź-05 lis-05 gru-05 ogółem 2005

0.40

0.45

0.50

0.55

0.60

0.65

0.70

0.75

0.80

0.73

0.71

0.67

0.74

0.700.71

0.73

0.65

0.700.69

0.68 0.68

0.70

0.62

0.580.57

0.590.60

0.550.56

0.59

0.56

0.52

0.550.54

0.570.57

0.60

0.53

0.63

0.59

0.54 0.540.53

0.57

0.54

0.56

0.54

0.56

0.53

0.510.52

0.51

0.49

0.51

0.46

0.41

0.47 0.47

0.490.50

0.49

wieś miasto do 20 tys. miasto 20-100 tys. miasto powyżej 100 tys.

Różnice regionalne

jasny odcień– mniejszy wskaźnik odpowiedziciemny odcień– większy wskaźnik odpowiedzi

BAEL 2012

Braki odpowiedzi w pytaniu o dochody

ESS 2010 PGSS 2008 PBC 2012

35%

12%

44%

J. Rutkowski, Braki odpowiedzi na pytania o wysokość dochodów w badaniach sondażowych. Przegląd problematyki; Warszawa 2012.

Sposoby radzenia sobie z brakami odpowiedzi

• Lepsze procedury docierania do respondentów

• Próby rezerwowe• Ważenie poststratyfikacyjne• Dodatkowe badania

J. Rutkowski, Systematyczność braków danych w badaniach sondażowych; Warszawa 2012.; http://nastrazysondazy.uw.edu.pl/konferencja2/J_Rutkowski.pdf

Ćwiczenie 1

• Twoje zadanie polega na zbadaniu opinii mieszkańców gminy Orla (powiat bielski) na temat zdrowego odżywiania.

• Skonstruuj próbę badawczą do takiego badania.

• Określ szacunkowy, oczekiwany odsetek braku odpowiedzi

• Zastanów się nad sposobami zmniejszenia braków odpowiedzi w tym badaniu.

Ćwiczenie 2

• Twoje zadanie polega na zbadaniu gustów muzycznych studentów Uniwersytetu w Białymstoku

• Zastanów się, za pomocą jakiego narzędzia badawczego mógłbyś skorzystać

• Skonstruuj próbę badawczą do takiego badania.

• Zastanów się nad sposobami zachęcenia studentów do wzięcia udziału w badaniu.

Ćwiczenie 3

• Twoje zadanie polega na zbadaniu stylu i komfortu życia mieszkańców Białegostoku

• Zastanów się, za pomocą jakiego narzędzia badawczego mógłbyś skorzystać

• Skonstruuj próbę badawczą do takiego badania.

• Zastanów się nad sposobami minimalizacji problemu braku odpowiedzi.