(Nie)wiarygodne obserwacje praktyków UX – o głupich błędach w interpretacji wyników

KRZYSZTOF PIWOWAR · DESIGN MANAGER · @XYSIU

(Nie)wiarygodne obserwacje praktyków UX

czyli o głupich błędach w interpretacji wyników

Ekspert

Rezultaty

Jednak czasem…

W czym problem?

Troszkę teorii… ale tylko odrobinę. Obiecuję!

Prawdopodobieństwo Szansa na wydarzenie się czegoś

w ustalonych warunkach (kontekście). Nie istnieje coś takiego jak 100% pewność. Statystyka zawsze porusza się w obszarze

zarządzania ryzykiem.

Made with by PGS Software ·

Dyskretne Skończone wartości, które da się policzyć

np. liczba jabłek.

Ciągłe Dane o nieskończonej

liczbie możliwych wartości np. czas.

Rodzaje danych

10

Made with by PGS Software · 11

Średnia (populacji) Wartość wyniku, jaką spodziewamy się uzyskać najczęściej.

Poziom istotności Najmniejsze p-stwo, że uzyskany

wynik jest dalej prawidłowy (będziemy brali go pod uwagę).

Przedział ufności Jak bardzo pewni jesteśmy, że dana wartość mieści się w przedziale, który ustaliliśmy.

0,0 (0%)

1,0 (100%)

PRAW

DO

POD

OBI

EŃST

WO

Rozkład Gaussa

Dane dyskretneoraz historia pewnego przypadku

w interpretacji wyników


Nazywasz się Krzysztof Kajak i pracujesz w firmie “Daleko od Brzegu”.

Chcesz kupić nowe wiosła. Podesłany przez znajomą link na Facebooku, kieruje cię na stronę wiosluj.pl.

Zamów zestaw drewnianych wioseł i poinformuj moderatora, gdy wykonasz zadanie.

HISTORIA PEWNEGO BADANIA 13


10 8 2

Wyniki badania

14

Uczestników Pojawili się na badaniu i przeszli przez cały scenariusz badawczy.

Sukces Zakończyły się zamówieniem wioseł. Oznaczamy jako “1”.

Porażka Zakończyły się brakiem zamówienia wioseł. Oznaczamy jako “0”.


80%zrealizowało zadanie → Ile zrealizuje w przyszłości?


80% zrealizowało zadanie → 80% zrealizuje w przyszłości

Co mówi matma?


Krok 1 - średnia i jej normalizacja

0,0 (0%)

1,0 (100%)

PRAW

DO

POD

OBI

EŃST

WO


Krok 1 - średnia i jej normalizacja (metodą Walda)

19

SRno ≈ 0,72SRar = 0,80


Krok 1 SRno ≈ 0,72

Krok 2 - błąd standardowy średniej

0,0 (0%)

1,0 (100%)

PRAW

DO

POD

OBI

EŃST

WO


Krok 2 - błąd standardowy (średniej)

21

SEM ≈ 0,12



Krok 2 SEM ≈ 0,12

Krok 3 - margines błędu

0,0 (0%)

1,0 (100%)

PRAW

DO

POD

OBI

EŃST

WO



23


51%wiarygodność kasynowa

24


80%wiarygodność badawcza

25


90%wiarygodność przemysłowa

26


95%wiarygodność publikacyjna

27


99%wiarygodność farmaceutyczna

28



29

ME ≈ 0,24



Krok 2 SEM ≈ 0,12

Krok 3 ME ≈ 0,24

95% przedział ufności / wiarygodność

0,0 (0%)

1,0 (100%)

PRAW

DO

POD

OBI

EŃST

WO


Krok 4 - przedział ufności

31

dLO ≈ 0,48 dUP ≈ 0,96


0,0

0,5

1,0

ME ≈ 0,24

SRno ≈ 0,72

1


80% zrealizowało zadanie → 80% zrealizuje w przyszłości


80% zrealizowało zadanie → 48-96% zrealizuje w przyszłości

95%

measuringu.com/wald

https://measuringu.com/wald

Dane ciągłeoraz kolejna historia pewnego przypadku

w komunikacji wyników


Nazywasz się Anna Netflik i właśnie obejrzałaś nowy trailer serialu Stranger Things.

Na skali 1-10 oceń, jak bardzo ci się spodobał.


1 10


10 2, 4, 3, 7, 8, 9, 6, 7, 8, 5

Wyniki badania

38

Uczestników Obejrzeli trailer i ocenili go za pomocą dołączonej skali.


5,9ocena trailera teraz → Jaka ocena trailera w przyszłości?


5,9 średnia ocen teraz → 5,9 średnia ocen w przyszłości

Co mówi matma?


Krok 1 - obliczenie średniej

Krok 2 - a) odchylenie standardowe bonus

b) błąd standardowy


95% przedział ufności / wiarygodność

0,0 (0%)

1,0 (100%)

PRAW

DO

POD

OBI

EŃST

WO



43

SR = 5,9


Krok 2 - obliczenie odchylenia standardowego

44

SD ≈ 2,33

bonus


Krok 2 - błąd standardowy

45

SE ≈ 0,74



46

ME ≈ 1,44


Krok 4 - przedział ufności

47

dLO ≈ 4,46 dUP ≈ 7,35


5,9 średnia ocen teraz → 5,9 średnia ocen w przyszłości


5,9 śr. ocen teraz → 4,46 - 7,35 śr. ocen w przyszłości

95%

measuringu.com/ci-calc

https://measuringu.com/ci-calc

Porównywanieróżnych typów wyników


Badasz pięć wersji tego samego narzędzia. Każda wersja testowana jest przez różną ilość różnych osób.

Na zakończenie badania prosisz każdą z osób, aby oceniła przydatność testowanej wersji.

Chcesz porównać wyniki i stwierdzić, które rozwiązania są dobre i podbiją świat.



0

100

200

A B C D E

53

Wyniki badania

Co mówi matma?


0

100

200

A B C D E

Wyniki badania


0

100

200

A B C D E

Nie nachodzą na siebie - istnieje znacząca różnica

Wyniki badania


0

100

200

A B C D E

Wyniki badaniaCzęściowo nachodzą na siebie - wykorzystaj test t Studenta


0

100

200

A B C D E

Częściowo nachodzą na siebie - wykorzystaj test t Studenta

Wyniki badania


0

100

200

A B C D E

Całkowicie nachodzą na siebie - brak znaczącej różnicy

Wyniki badania


Wyniki badania

A, B, C, D, E

A, C, B, D, E

A, D, B, C, E

A, D, C, B, E

A, B, C, E, D

A, C, B, E, D


Na badanie zostało zrekrutowanych 30 osób. Grupa 15 osób wykonała zadania dla wersji A i wypełniła arkusz oceny. Następnie wykonała te same zadania dla wersji B i ponownie wypełniła arkusz oceny. Kolejne 15 osób wykonało zadania i wypełniło oceny najpierw dla B a potem dla A. Łącznie masz 30 ocen dla A i 30 ocen dla B.Która wersja jest lepsza?



30

Wyniki badania

62

Uczestników Wykonali scenariusz zadań i wypełnili arkusz ocen.

…

Co mówi matma?


Dyskretne

Czy grupy są niezależne?

tak nie

• Chi-squre• Adj. Wald Diff.

in proportions

• N-1 Two Proportion Test

• Fisher Exact Test

tak nie

• Adj. Wald CI for Diff. in Matched Proportions

• McNemar Exact Test

tak nie

Trzy lub więcej grup?


Ciągłe

tak nie


tak nie

• ANOVA• Multiple Two-Sample t

• Two-Sample t

tak nie

• ANOVA• Multiple paiered t

• Paired t



64

Na podstawie Quantifying The User Experience, Jeff Sauro, James R. Lewis


Dyskretne


tak nie


in proportions



tak nie



tak nie



tak

tak nie


• Two-Sample t

tak nie



• Paired t


nie

Ciągłe


65



Dyskretne


tak nie


in proportions



tak nie



tak nie



tak

tak nie


• Two-Sample t

tak nie



• Paired t


nie

Ciągłe


66



Dyskretne


tak nie


in proportions



tak nie



tak nie



tak

tak nie


• Two-Sample t

tak nie



• Paired t


nie

Ciągłe


67




68

SRRO ≈ -54,47


Krok 2 - obliczenie odchylenia standardowego

69

SD ≈ 14,33


Krok 3 - obliczanie t

70

t ≈ 20,817

Five trillion to one! Punter scoops second lottery win

with the same numbers

źródło artykułu

Made with by PGS Software · Definicja dla o(d)pornych

p - prawdopodobieństwo testowe ilustruje, jaka jest szansa, że zaobserwowana różnica jest dziełem przypadku (nie reguły).

72


Krok 4 - obliczanie p

73

p ≈ 0,000000001

usablestats.com/calcs/tdist

http://www.usablestats.com/calcs/tdist


Na 99.99% wersja B ma znacząco różne wyniki oceny od A. Dlatego wersja z wyższymi ocenami (B) jest lepsza.

99%

graphpad.com/quickcalcs

https://www.graphpad.com/quickcalcs/

Zapamiętajwnioski dla zabieganych (lub zmęczonych)


Bądź jak Renata Renata włożyła wiele starań w opracowanie wiarygodnej interpretacji wyników swoich badań. Nie była leniem. Bądź jak ona.

77


Statystyka nie gryzie Statystyka i matematyka nie są straszne. Wystarczy zapamiętać kilka prostych zasad. Nie musisz znać wzorów na pamięć. Wykorzystaj…

78


Kalkulatory Mamy czasy, gdzie technologia pomaga ludziom. Czemu więc z niej nie skorzystać? Zapomnij o liczeniu na kartce czy w Excelu. Skorzystaj z algorytmu.

79


Hipotezy vs. fakty Już wiesz, że interpretacja ma kluczowe znaczenie dla dalszych decyzji. Oprzyj je o fakty. Nie koloruj rzeczywistości i nie idź na skróty.

80


Decyzje Samodzielnie podejmuj decyzje. Nawet, jeśli będziesz ignorować fakty, rób to świadomie i z pełną odpowiedzialnością.

81


Dokładność Jeśli uzyskana dokładność cię nie satysfakcjonuje, szukaj sposobów na zwiększenie liczby wyników, którymi dysponujesz. Teraz już wiesz, jak to działa.

82

Co mówi matma?


Stosując się do tych zasad nie popełnicie głupich błędów w interpretacji wyników.

80%

Bądźmy w kontakcieKrzysztof Piwowar

@xysiu

1. How confident do you need to be in your research? (źródło). 2. Strong MeasuringU (źródło). 3. Z-score calculator (źródło). 4. Confidence interval calculator for a completion rate (źródło). 5. Confidence interval calculator (źródło). 6. Percentiles from the t-Distribution Calculator (źródło). 7. Kalkulatory - Quick calcs (źródło). 8. Kalkulatory - Usable Stats (źródło). 9. Jaki test statystyczny dobrać? (źródło). 10. Pojęcia stosowane w analizie statystycznej (źródło).

LINKI

https://measuringu.com/confidence-levels/

https://measuringu.com

https://measuringu.com/zcalcp/

https://measuringu.com/wald/

https://measuringu.com/ci-calc/

http://www.usablestats.com/calcs/tdist

https://www.graphpad.com/quickcalcs/

http://www.usablestats.com/calcs.php

http://www.naukowiec.org/test-statystyczny.html

https://www.ibm.com/support/knowledgecenter/pl/SSEP7J_10.2.0/com.ibm.swg.ba.cognos.ug_cr_rptstd.10.2.0.doc/c_id_rs_stats.html

11. Trochę linków o statystyce (źródło). 12. Garść informacji o istotności statystycznej/wiarygodności (źródło). 13. Stosowane przedziały wiarygodności (źródło). 14. Książka Quantifying the User Experience: Practical Statistics

for User Research, Jeff Sauro, James R. Lewis (źródło). 15. Unsplash - beautiful free photos (źródło).

LINKI

http://www.naukowiec.org/wiedza/statystyka.html

https://measuringu.com/statistically-significant/

https://measuringu.com/confidence-levels/

https://www.goodreads.com/book/show/13515351-quantifying-the-user-experience

https://unsplash.com

KRZYSZTOF PIWOWAR · @XYSIU

Dzięki za cierpliwość!Odwiedź pgs-soft.com

(Nie)wiarygodne obserwacje praktyków UX – o głupich błędach w interpretacji wyników

Design

Transcript of (Nie)wiarygodne obserwacje praktyków UX – o głupich błędach w interpretacji wyników