Skąd w badaniach użytkowników bierze się liczba 5

Skąd w badaniach użytkowników bierze się liczba 5

Piotr Jardanowski

A-Symetria

Skąd bierze się liczba 5 w badaniach użytkowników

Ilu użytkowników badać?

53 8 10 15 …

A-Symetria 2

Znana teoria Nielsena


Liczba badanych

5

Odsetek wykrytych problemów użyteczności

85%

A-Symetria 3


Co twierdzą eksperci?

• [Nielsen] Why You Only Need to Test With 5 Users

• [Woolrych & Cockton] Why and When Five Test Users aren’t Enough

• [Perfetti & Landesman] Eight is Not Enough

• [Spool & Schroeder]“Testing Web Sites: Five Users Is Nowhere Near Enough”

• “The “Magic Number 5″: Is It Enough for Web Testing?”

A-Symetria 4

Rzut monetą

• P = 1/2 – prawdopodobieństwo wyrzucenia orła lub reszki

• Ile razy musimy rzucić monetą,aby mieć 85% pewności, że przynajmniej raz zobaczymy reszkę?


• Powtórzenia: 3• 30 prób (93%):

5, 1, 1, 1, 2, 1, 2, 2, 1, 1, 2, 1, 1, 3, 5, 1, 1, 3, 1, 3, 2, 1, 1, 1, 1, 1, 1, 2, 1, 2

A-Symetria 5

Rzut monetą

• P = 1/2 – prawdopodobieństwo wyrzucenia orła lub reszki

• Ile razy musimy rzucić monetą,aby mieć 95% pewności, że przynajmniej raz zobaczymy reszkę?


• Powtórzenia: 4

A-Symetria 6

Rzut kostką

• P = 1/6 – prawdopodobieństwo wyrzucenia cyfry z puli: 1,2,3,4,5,6

• Ile razy musimy rzucić kostką,aby mieć 85% pewności, że przynajmniej raz wyrzucimy 1?


• Powtórzenia: 10• 30 prób (87%):

1, 1, 3, 2, 6, 2, 4, 6, 1, 2, 14, 23, 5, 7, 1, 7, 15, 1, 6, 1, 4, 6, 1, 1, 13, 1, 1, 1, 6, 2

A-Symetria 7

Rzut kostką

• P = 1/6 – prawdopodobieństwo wyrzucenia cyfry z puli: 1,2,3,4,5,6

• Ile razy musimy rzucić kostką,aby mieć 95% pewności, że przynajmniej raz wyrzucimy 1?


• Powtórzenia: 16

A-Symetria 8

Zależność

Powtórzenia = f(prawdopodobieństwo, pewność)


3 = f(0,5; 0,85) (reszka)

4 = f(0,5; 0,95) (reszka)

10 = f(0,5; 0,85) („1”)

16 = f(0,5; 0,95) („1”)

A-Symetria 9

Jak to odnieść do użytkownika


P – prawdopodo.

Pewność (85%, 95%)

Powtórzenia

Wystąpienia orła lub reszki

Wystąpienia liczby z puli 1,2,3,4,5,6

Wyrzucenia jednej strony

Wyrzucenia konkretnej liczby

Liczba wykonanych rzutów

Liczba wykonanych rzutów

Wystąpienia błędu w serwisie

Wykrycia błędu

Liczba badań = liczba badanych

A-Symetria 10

Liczba badanych - zależność

Liczba badanych = f(prawdopodobieństwo, pewność)


3 = f(0,5; 0,85)

4 = f(0,4; 0,85)

5 = f(0,3; 0,85)

9 = f(0,2; 0,85)

18 = f(0,1; 0,85)

http://www.measuringusability.com/problem_discovery.php#estp

A-Symetria 11

Skąd zatem teoria Nielsena?


Liczba badanych

5

Odsetek wykrytych problemów użyteczności

85%

Prawdopodobieństwo wystąpienia błędu = 0,31

A-Symetria 12

Zmiana prawdopodobieństwa wystąpienia błędu

Skąd bierze się liczba 5 w badaniach użytkownikówA-Symetria 13

W czym tkwi problem

Nikt nie wie, jakie jest prawdopodobieństwo, że użytkownik natrafi na jakiś problem.

Nikt nawet nie wie, że problem występuje, bo gdyby wiedział to by ten błąd naprawił.

Co dalej?


Szacowanie prawdopodobieństwa wystąpienia błędu


Zbudowanie macierzy wymaga wprowadzenia następujących elementów:- Liczba badanych, - Liczba wykrytych błędów,- Prawdopodobieństwo.

A-Symetria 15



Uzupełniamy macierz w oparciu o wyniki wcześniej uzyskane np.:- Próba testowa, - Wcześniejsze badania.

A-Symetria 16



Na podstawie powtarzalności wyników i zastosowania odpowiedniej formuły otrzymujemy informacje na temat przewidywanej wielkości próby.

A-Symetria 17

Testowanie cykliczne


Testowanie cykliczne w liczbach


Cykl I

Liczba błędów

Pozostałych

-

Nowych 100

Dany cyklWykryte 85

Niewykryte 15

Razem Wykryte 85

P=0,85 | Liczba badanych = 5 | P. błędu = 0,3

A-Symetria 19



Cykl I Cykl II

Liczba błędów

Pozostałych

- 15

Nowych 100 42

Dany cyklWykryte 85 48

Niewykryte 15 9

Razem Wykryte 85 133


A-Symetria 20



Cykl I Cykl II Cykl III

Liczba błędów

Pozostałych

- 15 9

Nowych 100 42 24

Dany cyklWykryte 85 48 28

Niewykryte 15 9 5

Razem Wykryte 85 133 161


A-Symetria 21



Cykl I Cykl II Cykl III Cykl IV

Liczba błędów

Pozostałych

- 15 9 5

Nowych 100 42 24 14

Dany cyklWykryte 85 48 28 16

Niewykryte 15 9 5 3

Razem Wykryte 85 133 161 177


A-Symetria 22



Cykl I Cykl II Cykl III Cykl IV Cykl V

Liczba błędów

Pozostałych

- 15 9 5 3

Nowych 100 42 24 14 8

Dany cyklWykryte 85 48 28 16 9

Niewykryte 15 9 5 3 2

Razem Wykryte 85 133 161 177 186


A-Symetria 23

A gdybyśmy od razu testowali 15


Cykl I

Liczba błędów

Pozostałych

-

Nowych 100

Dany cyklWykryte 100

Niewykryte 0

Razem Wykryte 100


Zmiany w projekcie generują nowych 50 błędów, których już nie badamy.

A-Symetria 24

15 vs 3 x 5


Cykl IIIJeden cykl

15Liczba

badanych15

161Wykryte

błędy100

19Pozostałe

błędy50

P=0,85 | Łączna liczba badanych = 15 | P. błędu = 0,3

A-Symetria 25

Uwaga

Nielsen nigdy nie powiedział, że: „wystarczy przebadać 5 osób.”


Nielsen powiedział: „Najlepsze wyniki pochodzą z testowania 5 użytkowników …

… i przeprowadzenia tak wielu cyklów badawczych na ile cię stać”*.

* „The best results come from testing no more than 5 users and running as many small tests as you can afford” http://www.useit.com/alertbox/20000319.html

A-Symetria 26

Dziękuję za uwagę

Piotr [email protected]

Skąd w badaniach użytkowników bierze się liczba 5

Documents

Transcript of Skąd w badaniach użytkowników bierze się liczba 5