Skąd w badaniach użytkowników bierze się liczba 5

Piotr Jardanowski

A-Symetria

Skąd bierze się liczba 5 w badaniach użytkowników

Ilu użytkowników badać?

53 8 10 15 …

A-Symetria 2

Znana teoria Nielsena

Skąd bierze się liczba 5 w badaniach użytkowników

Liczba badanych

5

Odsetek wykrytych problemów użyteczności

85%

A-Symetria 3

Skąd bierze się liczba 5 w badaniach użytkowników

Co twierdzą eksperci?

• [Nielsen] Why You Only Need to Test With 5 Users

• [Woolrych & Cockton] Why and When Five Test Users aren’t Enough

• [Perfetti & Landesman] Eight is Not Enough

• [Spool & Schroeder]“Testing Web Sites: Five Users Is Nowhere Near Enough”

• “The “Magic Number 5″: Is It Enough for Web Testing?”

A-Symetria 4

Rzut monetą

• P = 1/2 – prawdopodobieństwo wyrzucenia orła lub reszki

• Ile razy musimy rzucić monetą,aby mieć 85% pewności, że przynajmniej raz zobaczymy reszkę?

Skąd bierze się liczba 5 w badaniach użytkowników

• Powtórzenia: 3• 30 prób (93%):

5, 1, 1, 1, 2, 1, 2, 2, 1, 1, 2, 1, 1, 3, 5, 1, 1, 3, 1, 3, 2, 1, 1, 1, 1, 1, 1, 2, 1, 2

A-Symetria 5

Rzut monetą

• P = 1/2 – prawdopodobieństwo wyrzucenia orła lub reszki

• Ile razy musimy rzucić monetą,aby mieć 95% pewności, że przynajmniej raz zobaczymy reszkę?

Skąd bierze się liczba 5 w badaniach użytkowników

• Powtórzenia: 4

A-Symetria 6

Rzut kostką

• P = 1/6 – prawdopodobieństwo wyrzucenia cyfry z puli: 1,2,3,4,5,6

• Ile razy musimy rzucić kostką,aby mieć 85% pewności, że przynajmniej raz wyrzucimy 1?

Skąd bierze się liczba 5 w badaniach użytkowników

• Powtórzenia: 10• 30 prób (87%):

1, 1, 3, 2, 6, 2, 4, 6, 1, 2, 14, 23, 5, 7, 1, 7, 15, 1, 6, 1, 4, 6, 1, 1, 13, 1, 1, 1, 6, 2

A-Symetria 7

Rzut kostką

• P = 1/6 – prawdopodobieństwo wyrzucenia cyfry z puli: 1,2,3,4,5,6

• Ile razy musimy rzucić kostką,aby mieć 95% pewności, że przynajmniej raz wyrzucimy 1?

Skąd bierze się liczba 5 w badaniach użytkowników

• Powtórzenia: 16

A-Symetria 8

Zależność

Powtórzenia = f(prawdopodobieństwo, pewność)

Skąd bierze się liczba 5 w badaniach użytkowników

3 = f(0,5; 0,85) (reszka)

4 = f(0,5; 0,95) (reszka)

10 = f(0,5; 0,85) („1”)

16 = f(0,5; 0,95) („1”)

A-Symetria 9

Jak to odnieść do użytkownika

Skąd bierze się liczba 5 w badaniach użytkowników

P – prawdopodo.

Pewność (85%, 95%)

Powtórzenia

Wystąpienia orła lub reszki

Wystąpienia liczby z puli 1,2,3,4,5,6

Wyrzucenia jednej strony

Wyrzucenia konkretnej liczby

Liczba wykonanych rzutów

Liczba wykonanych rzutów

Wystąpienia błędu w serwisie

Wykrycia błędu

Liczba badań = liczba badanych

A-Symetria 10

Liczba badanych - zależność

Liczba badanych = f(prawdopodobieństwo, pewność)

Skąd bierze się liczba 5 w badaniach użytkowników

3 = f(0,5; 0,85)

4 = f(0,4; 0,85)

5 = f(0,3; 0,85)

9 = f(0,2; 0,85)

18 = f(0,1; 0,85)

http://www.measuringusability.com/problem_discovery.php#estp

A-Symetria 11

Skąd zatem teoria Nielsena?

Skąd bierze się liczba 5 w badaniach użytkowników

Liczba badanych

5

Odsetek wykrytych problemów użyteczności

85%

Prawdopodobieństwo wystąpienia błędu = 0,31

A-Symetria 12

Zmiana prawdopodobieństwa wystąpienia błędu

Skąd bierze się liczba 5 w badaniach użytkownikówA-Symetria 13

W czym tkwi problem

Nikt nie wie, jakie jest prawdopodobieństwo, że użytkownik natrafi na jakiś problem.

Nikt nawet nie wie, że problem występuje, bo gdyby wiedział to by ten błąd naprawił.

Co dalej?

Skąd bierze się liczba 5 w badaniach użytkownikówA-Symetria 14

Szacowanie prawdopodobieństwa wystąpienia błędu

Skąd bierze się liczba 5 w badaniach użytkowników

Zbudowanie macierzy wymaga wprowadzenia następujących elementów:- Liczba badanych, - Liczba wykrytych błędów,- Prawdopodobieństwo.

A-Symetria 15

Szacowanie prawdopodobieństwa wystąpienia błędu

Skąd bierze się liczba 5 w badaniach użytkowników

Uzupełniamy macierz w oparciu o wyniki wcześniej uzyskane np.:- Próba testowa, - Wcześniejsze badania.

A-Symetria 16

Szacowanie prawdopodobieństwa wystąpienia błędu

Skąd bierze się liczba 5 w badaniach użytkowników

Na podstawie powtarzalności wyników i zastosowania odpowiedniej formuły otrzymujemy informacje na temat przewidywanej wielkości próby.

A-Symetria 17

Testowanie cykliczne

Skąd bierze się liczba 5 w badaniach użytkownikówA-Symetria 18

Testowanie cykliczne w liczbach

Skąd bierze się liczba 5 w badaniach użytkowników

Cykl I

Liczba błędów

Pozostałych

-

Nowych 100

Dany cyklWykryte 85

Niewykryte 15

Razem Wykryte 85

P=0,85 | Liczba badanych = 5 | P. błędu = 0,3

A-Symetria 19

Testowanie cykliczne w liczbach

Skąd bierze się liczba 5 w badaniach użytkowników

Cykl I Cykl II

Liczba błędów

Pozostałych

- 15

Nowych 100 42

Dany cyklWykryte 85 48

Niewykryte 15 9

Razem Wykryte 85 133

P=0,85 | Liczba badanych = 5 | P. błędu = 0,3

A-Symetria 20

Testowanie cykliczne w liczbach

Skąd bierze się liczba 5 w badaniach użytkowników

Cykl I Cykl II Cykl III

Liczba błędów

Pozostałych

- 15 9

Nowych 100 42 24

Dany cyklWykryte 85 48 28

Niewykryte 15 9 5

Razem Wykryte 85 133 161

P=0,85 | Liczba badanych = 5 | P. błędu = 0,3

A-Symetria 21

Testowanie cykliczne w liczbach

Skąd bierze się liczba 5 w badaniach użytkowników

Cykl I Cykl II Cykl III Cykl IV

Liczba błędów

Pozostałych

- 15 9 5

Nowych 100 42 24 14

Dany cyklWykryte 85 48 28 16

Niewykryte 15 9 5 3

Razem Wykryte 85 133 161 177

P=0,85 | Liczba badanych = 5 | P. błędu = 0,3

A-Symetria 22

Testowanie cykliczne w liczbach

Skąd bierze się liczba 5 w badaniach użytkowników

Cykl I Cykl II Cykl III Cykl IV Cykl V

Liczba błędów

Pozostałych

- 15 9 5 3

Nowych 100 42 24 14 8

Dany cyklWykryte 85 48 28 16 9

Niewykryte 15 9 5 3 2

Razem Wykryte 85 133 161 177 186

P=0,85 | Liczba badanych = 5 | P. błędu = 0,3

A-Symetria 23

A gdybyśmy od razu testowali 15

Skąd bierze się liczba 5 w badaniach użytkowników

Cykl I

Liczba błędów

Pozostałych

-

Nowych 100

Dany cyklWykryte 100

Niewykryte 0

Razem Wykryte 100

P=0,85 | Liczba badanych = 15 | P. błędu = 0,3

Zmiany w projekcie generują nowych 50 błędów, których już nie badamy.

A-Symetria 24

15 vs 3 x 5

Skąd bierze się liczba 5 w badaniach użytkowników

Cykl IIIJeden cykl

15Liczba

badanych15

161Wykryte

błędy100

19Pozostałe

błędy50

P=0,85 | Łączna liczba badanych = 15 | P. błędu = 0,3

A-Symetria 25

Uwaga

Nielsen nigdy nie powiedział, że: „wystarczy przebadać 5 osób.”

Skąd bierze się liczba 5 w badaniach użytkowników

Nielsen powiedział: „Najlepsze wyniki pochodzą z testowania 5 użytkowników …

… i przeprowadzenia tak wielu cyklów badawczych na ile cię stać”*.

* „The best results come from testing no more than 5 users and running as many small tests as you can afford” http://www.useit.com/alertbox/20000319.html

A-Symetria 26

Dziękuję za uwagę

Piotr Jardanowskipiotr.jardanowski@symetria.pl