Magiczna liczba użytkowników…

…czyli: ile osób powinno zostać przetestowanych w badaniach użyteczności?

Krystian MrozekA-Symetria

12.02.2010 r., Poznań

Magiczna liczba użytkowników... 2

Agenda

1. Why You Only Need to Test with 5 Users

2. Ilość badanych wg Stevena Kruga

3. Atak na „magiczną liczbę 5”

4. Jeśli nie 5… to może 8?

5. Dobieramy liczbę użytkowników do badania

Magiczna liczba użytkowników... 3

Why You Only Need to Test with 5 Users

N(1-(1-L)n)

http://www.useit.com/alertbox/20000319.html

Magiczna liczba użytkowników... 4

Why You Only Need to Test with 5 Users

• Jeśli porównasz koszt badań z liczbą wykrytych błędów, to najlepsze wyniki otrzymujemy z testów z 5 użytkownikami.

• Przeprowadzaj możliwie największą ilość małych testów.

• Test z 15 użytkownikami pozwala wykryć 100% błędów.

• 3 testy z 5 użytkownikami są lepsze niż 1 test z 15 użytkownikami, gdyż pozwalają poprawić projekt pod kontem użyteczności, a nie jedynie wykryć jego słabe strony.

• Jeśli ze strony korzystają wyraźnie różne grupy użytkowników, musisz przeprowadzić większe testy.

• Najlepiej: 3-4 badanych - jeśli dwie grupy, 3 badanych - jeśli więcej grup.

http://www.useit.com/alertbox/20000319.html

Magiczna liczba użytkowników... 5

Ilość badanych wg Stevena KrugaJeden test

z 8 użytkownikami

Dwa testy z 3 użytkownikami

Pierwszy test Drugi test

Całkowita liczba znalezionych problemów: 9

Całkowita liczba znalezionych problemów: 5

Ośmiu użytkowników może odkryć więcej problemów w jednym teście.

Trzech użytkowników nie odkryje tylu problemów w jednym teście.

Jednak w drugim teście, jeśli poprzednie problemy zostaną rozwiązane, badani odnajdą błędy, których nie dostrzegli poprzednio.

Steve Krug „Nie każ mi myśleć!”

Magiczna liczba użytkowników... 6

• W każdym cyklu testów powinno być trzech lub czterech użytkowników.

• „Nie wolno zapomnieć, że o wiele ważniejsze jest przeprowadzenie większej ilości cykli testowania niż wyciąganie wszystkiego co się da z każdego cyklu.”

• Mała liczba użytkowników = szybsza analiza wyników + szybsze wprowadzenie modyfikacji.

Ilość badanych wg Stevena Kruga

Steve Krug „Nie każ mi myśleć!”

Magiczna liczba użytkowników... 7

Atak na „magiczną liczbę 5”

• Badania Spoola & Schroedera– 49 użytkowników - 4 strony e-commerce,– 378 wykrytych problemów.

CHI 2001 ● 31 March – 5 April „Testing Web Sites: Five Users Is Nowhere Near Enough”

by Jares Spool & Will Schroeder

Magiczna liczba użytkowników... 8

Atak na „magiczną liczbę 5”

• Woolrych & Cockton– Założenia formuły Nielsena - wszyscy badani są tacy sami, a

wszystkie błędy mają taką samą widoczność.– Analiza błędów nie polega tylko na ich wskazaniu, należy jeszcze

podać częstotliwość występowania danego problemu i jego rangę.

IHM-HCI'2001 „Why and When Five Test Users aren’t Enough” Alan Woolrych & Gilbert Cockton

Magiczna liczba użytkowników... 9

Jeśli nie 5…to może 8?

• Badanie Perfetti & Landesman• Zadanie: zakup płyty w serwisie e-commerce.• Założenia: 8 badanych znajdzie 85% problemów, w tym

większość poważnych.• Wyniki:

– 18 badanych = 247 wykrytych problemów, – 5 nowych problemów było wskazywane przez każdego z

badanych,– 5 badanych odnalazłoby 35% wszystkich problemów.

• Według obliczeń, strona zawierała ponad 600 błędów, do wykrycia których potrzebnych byłoby 90 badanych!

“Eight is Not Enough” By Christine Perfetti and Lori Landesman http://www.uie.com/articles/eight_is_not_enough/

Magiczna liczba użytkowników... 10

Dobieramy liczbę użytkowników do badania

“How To Specify the Participant Group Size for Usability Studies: A Practitioner’s Guide” Ritch Macefield,

JUS Vol. 5, Issue 1, November 2009, pp. 34-45

Dziękuję za uwagę