Post on 26-May-2015
Miary ilościowe w testach użyteczności
eryk orłowskidyrektor zarządzający @ Komitywa.com
eryk@komitywa.com
3
agenda» zastosowanie
» fakty i mity
» dobór miar do projektu
» miary wydajności (performance)
» miary problemów (issue-based)
» self-reported
» behawioralne i fizjologiczne
» kombinowane
» po co nam miary ilościowe?
4
Zastosowanie miar ilościowych
Pozwalają:
» oszacować skalę problemu
» śledzić postępy w projekcie
» porównać projekty/produkty
» odpowiadać na trudne pytania o ROI
5
Fakty i mity
» Mit: to się nie nadaje do szybkich/małych projektów
badawczych
– Prawda: zastosowanie kategorii ilościowych pozwala nadać
problemom właściwą hierarchię, w zależności od wagi
» Mit: dla problemów użytkowników mojego serwisu nie
znajdę adekwatnych miar do zastosowania
– Prawda: co chcesz mierzyć? Można mierzyć reakcje
emocjonalne, rozkład uwagi, poziom stresu...
» Mit: rejestracja danych zajmuje zbyt wiele czasu
– Prawda: dane są rejestrowane w ramach sesji badawczej
6
Dobór miar do projektu
Przykładowy dobór ze względu na cel badania
» Cel: wykonalność transakcji
– wykonanie zadania (task success)
– statystyki serwisu (współcznnik porzuceń)
– oszacowanie dotkliwości błędów
– efektywność procesu
» Cel: porównanie projektów
– miary problemów
– self-reported
7
Miary wydajności
» Służą określeniu efektywności
» Oparte na możliwości realizacji konkretych
celów i zadań użytkowników
» Pozwalają oszacować wagę określonego
problemu
» Wskazują na to CO jest problemem, a nie
DLACZEGO
8
Miary wydajności: wykonanie zadania (task success)
» Wymaga zdefiniowania zadań o jasnym
zakończeniu
» Metody uzyskiwania danych:
– Ustna odpowiedź (może powodować problem w
interpretacji)
– Kwestionariusz/odpowiedź na pytanie zamknięte
» Rodzaje:
– Sukces binarny (gdy dotarcie blisko celu nie oznacza
wykonania zadania)
– Skala
9
Analiza i prezentowanie danych
» Sukces binarny:
– Success rate dla zadania
– dla (grup) użytkowników (np. doświadczeni vs.
niedoświadczeni, przedziały wiekowe)
– Warto uwzględniać przedziały ufności („jeżeli w grupie badanej 16
na 20 osób wykonało zadanie poprawnie, z 95% prawdopodobieństwem można
stwierdzić, że 58-95% populacji wykona to samo zadanie”)
» Skala
– % respondentów, którzy wykonali określoną część zadania
Miary wydajności: wykonanie zadania (task success)
10
» Użyteczność aplikacji webowych jest często funkcją czasu
poświęconego na wykonanie określonych zadań (poza
specyficznie zorientowanymi na wykonanie zadań wg. innych
parametrów – np. gry, e-learning)
» Pomiar wartości ważny w przypadku wykonywania zadań
cyklicznie powtarzanych przez użytkowników
» Analiza i prezentowanie:
– Średni czas dla zadania
– Zakresy (analiza korelacji pomiędzy segmentami użytkowników, a
przyjętymi zakresami)
– Progi (np. maksymalny akceptowalny, przyjęty na podstawie analizy
konkurencji)
Miary wydajności: czas wykonania (time-on-task)
11
Miary wydajności: błędy
Analiza błędów jest istotna:
» w przypadku potencjalnie istotnego wpływu na wydajność (np.
utrata wprowadzonych danych), jeżeli utrudnia wykonanie
zadania
» jeżeli może prowadzić do istotnych strat
» jeżeli uniemożliwia wykonanie zadania
» Analiza i prezentowanie:
– Częstotliwość (które zadania skutkują największą liczbą błędów);
dzielona przez liczbę możliwości popełnienia błędów w zadaniu (jeżeli
1+)
– % respondentów, którzy popełnili błąd w danym zadaniu
12
Miary wydajności: efektywność(efficiency)
» Miara „nakładów” niezbędnych do wykonania zadania – kliknięcia, naciśnięcia
przycisków
» Wysiłek może mieć charakter poznawczy (odnalezienie i zinterpretowanie
kontrolki) bądź fizyczny (użycie manipulatorów, wprowadzanie tekstu)
» Pomiar i analiza:
– Określenie akcji, które mają być mierzone
– Zdefiniowanie początku i końca akcji
– Akcje powinny być analizowane wyłącznie dla zadań wykonanych z sukcesem
– Wyniki: średnia dla zadania, „strata” dla zadania (kalkulowana na podstawie liczby stron
odwiedzonych/wszystkich/niezbędnych)
» Efektywność wg CIF: stosunek „task completion rate” do średniego czasu
wykonania zadania
13
» Precyzuje, jak wiele czasu i nakładów
wymaga osiągnięcie poziomu
zaawansowanego użytkownika
» Pomiar i analiza:
– Wielokrotna rejestracja wartości wybranych
miar
– Analiza wydajności dla zadań albo
zagregowana, w funkcji czasu
Miary wydajności: nauczalność(learnability)
14
Miary problemów(issues-based)
Identyfikowanie problemów to najczęściej wykonywane zadanie w
pracy badacza użyteczności. Problemy zwykle są wykrywane i
prezentowane w ujęciu jakościowym.
Problem:
»potencjalna przyczyna błędu
»czynnik uniemożliwiający wykonanie zadania
»czynnik wywołujący konfuzję
»wykonanie nieprawidłowej akcji
»błędna interpretacja
»niedostrzeżenie danego elementu
»niezrozumienie nawigacji
15
Miary problemów: dotkliwość błędu
» Niektóre błędy są bardziej dotkliwe niż
inne ;)
» Błędy mogą być klasyfikowane według
wpływu na doświadczenie użytkownika,
albo wielowymiarowo (wpływ na ux,
przewidywana częstotliwość
występowania, wpływ na cele biznesowe)
16
Miary problemów: wskaźniki
» Częstotliwość unikalnych problemów,
w funkcji czasu/iteracji
» Częstotliwość problemów per
użytkownik
» % użytkowników, którzy napotkali
określony problem
17
Self-reported
» Jedyny rodzaj miar, dostarczających informacji o postrzeganiu
aplikacji przez użytkowników
» Rejestracja danych:
– skala Likerta
– skala semantyczna
» Zastosowanie:
– ocena łatwości użycia
– miara oczekiwanej trudności zadania i zestawienie z oceną po zadaniu
– SUS (System Usability Scale)
– karty reakcji
– online: WAMMI (Website Analysis and Measurement Inventory), opiniac.pl
18
Miary behawioralne i fizjologiczne
» Face-tracking
» Eye-tracking
» Pomiar napięcia powierzchniowego
» Rytm serca
19
Miary kombinowane
» W oparciu o cel (przykładowy cel: użytkownicy wykonujący co najmniej 80% swoich
zadań w mniej niż średnio 70 sekund)
» SUM (Single Usability Metric)
– Ukończone zadania
– Liczba błędów per zadanie
– Skala satysfakcji
» Six Sigma
– Definiowanie akceptowalnych i nieakceptowalnych poziomów dla każdej z
mierzonych wielkości
– Określanie prawdopodobieństwa, z którym defekt wystąpi w danej próbie
(tzw. process sigma)
20
Po co nam miary ilościowe
» 12% redukcji czasu wykonania zadania
to dwunastoprocentowy wzrost
efektywności, czy dwunastoprocentowy
wzrost poziomu stresu?
» ważniejszy jest krótszy czas wykonania
zadania, czy satysfakcja użytkownika?
21
Demokraci, republikanie...» Nielsen: 100-osobowa
próba nie ujawniłaby ani
jednego użytkownika,
który popełni błąd.
» Jeff Sauro:wykorzystanie
formuły Nielsena
wymagałoby
przetestowania 225
osób. Test jakościowy
nie odpowie na pytanie,
ile osób popełni błąd.
» Tog: większość
użytkowników nie
popełnia błędu w
nieprawidłowo
skonstruowanym
interfejsie, zwykle
wykonują swoje zadania
dłużej
Dziękuję za uwagęwww.tnij.org/ilosciowo
eryk orłowski @ Komitywa.com
eryk@komitywa.com || 605 103 742 || gg# 2765