Agnieszka Jedynasta•Badaniami użyteczności i user experience zajmuję się od 2007 r.•Zaczynałam od projektowania obecnie zajmuje się badaniami•Mam na koncie ponad 200 projektów badawczych dla różnych branży (finanse, FMCG, usługi, transport, rolnictwo, wydawnictwa, portale, e-commerce)

Czy badać?

Kiedy?I w jaki sposób?

Far better an approximate answer to the right question, which is often vague, than an exact answer to the wrong question, which can always be made precise.- John Tukey

• Jak najwcześniej• Na każdym etapie• Ewaluacja• Monitoring

BadaniaRodzaje i zastosowanie

Koncepcja

Koncepcja BadaniaProjektowanie

Interakcji

Projektowanie Interface’u

Testowanie Prototypów

Wdrożenie

Testy Użytecznośc

i

9

Koncepcja

• Nie wymyślamy funkcjonalności!

• Burza mózgów: tylko dla potrzeb, celów, problemów• Potrzebujemy danych o końcowym użytkowniku• Zrób z użytkownika interesariusza (Stakeholder) projektu

• Praca domowa: czy każdy korzystał z usług naszej firmy jako klient?• Przekonuj do UCD, zadawaj pytania:

• „Kto będzie używał tego produktu?” • „Jakie problemy rozwiązuje produkt?”• „Jakie cele pomaga osiągnąć?”• „Produkt dla wszystkich to produkt dla nikogo”.

10

Badania

Koncepcja Badania Projektowanie Interakcji

Projektowanie Interface’u

Testowanie Prototypów

Wdrożenie

Testy Użyteczności

11

Badania• Dane ilościowe

• Wiek, płeć, przychód, traffic • Segmentacja

• Jakościowe: Rozpoznaj potrzeby!• Wywiady• Obserwacja uczestnicząca

• Projekty UE, Księgarnia

• Grupy Fokusowe - raczej nie• Służą bardziej do kreacji skojarzeń i pomysłów, a nie poznawaniu potrzeb,

celów i problemów

12

Wywiad

Wywiad swobodny, nieustrukturalizowany• Masz pewne tematy do poruszenia jednak nie jest to ankieta

Minimum 4 osoby z danej kategoriiNie miej oczekiwań wobec badanego:

• Ale to nie jest rozmowa, którą ma prowadzić badany

5 zasad dobrego wywiadu1. Temat: "Zachowania i Filozofia"

• Nie pytaj o preferencje co do produktu, funkcjonalności czy narzędzi.

• Pytaj o cele, potrzeby, motywacje, obawym, czynności.

2. Tylko otwarte pytania:

• "Czy wykorzystujesz Excela?”

• "Jak analizujesz dane, które ściągasz z konta bankowego?”

3. Nie wprowadzaj własnych słów

• „Jakie lokaty wybierasz"

• „W jaki sposób oszczędzasz?”

4. "Pogaduszka na bankiecie"

• to jest wywiad otwarty, nie "faszyzuj”

• Pogoda, Praca, Rodzina -> Temat1, Temat2, Temat3

5. Skupiaj się na świeżych wrażeniach

• Rekrutuj ludzi, którzy zajmowali się obiektem badania niedawno (albo są w trakcie)

• przywołuj sytuacje, "Ostatni raz kiedy wykonywałeś przelew…"

Indi Young: Mental Models14

O co warto pytać:

1. Miejsce

2. Częstotliwość

3. Inni ludzie: współpracują, przeszkadzają, czy ich nie ma?

4. Czy to jest trudne czy łatwe

5. Poszczególne kroki dochodzenia do celu

15

Analiza

• Warto mieć transkrypcję wywiadów• Wypisz osobno:• Cele i motywacje (osobiste, zawodowe, materialne, duchowe)• Poszczególne kroki konieczne do osiągnięcia celu• Kontekst – jakie zewnętrzne czynniki wpływają na ich decyzje?• Zaznaczaj powtarzające się wzorce

• Ignorujemy sugestie konkretnych funkcjonalności

16

Projektowanie Interakcji

Koncepcja BadaniaProjektowanie

Interakcji

Projektowanie Interface’u

Testowanie Prototypów

Wdrożenie

Testy Użyteczności

17

Persony

• Modele utworzone na podstawie badań• Najważniejsze są ich problemy, cele i motywacje

• Im mniej, tym lepiej (najlepiej jedna)

• Reprezentanci użytkowników• Najbardziej wymagający• Nie „średniacy”!

18

Persony• Pozwalają uniknąć:

– „Gumowego Użytkownika”

– Projektowania dla siebie

– Projektowania przypadków brzegowych (na nie będzie jeszcze czas)

– Świetne narzędzie komunikacji

– Zgodność i porozumienie wewnątrz zespołu projektowego

19

Źródło: Cooper, About Face

Cele

20

Źródło: Cooper, About Face

Cele - jeśli je zignorujemy

21

Testy Użyteczności

Koncepcja BadaniaProjektowanie

Interakcji

Projektowanie Interface’u

Testowanie Prototypów

Wdrożenie

Testy Użyteczności

22

Testy Użyteczności• Obserwacja użytkownika

– RITE

• Audyt ekspercki

• Badania zdalne

23

Obserwacja Użytkownika

• Plan minimum• Scenariusz

• Ludzie do badania (min. 3)

• Moderator

• Miejsce, w którym nikt nie będzie przeszkadzał

24

Scenariusz badania

1. Zadania z jasno postawionym celem

2. Nie podpowiadaj treścią zadania

3. Przygotuj „dummy data”

4. Badaj na prawdziwej treści

5. Zrób pretest

25

RITE

szybkie, laboratoryjne badania

użyteczności przeprowadzane w

cyklach badanie - zmiana.

• gdy chcesz mieć gwarancję zachowania poufności

badanych materiałów

• kiedy potrzebujesz szybkich wniosków nie masz

potrzeby przygotowywania obszernego raportu

• jeżeli grupa celowa Twojego produktu jest szeroka

• przy pilnych potrzebach badawczych, ale niewielkim

budżecie

• w krótkim czasie na wdrożenie dobrego produktu

Rekrutacja

• Motywacja i cel nad segmentacją/demografią• Dla badania wniosku kredytowego ważniejsze jest, czy badana

osoba brała (lepiej: jest w trakcie brania) kredytu, niż czy jej średnia pensja odpowiada dokładnie grupie docelowej

• Znajomość dziedziny.• „Przelewy do US”

• Unikaj „Zawodowych badanych”• Unikaj zbyt doświadczonych technicznie użytkowników• Nie badaj rodziny ani znajomych

29

Rekrutacja

• Ankieta rekrutacyjna:• Odrzucające pytania na początek (oszczędzisz czasu

sobie i badanym• Otwarte pytania/wielokrotne odpowiedzi zamiast

zamkniętych (Tak/Nie) -> trudniej oszukiwać• „Czy brał Pan/i udział w jakichkolwiek badaniach przez

ostatnie 6 miesięcy” -> „Kiedy ostatnio brała Pani udział w badaniach”

• „Czy w ciągu ostatnich 3 miesięcy brał Pan kredyt” -> „Czy korzystał Pan w ciągu ostatnich 3 miesięcy z usług banku? … Jakich?: zakładanie konta, inwestycje, kredyty, oszczędzanie, inne?”

30

Rekrutacja

• Ilu użytkowników badać?

• „The most striking truth of the curve is that zero users give zero insights.”

useit.com

31

Przeprowadzanie badania

1. Moderator, obserwator, organizator2. Powitanie: rozładuj napięcie i dopilnuj

szczegółów3. „Głośne myślenie”4. Nie podpowiadaj5. Nie oceniaj6. Notuj7. Zaproś innych uczestników projektu!

32

Analiza wyników

• Zwracaj uwagę na zachowania, nie na deklaracje• (Głośne myślenie traktujemy jako zachowanie)

• Opis zachowania (dane ilościowe i jakościowe)• Opisuj przyczyny problemów

• Opisuj konsekwencje problemów

• Dane ilościowe to wskazówka, a nie podstawa do wnioskowania statystycznego

• Rekomendacje

33

Obserwacja Użytkownika

• Zalety:• Dowiadujesz się o rzeczywistych problemach• Najlepsza forma do przekonania innych o

potrzebie zmiany

• Wady:• Ciężko przebadać cały obszar• Trzeba angażować więcej zasobów

(w porównaniu do audytu eksperckiego)

34

Audyt Ekspercki• Ekspert użyteczności (najlepiej minimum 2)• Sprawdzenie okeślonych kryteriów

• Szczegółowe „Tak/nie”• Abstrakcyjne

• Sprawdzenie scenariuszy („Cognitive walk-through”)• Komplementarny z Obserwacją Użytkownika

• Eksperci szybko znajdą większość głównych problemów• Jednak część z nich jest niewykrywalna bez badania

• Najlepsza kolejność1. Audyt Ekspercki2. Zmiany w produkcie3. Obserwacja użytkownika4. Zmiany w produkcie

35

Audyt ekspercki

• Zalety– Stosunkowo szybki

– Nie wymaga organizacji badania, rekrutacji, kosztów z tym związanych

• Wady– Nie wszystkie problemy zostaną znalezione

– Mniejsza siła przekonywania niż badania

36

Audyt ekspercki - wędrówka poznawcza (cognitive walkthrough)

Założenie– nowi użytkownicy wolą uczyć się obsługi systemu poprzez

wykonywanie zadań, niż na przykład przez czytanie instrukcji.– Realizowany w oparciu o scenariusze użycia serwisu

– Osoby oceniające (np. projektanci) przechodzą (ang. walkthrough) przez kolejne kroki, zdając sobie zestaw pytań na temat każdego z kroków i oceniając zachowanie systemu

37

Testy A/B• Testy A/B pozwalają przetestować skuteczność dwóch

(lub więcej) różnych wersji strony.

38

Badania zdalneKiedy?•zbieranie dużej liczby wyników (dostarczanie danych ilościowych służących podejmowaniu decyzji),•zbieranie informacji na temat użyteczności, ale również postaw, opinii, stosunku do produktu,•zbieranie wyników w możliwie jak najkrótszym czasie (krótki czas realizacji badań),•w miarę możliwości utrzymanie dotychczasowych korzyści, które dawały badania użyteczności.

42

Badania zdalne• Rodzaje:

• badania zdalne moderowane – są najbardziej zbliżone do badań laboratoryjnych. Pozwalają poprzez Internet  na prowadzenie bezpośredniej rozmowy z użytkownikiem oraz śledzenie jego działań.

• badania zdalne niemoderowane jakościowe – bez udziału moderatora. Użytkownik wykonuje zadania na stronie internetowej, a jego poczynania są zgrywane i następnie dostępne w formie filmów do obejrzenia

• badania zdalne niemoderowane ilościowe - Badani realizują określone zadania na serwisie, a w tle ich działań zgrywane są różne parametry np. liczba kliknięć, czas na realizację zadania, poprawność realizacji zadania. W efekcie otrzymuje się dużo informacji ilościowych, uzupełnionych o opinie użytkowników.

43

• Użytkownik realizuje określony scenariusz;

• Następnie odpowiada na zadane pytania w ankiecie satysfakcji.

• Otrzymujemy filmy z pulpitu pokazujące ruchy kursora oraz opcjonalnie nagrania twarzy i głosu użytkownika.

• Zliczane są również czasy wykonania zadań, liczby odwiedzonych podstron i procentowy rozkład sukcesu i porażki.

Zadanie scenariuszowe

Testy X-sekundowe

• Użytkownik przez określony czas ogląda wskazaną kreację/ reklamę/ film, po czym opisuje wszystkie elementy, które zauważył i zapamiętał w danej kreacji.

• zebranie obserwacji i opinii użytkowników przy pierwszym kontakcie

• identyfikacja elementów, które zostały zapamiętane i wymienione przez użytkowników.

• określenie, które z elementów nie zostały zauważone przez respondentów

Testy nawigacji

Użytkownik otrzymuje zadanie znalezienia określonych informacji w klikalnym menu poziomym. System rejestruje pierwsze kliknięcie oraz każde kolejne aż do osiągnięcia sukcesu.•weryfikacja poprawności układu menu.•sprawdzenie rozwiązań bez konieczności wcześniejszego ich oprogramowania•stworzenie intuicyjnej architektury informacji tak, aby kluczowe elementy, były łatwe do wyszukiwania•możliwość porównania rozwiązań konkurencyjnych i porównanie ich z własnymi pomysłami

• Użytkownik otrzymuje zadanie polegające np. na wskazaniu elementów kreacji, które przyciągnęły jego uwagę, wybraniu miejsc, w których szukałby określonych danych lub wybraniu elementów, które zwróciły jego uwagę.

• Użytkownicy uzasadniają swój wybór w polu tekstowym.

• sprawdzenie atrakcyjności layoutów, ich przekaz oraz poprawność ułożenia elementów.

• określenie najbardziej istotnych funkcjonalności celem uproszczenia i optymalizacji kreacji

Klikanie i komentowanie

Card sortingKiedy?•Celem badania jest pomoc w zorganizowaniu treści serwisu tak, aby kluczowe dla użytkowników elementy, były ułożone w sposób jak najbardziej prosty i intuicyjny.

Rodzaje:•Sortowanie otwarte (open sort),•Sortowanie zamknięte (closed sort albo tree sort),•Wolna lista (free list).

51

52

• projektowanie efektywnej architektury informacji serwisu, struktury nawigacji

• grupowanie według potrzeb użytkowników (a nie tego jak się wydaje projektantom)

• odpowiednie uhierarchizowanie modułów i funkcjonalności

Card sorting

Wolna lista

• często wykorzystywana jako faza przed badaniem z użyciem metody otwartego sortowania kart

• użytkownikom tłumaczy się o czym będzie projektowana przez nas strona internetowa i jakie będą się znajdowały na niej funkcjonalności

• po odpowiedzeniu na wszelkie pytania i wątpliwości użytkowników, ich zadaniem będzie przygotowanie listy kluczowych elementów

• w kolejnym etapie powinni także pogrupować w ten sposób powstałe nazwy

Sortowanie otwarte

• Przygotowujemy listę kategorii (maksymalnie 30)• Dajemy je badanym z prośbą o pogrupowanie według intuicji• Prosimy, aby ponazywali poszczególne grupy

Sortowanie zamknięte

• Przygotowujemy głównych kategorii (rekomenduje się max 8)

• Tworzymy listę podkategorii (maksymalnie 30)

• Dajemy je badanym z prośbą o przypisanie ich do poszczególnych grup

Warto przeczytać

Prostota i użyteczność. Projektowanie rozwiązań internetowych, mobilnych i interaktywnych

Measuring the User Experience

Observing the User Experience: A Practitioner's Guide to User Research

The Design of Everyday Things