Wymagania niefunkcjonalne (wydajność, użyteczność, niezawodność)

i jak je testować

Radosław Smilgin

Wersja 1.0

• Radosław Smilgin - tester i test manager

• radoslaw.smilgin@testerzy.pl

• W testowaniu od 2002 roku • Mówca konferencji, autor publikacji • Tłumacz sylabusa oraz pytań do ISTQB • Fan użyteczności, śledzenia w testowaniu

Mówca

20.03.13 2 testerzy.pl

Mówca

20.03.13 3 testerzy.pl

• ŚKUP: • Śląska Karta Usług

Publicznych

• Finansowanie: Silesia oraz UE

• ok. 200 mln zł

• Asseco: • Budowa systemu, w

tym:

• Centra danych

• Portal internetowy

• Aplikacje do systemów wbudowanych

Wymagania

20.03.13 testerzy.pl 4

Co klient

zamówił

Co zrozumiał

analityk

Co analityk

opisał

Co wykonali

programiści

System po

poprawkach

Co klient

potrzebował

Za co

klient zapłacił

Klasyfikacja wymagań FURPS

• Functionality- funkcjonalność uwzględniająca również bezpieczeństwo

• Usability - użyteczność

• Reliability – niezawodność, mierzona np. częstością występowania błędów

• Performance - wydajność aplikacji

• Supportability - "wspieralność" uwzględniająca zdolność aplikacji do instalacji na różnych platformach, łatwość testowania, itd.

5 20.03.13 testerzy.pl

• Wielkość nieprecyzyjna:

– wymagania mają różną wagę

– co to jest „przetestowane” wymaganie (kwestia:

jak wyczerpująco przetestowane)?

Pokrycie wymagań

pokrycie wymagań = łączna liczba wymagań

liczba przetestowanych wymagań * 100%

© testerzy.pl 20.03.13 6

© testerzy.pl 7

Śledzenie

Wymaganie W1

Przypadek

testowy PT1.1

Implementacja I1

(kod źródłowy)

Defekt D1.1

20.03.13

© testerzy.pl 8

Śledzenie – przykład matrycy

20.03.13

Wymagania: wydajność

• ŚKUP

9 20.03.13 testerzy.pl

Wymagania: wydajność

• Firebug / YSlow

10 © testerzy.pl 20.03.13

Wymagania: wydajność

• JMeter

11 © testerzy.pl 20.03.13

Wymagania: wydajność

• SOAP UI

12 © testerzy.pl 20.03.13

Wymagania: wydajność

• Wyniki

13 © testerzy.pl 20.03.13

Wymagania: użyteczność

• ŚKUP

14 20.03.13 testerzy.pl

Wymagania: użyteczność

• Clicktracking

15 20.03.13 testerzy.pl

Wymagania: użyteczność

• Clicktracking

16 20.03.13 testerzy.pl

obrazkowa tekstowa

Miejsce 3 Miejsce 2 Miejsce 1

Wymagania: użyteczność

18 20.03.13 testerzy.pl

• Wyniki

Zadanie Przed Po Poprawa [%]

1 20s 6s 233

2 80s 55s 45

3 150s 160s -6

Wymagania: niezawodność

• ŚKUP

19 20.03.13 testerzy.pl

Wymagania: niezawodność

• Definicja

o Zdolność do wykonywania funkcji w określonych warunkach

w określonym przedziale czasu

dla określonej ilości operacji

o Mierzone poprzez MTBF

MTTF

20 20.03.13 testerzy.pl

Wymagania: niezawodność

• Profil operacyjny

21 20.03.13 testerzy.pl

Wymagania: niezawodność

• Profil operacyjny

22 20.03.13 testerzy.pl

Wymagania: niezawodność

• Wyniki

23 20.03.13 testerzy.pl

Testowanie

24 20.03.13 testerzy.pl

Funkcjonalność

Bezpieczeństwo

Niezawodność

Użyteczność

Wspieralność

…

Dziękuję za uwagę!

Pytania? Odpowiedzi!

Pytania po : radoslaw.smilgin@testerzy.pl

testerzy @testerzy radoslaw.smilgin