Jak POPRAWNIE zgłaszać błędy

Agenda

1. Błąd? Defekt? Awaria? Incydent? Anomalia?

2. Rodzaje incydentów

3. Cykl życia incydentu

4. Odbiorcy zgłoszeń

5. Zawartość raportu

6. Priorytetyzacja zgłoszeń

7. Narzędzia pomocne przy dokumentowaniu błędów

Błąd? Defekt? Awaria? Incydent? Anomalia?

Błąd Defekt Awaria

Whatever….

IncydentBłąd

Problem Issue

AnomaliaDefekt

Bug …

“Anything that threatens the value of the product. Something that bugs someone whose opinion matters “

James Bach

Cykl życia zgłoszenia

Żródło: https://venkatreddyc.wordpress.com/2007/09/10/the-life-cycle-of-a-bug-different-stages-in-it/

Cykl życia zgłoszenia

Żródło: http://1.bp.blogspot.com/-w1en5nFTUKk/U-85i6eVC1I/AAAAAAAAAG0/DWvHd4s9jSk/s1600/buglifecycle.gif/

Cykl życia zgłoszenia

Żródło:

https://www.bugzilla.org/docs/2.18

/html/lifecycle.html/

Odbiorcy zgłoszeń

BUG

Developerzy

Project Manager

Support/ Help Desk

Klient

Marketing

Test Manager

Nieczytelne zgłoszenie =

• Odrzucenie przez programistę

• Niezrozumienie

• Prośba o dodatkowe informacje (strata czasu..)

• Długie dochodzenie gdzie jest faktycznie błąd

“The point of writing problem report (bug report) is to get bugs fixed”

Cem Kaner

• datę zgłoszenia, zgłaszającą organizację oraz autora• wyniki oczekiwane oraz rzeczywiste• wskazanie na element testowy (element konfiguracji) oraz

na środowisko• proces cyklu życia oprogramowania lub systemu w którym

incydent został zaobserwowany• opis incydentu, w celu umożliwienia odtworzenia i

rozwiązania, włącznie z logami, zrzutami baz danych oraz zrzutami ekranu

• obszar lub stopień wpływu na interesy interesariuszy• stopień wpływu na system• pilność, priorytet naprawy

Zawartość raportu błędu wg sylabusa ISTQB

• status incydentu (np. otwarty, odłożony, duplikat, oczekujący na naprawę, naprawiony i oczekujący na retest, zamknięty)

• podsumowania, rekomendacje oraz zgody• zagadnienia globalne, takie jak inne obszary, na które

mogą mieć wpływ zmiany związane z incydentem• historia zmian, np. ciąg czynności podjętych przez

członków zespołu w celu wyizolowania incydentu, jego naprawy oraz potwierdzenia tej naprawy

• referencje, włączając w to identyfikator specyfikacji przypadku testowego, który wykrył problem

Zawartość raportu błędu wg sylabusa ISTQB cd.

Zawartość raportu błędu

Tytuł (Title/Summary)

Opis sytuacji (kroki reprodukcji)

Opis środowiska testowego

Typ zgłoszenia (bug, new

feature, task, improvement)

Priorytet

Oczekiwany / aktualny rezultat

Załączniki (screenshoty,

filmy, logi, dane testowe,

etc.)

Obszar/komponent, waga,

reprodukowalność, etc…

TYTUŁ

Nie działa edycja danych użytkownika

Podczas modyfikacji danych użytkownika nie zapisuje się adres

do korespondencji

TYTUŁ

Nie działa edycja danych użytkownika

Podczas modyfikacji danych użytkownika nie zapisuje się adres

do korespondencji

[Profil] [Firefox] Podczas modyfikacji danych użytkownika nie

zapisuje się adres do korespondencji

TYTUŁ

OK NIE OK

Krótki i jednoznaczny Długi i niejednoznaczny

Wskazuje na konkretny problem Zbyt abstrakcyjny

Pokazuje wagę problemu Ważność trudna do odszyfrowania

Zrozumiały „dla każdego” „Nie wiadomo o co chodzi”

Bezstronny Emocjonalny

KROKI REPRODUKCJI

Jak chcę zapisać zmiany to nic się nie dzieje

1. Wejdź na stronę główną aplikacji http://www.aplikacja.pl/

2. Zaloguj się na konto użytkownika

3. Idź do profilu użytkownika http://www.aplikacja.pl/profile

4. Zmień dane w adresie do korespondencji

5. Zapisz zmiany klikając w przycisk „Zapisz”

KROKI REPRODUKCJI

Jak zapisuję zmiany to nic się nie dzieje

1. Wejdź na stronę główną aplikacji http://www.aplikacja.pl/

2. Zaloguj się na konto użytkownika

3. Idź do profilu użytkownika http://www.aplikacja.pl/profile

4. Zmień dane w adresie do korespondencji

5. Zapisz zmiany klikając w przycisk „Zapisz”

KROKI REPRODUKCJI -konwencje

• URL http://www.aplikacja.pl/

• [Button]

• <Pole tekstowe>

• {Element}

• Wybór > z menu > rozwijanego

KROKI REPRODUKCJI

1. Wejdź na http://www.aplikacja.pl/

2. Zaloguj się na konto użytkownika

3. Idź do {Moje konto}

4. Idź to Moje dane > Dane kontaktowe > Adres

korespondencyjny

5. Zmień dane w polach <Ulica> i <Miasto>

6. Kliknij [Zapisz]

KROKI REPRODUKCJI

1. http://www.aplikacja.pl/

2. {Logowanie} – poprawne

3. {Moje konto} > Moje dane > Dane kontaktowe > Adres

korespondencyjny

4. Zmień dane: <Ulica> i <Miasto> i [Zapisz]

OCZEKIWANY I AKTUALNY REZULTAT

Aktualny rezultat:

Adres korespondencyjny nie został zapisany poprawnie –

dane pozostały nie zmienione

Oczekiwany rezultat:

Adres korespondencyjny zostały poprawnie zapisane

Reprodukowalność:

50%

ŚRODOWISKO TESTOWE

• System operacyjny (np. Windows 8.1 64-bit, Android 5.0.1)

• Hardware / urządzenie (np. procesor Intel Core i5 / Huawei P8)

• Wersja przeglądarki (np. Chrome 50.0.25661.102 m)

• Rozdzielczość ekranu

• Prędkość łącza internetowego (np. ADSL 10MB, LTE etc.)

• …

Rodzaje błędów

Funkcjonalne GUI Użyteczności

Sugestia Bezpieczeństwa Wydajności

Inne…

Priorytetyzacja zgłoszeń

Żródło: http://www.softwaretestingclass.com/what-is-difference-between-priority-and-severity/

Priorytetyzacja zgłoszeń

Blocker

•Aplikacja nie uruchamia się, występują częste crashe, nie działają podstawowe funkcjonalności, nie ma możliwości testowania aplikacji

•Błąd powinien być naprawiony natychmiastowo

Critical

•Nie działają krytyczne (biznesowo) funkcjonalności, ale jest możliwość testowania innych funkcjonalności

•Błąd powinien być naprawiony asap

High

•Nie działają kluczowe funkcjonalności, ale istnieje możliwość obejścia; błąd pojawia się sporadycznie (np. aplikacja się zawiesza raz na jakiś czas), istnieje możliwość testowania kluczowych funkcjonalności

•Błąd powinien być naprawiony zaraz po blockerach i criticalach

Medium

•Brakuje funkcjonalności (nie kluczowej), nie działa, ale jest workaround. Błąd nie ma większego wpływu na ogólne działanie aplikacji

•Błąd może być naprawiony po poprawce ważniejszych błędów

Lowest•Błąd „kosmetyczny”, literówki, niezgodność w UI (ale funkcjonalność jest OK)

SCREENSHOTY

SCREENSHOTY

.DOC

SCREENSHOTY

.BMP

SCREENSHOTY

Greenshot - http://getgreenshot.org/

PicPick - http://ngwin.com/picpick

SHU - https://screenshu.com/pl/

Narzędzie Wycinanie (Win)

Paint

SCREENSHOTY (Greenshot)

SCREENSHOTY (SHU)

https://scr.hu/B0BLVW

SCREENSHOTY (Android)

SCREENSHOTY (iOS)

http://www.airsquirrels.com/reflector/ ($15)

SCREENSHOTY (Windows Phone)

FILMIKI

Screen Recorder -https://technet.microsoft.com/pl-

pl/magazine/2009.03.utilityspotlight2%28en-

us%29.aspx

(Google – „burak screen recorder” )

Screencast-o-matic -

http://screencast-o-matic.com

FILMIKI

LOGI (www)

LOGI (Android)

LOGI (Android)c:\Android\sdk\AVD Manager.exe

Podsumowując

• Błędy zgłaszamy po to, aby były NAPRAWIONE

• Dlatego muszą być opisywane ZROZUMIALE

• Zgłoszenie zostanie lepiej zrozumiane i szybciej naprawione, jeżeli dołączymy DOWODY

• Badając jakość czyjejś pracy dbajmy też o JAKOŚĆ SWOJEJ PRACY

Można by dłużej…

http://www.testingeducation.org/BBST/bugadvocacy/BugAdvocacy2008.pdf

Google – „bach bug advocacy”

193 slajdy

Szkolenie – Praktyka - Praca

www.testingacademy.co.uk

Obserwujcie nas:

facebook.com/testujpl/

http://www.youtube.com/c/CloudTestingSpzooWrocław

szkolenia.testuj.pl

CHCESZ POPROWADZIĆ WEBINARIUM?

Masz ciekawy temat, który chciałbyś przedstawić?

Napisz do mnie

damian.szczurek@testuj.pl

DZIĘKUJĘ ZA UWAGĘ