Podstępne testy A/B

Post on 24-Jun-2015

734 views 0 download

description

Prezentacja przedstawiana przez Mateusza Ogonowskiego i Pawła Ogonowskiego na konferencji E-commerce Standard 2013. Dowiecie się z niej, na jakie aspekty wyników testów A/B powinniśmy szczególnie uważać, żeby uniknąć błędnych interpretacji.

Transcript of Podstępne testy A/B

testy A/B Podstępne

Mateusz Ogonowski

Powered by

Paweł Ogonowski

Projekt optymalizacji

Współczynnik konwersji

Liczba konwersji

Liczba odwiedzin 100%

Współczynnik konwersji Przychód Liczba

odwiedzin Średnia wartość zamówienia

Większy < > współczynnik

konwersji

Większy przychód

Większy < > współczynnik

konwersji

Większy przychód

0,01 2 000 PLN 1000 200 PLN

0,02 4 000 PLN 1000 200 PLN

Współczynnik konwersji Przychód Liczba

odwiedzin Średnia wartość zamówienia

Success fee

Testy A/B

Wersja A

Wersja B

100 osób za 10 PLN

100 osób za 10 PLN

1% 3%

vs

Oryginał Alternatywa

+21,4%

?Akceptacja

Dziurawa

5!aspektów

Konwersja 1

Cel

Konwersja

Współczynnik konwersji

Konwersja

100

50

20

10

2

100

50

20

10

2

100

70 +40%

100

50

20

10

2

100

70 +40%

28

10

2

Konwersja

Opłacone zamówienia

2Zamówienia

telefoniczne

vs

Oryginał Alternatywa

Konwersja

Opłacone zamówienia telefoniczne

Opłacone zamówienia internetowe

ufności 3Poziom

95!%

ufności Poziom

1 ale małe

konwersji Liczba 4

100 3

1 dzień 100 6

A B +100%

100 3

1 dzień 100 6

10 dzień

A B +100%

1000 30

1000 60

+100%

100 3

1 dzień 100 6

10 dzień

A B +100%

1000 30

1000 60

+100%

10 dzień 1000 57

1000 60

+5,3%

dni 10 14 –

Większy < > współczynnik

konwersji

Mniejszy przychód

Współczynnik konwersji Przychód Liczba

odwiedzin Średnia wartość zamówienia

Średnia wartość zamówienia 5

Większy < > współczynnik

konwersji

0,01 2 000 PLN 1000 200 PLN

0,02 1 000 PLN 1000 50 PLN

Mniejszy przychód

Test średniej wartości zamówienia

Akceptacja ?

?

Optymalizacja współczynnika konwersji

Konwersja 1

2Zamówienia

telefoniczne

ufności 3Poziom

konwersji Liczba 4

Średnia wartość zamówienia 5

dociekliwi Bądźcie