Jakość prognozy. Jak mierzyć i od czego zależy?

Jakość prognozy.

Jak mierzyć i od czego zależy?

AD 2008

Zadanieprognostyczne

Zadanieprognostyczne

DaneDane

ModelModel

PrognozaPrognoza

Reguła prognozyReguła prognozy

Dobór zmiennychDobór zmiennych

Specyfikazjawiska

Specyfikazjawiska

Czas i kosztyCzas

i koszty

Koszty

K o s z t y s t r a t

K o s z t y p r o g n o z y

K o s z t y c a łk o w it e

Optymalizacja kosztów prognozOptymalizacja kosztów prognoz

Jakość (i ilość) danych

Selekcja danych

1. Rzetelność- błędy losowe- błędy systematyczne- obserwacje nietypowe

2. Jednoznaczność3. Identyfikowalność zjawiska przez zmienne4. Kompletność5. Aktualność danych dla przyszłości6. Koszt zbierania i opracowywania danych7. Porównywalność danych

DaneDane

Jakość modelu,

czyli czy model jest dobrzedobrany?

Jakość modeluJakość modelu zgodność modelu z danymi empirycznymi

y

y

y

t

t

ˆ

- wartość zmiennej Y w okresie t- teoretyczna wartość zmiennej Y w okresie t- średnia z Y w szeregu o długości n

n - liczba obserwacjim - liczba zmiennych objaśniających

T - horyzont prognozy

n

ii

n

ii

yy

yyR

1

2

1

2

2

)(

)ˆ(

Współczynnik determinacjiJakość modeluJakość modelu

Dla modeli liniowych <0,1>

Jaka część zmienności zmiennej objaśnianej jest wytłumaczona przy pomocy modelu.

miara dopasowania modelu do danych rzeczywistych

[%]

0

2

4

6

8

1 0

1 2

1 4

1 2 3 4 5 6 7 8 9 1 0

t

Produkcj

a y,yt

Y

OSKSKR

yy

yy

n

ii

n

iii

1

2

1

2

2

)(

)ˆ(

22 1 R

2 - w s p ó ł c z y n n i k r o z b i e ż n o ś c i

SKR

0

2

4

6

8

10

12

14

1 2 3 4 5 6 7 8 9 10

t

Pro

du

kcja

y,y

t

Y Yt

OSK

0

2

4

6

8

10

12

14

1 2 3 4 5 6 7 8 9 10

t

Pro

du

kcja y

,yt

Y Y śr

OSK

0

2

4

6

8

10

12

14

1 2 3 4 5 6 7 8 9 10

t

Pro

du

kcja y

,yt

Y Y śr

Jakość modeluJakość modelu

Skorygowany współczynnik determinacji

)1(1

1 22R

knn

R

do porównywania jakości modeli o różnej ilości zmiennych

n - liczba obserwacjik - liczba stopni swobody (szacowanych parametrów)

[%]

Jakość modeluJakość modelu

%69

665,2ˆ2

R

ty

%80

27322,0ˆ2

321

R

xxxty

%65)69,01(210110

12

R %64)8,01(

510110

12

R

n = 1 0

M o d e l IM o d e l I M o d e l I IM o d e l I I

)1(1

1 22R

knn

R

k = 2 k = 5

J a k o ś ć m o d e l uJ a k o ś ć m o d e l uP r z y k ł a dP r z y k ł a d

O d c h y le n ie s ta n d a r d o w e r e s z t m o d e lu ( s )

n

iii yy

kns

1

2)ˆ(1

p rz e c ię tn e o d c h y le n ia w a r to ś c i te o re ty c z n y c h o d rz e c z y w is ty c h

N a jw a ż n ie js z y w s k a ź n ik d o o c e n y d o k ła d n o ś c i p ro g n o z y

W s p ó łc z y n n ik w y r a z is to ś c i ( w )

100ys

w

c z ę ś ć w a r to ś c i z m ie n n e j Y s ta n o w ią c a o d c h y le n ie s ta n d a rd o w e

[% ]

J a k o ś ć m o d e luJ a k o ś ć m o d e lu

[~ Y ]

Jakość prognoz,

?

czyli określenie stopnia niepewnościprognoz.

*ty - prognoza zmiennej Y na

czas t>n otrzymana z danej metody

Y Yt Yp

Dokładność prognozyBłąd ex ante

?

czyli co można powiedzieć o prognozie w momencie jej

sporządzenia?

Błędy ex Błędy ex anteante Dokładność prognozyDokładność prognozy

Bezwzględny błąd prognozy ex ante w czasie t (t>n)

11

*

1

2

2*

nxx

xxsV n

tt

t

*x

x

- wartość zmiennej objaśniającej w prognozie- średnia wartość zmiennej objaśniającej z n obserwacji

TTt XXXXsV *1*1*

*X

Bezwzględny błąd prognozy ex ante dla modelu z większą ilością zmiennych objaśniających

- wektor prognozowanych wielkości zmiennych objaśniających

[~Y]

B ł ę d y e x B ł ę d y e x a n t ea n t e D o k ł a d n o ś ć p r o g n o z yD o k ł a d n o ś ć p r o g n o z y

11

1

2

2

ntt

tsV n

t

D l a p r o g n o z y p r z y u ż y c i u t r e n d u l i n i o w e g o n a o k r e s

n = 1 0 t = 1 . . 1 0 t = 5 , 5 s = 2 m l n z ł

42,21

101

5,825,511

22

V

96,2V

82,3V

P r z y k ł a dP r z y k ł a d

Względny błąd prognozy ex ante w czasie t (t>n)

100* t

tt y

V

Prognoza jest dopuszczalna, gdy:

nt

ntVV

tt

tt

,

,*

*

**, ttV oczekiwana dokładność prognoz

[%]

Błędy ex anteBłędy ex ante Dokładność prognozyDokładność prognozy

P r a w d o p o d o b i e ń s t w o r e a l i z a c j i p r o g n o z y

ntyYP ttt ,)( *

- z a k ł a d a n a d o k ł a d n o ś ć p r o g n o z y t - w i a r y g o d n o ś ć p r o g n o z y

B ł ę d y e x B ł ę d y e x a n t ea n t e D o k ł a d n o ś ć p r o g n o z yD o k ł a d n o ś ć p r o g n o z y

P r z e d z i a ł u f n o ś c i d l a p r o g n o z y

ntVtyYVtyP ttttt ,1)( **

- p o z i o m i s t o t n o ś c i t - w a r t o ś ć g r a n i c z n a s t a t y s t y k i t - S t u d e n t a d l a n - k s t o p n i s w o b o d yV t - b e z w z g l ę d n y b ł ą d p r o g n o z y w c z a s i e t

Trafność prognozy Błąd ex post

?

czyli jak oceniać skuteczność prognozy?

Błędy ex postBłędy ex post [n+1,..., T] Trafność prognozyTrafność prognozy

Bezwzględny błąd prognozy ex post w czasie t (t>n)

*ttt yyq

12ˆ tt xy

PrzykładPrzykład

y11=30 mln zł

q11=30 - 31 = -1 mln zł

[~Y]

31

15*11

*11

y

x tys. szt

mln zł

Tnty

yy

t

ttt ,...,1,

*

W z g l ę d n y b ł ą d p r o g n o z y e x p o s t w c z a s i e t

[ % ]

B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y


%33,330

3130 t

Ś r e d n i b ł ą d p r o g n o z e x p o s t w p r z e d z i a l e w e r y f i k a c j i

T

nttnT 1

1


= 8 , 3 4 %

1 1 = - 3 , 3 3 % 1 2 = 1 9 % 1 3 = - 6 % 1 4 = - 6 % 1 5 = - 7 , 4 %

T

nttt yy

nTs

1

2** )(1

Ś r e d n i k w a d r a t o w y b ł ą d p r o g n o z e x p o s t w p r z e d z i a l ew e r y f i k a c j i

ss * w e k t o r p r o g n o z m o ż n a u z n a ć z a z a d a w a l a j ą c y



s * = 3 , 9 1 m l n z ł s = 1 m l n z ł> >

Ś r e d n i e o b c i ą ż e n i e p r o g n o z e x p o s t

T

nttq

nTu

1

1


W z g l ę d n e o b c i ą ż e n i e p r o g n o z e x p o s t

*y

uV u

022,0u


%063,000063,035

022,0

uV

n

itt

T

nttt

yyn

yynTJ

1

2

1

2*

2

)ˆ(1

)(1

W s p ó ł c z y n n i k j a n u s o w y

12J d o t y c h c z a s o w e p r o g n o z y t r a f n e

S t o p i e ń d o p a s o w a n i a p r o g n o z w p o r ó w n a n i u z d o p a s o w a n i e m m o d e l u .


1,1989,0

91,32

22 Js * = 3 , 9 1 m l n z ł

s = 1 m l n z ł


Współczynnik Theila

T

ntt

pr

T

ntt

T

nttt

y

rss

y

yyI

1

2

1

2

1

2*

2

)(

02I prognozy idealnie trafne

nT

yys

T

ntt

r

1

2)(

nT

yys

T

ntt

p

1

2** )(

pr

T

nttt

ss

yyyynTr

1

** )()(1

Odchylenie standardowe wielkości rzeczywistych w przedziale weryfikacji

Odchylenie standardowe prognoz w przedziale weryfikacji

Współczynnik korelacji liniowej pomiędzy prognozą, a jej realizacją


W s p ó ł c z y n n i k T h e i l a

23

22

21

2 IIII

T

ntty

nT

yyI

1

2

*2

11

T

ntt

pr

ynT

ssI

1

2

222 1

)(

T

ntt

pr

ynT

rssI

1

2

23 1

)1(2

B ł ę d y z t y t u ł u :

O b c i ą ż o n o ś c i p r o g n o z yn i e o d g a d n i ę c i a ś r e d n i e j w a r t o ś c i p r o g n o z y

N i e d o s t a t e c z n e j e l a s t y c z n o ś c in i e o d g a d n i ę c i a w a h a ń z m i e n n e j p r o g n o z o w a n e j

N i e z g o d n o ś c i k i e r u n k ó w t e n d e n c j i r o z w o j o w e j



PrzykładPrzykład

70

90

110

130

150

170

190

210

230

sty 98 lut 98 mar 98 kwi 98 maj 98 cze 98 lip 98 sie 98 wrz 98 paź 98 lis 98 gru 98

tys

m2

sprzedaż Wg trendu logistycznego Wg trendu liniowego


W g t r e n d u l o g i s t y c z n e g o

W g t r e n d u l i n i o w e g o

Ś r e d n i w z g l ę d n y b ł ą d p r o g n o z 4 , 2 % 5 , 7 %O d c h y l e n i e s t a n d a r d o w e r e s z t m o d e l u s = 2 1 , 4 2 2 , 6

Ś r e d n i k w a d r a t o w y b ł ą d p r o g n o z s * = 9 , 8 1 0 , 3

W s p ó ł c z y n n i k j a n u s o w y J 2 = 0 , 2 0 9 0 , 2 0 9

W s p ó ł c z y n n i k T h e i l a I 2 = 0 , 0 0 3 0 , 0 0 3

o b c i ą ż o n o ś ć p r o g n o z y I 12 = 0 , 0 0 0 0 , 0 0 1

n i e d o s t a t e c z n a e l a s t y c z n o ś ć I 22 = 0 , 0 0 1 0 , 0 0 1

n i e z g o d n o ś ć k i e r u n k u I 32 = 0 , 0 0 2 0 , 0 0 2

o b c i ą ż o n o ś ć p r o g n o z y 8 , 4 % 2 7 , 2 %n i e d o s t a t e c z n a e l a s t y c z n o ś ć 3 6 , 8 % 2 3 , 2 %

n i e z g o d n o ś ć k i e r u n k u 5 4 , 8 % 4 9 , 6 %

Więcej zmiennych nie oznacza lepszego modelu

Sprzeczność pomiędzy zwiększaniem stabilnościmodeli, a zwiększaniem ilości danych do modelu

UwagiUwagi

Zjawiska ekonomiczne są trudne do prognozowania

Więcej obserwacji - lepsze poznanie zjawiska

Dobry model powinien być oszczędny

Dobry model nie musi dawać dobrych prognoz

M.Cieślak (red.) Prognozowanie gospodarcze. Metody i zastosowania. PWN’97A. Zeliaś, B.Pawełek, S.Wanat Prognozowanie ekonomiczne. Teoria, przykłady, zadania PWN’2003J.Gajda Prognozowanie i symulacja a decyzje gospodarcze, Wydawnictwo C.H. Beck 2001

A. Zeliaś, Teoria prognozy PWE’97W.Sadowski (red.) Elementy ekonometrii i programowania matematycznego. PWN’80D.Montgomery, L.Johnson, J.Gardiner Forecasting and Analysis. McGraw Hill’90A. Aczel Statystyka w zarządzaniu PWN 2000

W.Samuelson, S.Marks Ekonomia menedżerska, PWE’98

Użyteczna literaturaUżyteczna literatura

Jakość prognozy. Jak mierzyć i od czego zależy?

Documents

Transcript of Jakość prognozy. Jak mierzyć i od czego zależy?