Post on 11-Jan-2016
description
Jakość prognozy.
Jak mierzyć i od czego zależy?
AD 2008
Zadanieprognostyczne
Zadanieprognostyczne
DaneDane
ModelModel
PrognozaPrognoza
Reguła prognozyReguła prognozy
Dobór zmiennychDobór zmiennych
Specyfikazjawiska
Specyfikazjawiska
Czas i kosztyCzas
i koszty
Koszty
K o s z t y s t r a t
K o s z t y p r o g n o z y
K o s z t y c a łk o w it e
Optymalizacja kosztów prognozOptymalizacja kosztów prognoz
Jakość (i ilość) danych
Selekcja danych
1. Rzetelność- błędy losowe- błędy systematyczne- obserwacje nietypowe
2. Jednoznaczność3. Identyfikowalność zjawiska przez zmienne4. Kompletność5. Aktualność danych dla przyszłości6. Koszt zbierania i opracowywania danych7. Porównywalność danych
DaneDane
Jakość modelu,
czyli czy model jest dobrzedobrany?
Jakość modeluJakość modelu zgodność modelu z danymi empirycznymi
y
y
y
t
t
ˆ
- wartość zmiennej Y w okresie t- teoretyczna wartość zmiennej Y w okresie t- średnia z Y w szeregu o długości n
n - liczba obserwacjim - liczba zmiennych objaśniających
T - horyzont prognozy
n
ii
n
ii
yy
yyR
1
2
1
2
2
)(
)ˆ(
Współczynnik determinacjiJakość modeluJakość modelu
Dla modeli liniowych <0,1>
Jaka część zmienności zmiennej objaśnianej jest wytłumaczona przy pomocy modelu.
miara dopasowania modelu do danych rzeczywistych
[%]
0
2
4
6
8
1 0
1 2
1 4
1 2 3 4 5 6 7 8 9 1 0
t
Produkcj
a y,yt
Y
OSKSKR
yy
yy
n
ii
n
iii
1
2
1
2
2
)(
)ˆ(
22 1 R
2 - w s p ó ł c z y n n i k r o z b i e ż n o ś c i
SKR
0
2
4
6
8
10
12
14
1 2 3 4 5 6 7 8 9 10
t
Pro
du
kcja
y,y
t
Y Yt
OSK
0
2
4
6
8
10
12
14
1 2 3 4 5 6 7 8 9 10
t
Pro
du
kcja y
,yt
Y Y śr
OSK
0
2
4
6
8
10
12
14
1 2 3 4 5 6 7 8 9 10
t
Pro
du
kcja y
,yt
Y Y śr
Jakość modeluJakość modelu
Skorygowany współczynnik determinacji
)1(1
1 22R
knn
R
do porównywania jakości modeli o różnej ilości zmiennych
n - liczba obserwacjik - liczba stopni swobody (szacowanych parametrów)
[%]
Jakość modeluJakość modelu
%69
665,2ˆ2
R
ty
%80
27322,0ˆ2
321
R
xxxty
%65)69,01(210110
12
R %64)8,01(
510110
12
R
n = 1 0
M o d e l IM o d e l I M o d e l I IM o d e l I I
)1(1
1 22R
knn
R
k = 2 k = 5
J a k o ś ć m o d e l uJ a k o ś ć m o d e l uP r z y k ł a dP r z y k ł a d
O d c h y le n ie s ta n d a r d o w e r e s z t m o d e lu ( s )
n
iii yy
kns
1
2)ˆ(1
p rz e c ię tn e o d c h y le n ia w a r to ś c i te o re ty c z n y c h o d rz e c z y w is ty c h
N a jw a ż n ie js z y w s k a ź n ik d o o c e n y d o k ła d n o ś c i p ro g n o z y
W s p ó łc z y n n ik w y r a z is to ś c i ( w )
100ys
w
c z ę ś ć w a r to ś c i z m ie n n e j Y s ta n o w ią c a o d c h y le n ie s ta n d a rd o w e
[% ]
J a k o ś ć m o d e luJ a k o ś ć m o d e lu
[~ Y ]
Jakość prognoz,
?
czyli określenie stopnia niepewnościprognoz.
*ty - prognoza zmiennej Y na
czas t>n otrzymana z danej metody
Y Yt Yp
Dokładność prognozyBłąd ex ante
?
czyli co można powiedzieć o prognozie w momencie jej
sporządzenia?
Błędy ex Błędy ex anteante Dokładność prognozyDokładność prognozy
Bezwzględny błąd prognozy ex ante w czasie t (t>n)
11
*
1
2
2*
nxx
xxsV n
tt
t
*x
x
- wartość zmiennej objaśniającej w prognozie- średnia wartość zmiennej objaśniającej z n obserwacji
TTt XXXXsV *1*1*
*X
Bezwzględny błąd prognozy ex ante dla modelu z większą ilością zmiennych objaśniających
- wektor prognozowanych wielkości zmiennych objaśniających
[~Y]
B ł ę d y e x B ł ę d y e x a n t ea n t e D o k ł a d n o ś ć p r o g n o z yD o k ł a d n o ś ć p r o g n o z y
11
1
2
2
ntt
tsV n
t
D l a p r o g n o z y p r z y u ż y c i u t r e n d u l i n i o w e g o n a o k r e s
n = 1 0 t = 1 . . 1 0 t = 5 , 5 s = 2 m l n z ł
42,21
101
5,825,511
22
V
96,2V
82,3V
P r z y k ł a dP r z y k ł a d
Względny błąd prognozy ex ante w czasie t (t>n)
100* t
tt y
V
Prognoza jest dopuszczalna, gdy:
nt
ntVV
tt
tt
,
,*
*
**, ttV oczekiwana dokładność prognoz
[%]
Błędy ex anteBłędy ex ante Dokładność prognozyDokładność prognozy
P r a w d o p o d o b i e ń s t w o r e a l i z a c j i p r o g n o z y
ntyYP ttt ,)( *
- z a k ł a d a n a d o k ł a d n o ś ć p r o g n o z y t - w i a r y g o d n o ś ć p r o g n o z y
B ł ę d y e x B ł ę d y e x a n t ea n t e D o k ł a d n o ś ć p r o g n o z yD o k ł a d n o ś ć p r o g n o z y
P r z e d z i a ł u f n o ś c i d l a p r o g n o z y
ntVtyYVtyP ttttt ,1)( **
- p o z i o m i s t o t n o ś c i t - w a r t o ś ć g r a n i c z n a s t a t y s t y k i t - S t u d e n t a d l a n - k s t o p n i s w o b o d yV t - b e z w z g l ę d n y b ł ą d p r o g n o z y w c z a s i e t
Trafność prognozy Błąd ex post
?
czyli jak oceniać skuteczność prognozy?
Błędy ex postBłędy ex post [n+1,..., T] Trafność prognozyTrafność prognozy
Bezwzględny błąd prognozy ex post w czasie t (t>n)
*ttt yyq
12ˆ tt xy
PrzykładPrzykład
y11=30 mln zł
q11=30 - 31 = -1 mln zł
[~Y]
31
15*11
*11
y
x tys. szt
mln zł
Tnty
yy
t
ttt ,...,1,
*
W z g l ę d n y b ł ą d p r o g n o z y e x p o s t w c z a s i e t
[ % ]
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
P r z y k ł a dP r z y k ł a d
%33,330
3130 t
Ś r e d n i b ł ą d p r o g n o z e x p o s t w p r z e d z i a l e w e r y f i k a c j i
T
nttnT 1
1
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
= 8 , 3 4 %
1 1 = - 3 , 3 3 % 1 2 = 1 9 % 1 3 = - 6 % 1 4 = - 6 % 1 5 = - 7 , 4 %
T
nttt yy
nTs
1
2** )(1
Ś r e d n i k w a d r a t o w y b ł ą d p r o g n o z e x p o s t w p r z e d z i a l ew e r y f i k a c j i
ss * w e k t o r p r o g n o z m o ż n a u z n a ć z a z a d a w a l a j ą c y
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
P r z y k ł a dP r z y k ł a d
s * = 3 , 9 1 m l n z ł s = 1 m l n z ł> >
Ś r e d n i e o b c i ą ż e n i e p r o g n o z e x p o s t
T
nttq
nTu
1
1
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
W z g l ę d n e o b c i ą ż e n i e p r o g n o z e x p o s t
*y
uV u
022,0u
P r z y k ł a dP r z y k ł a d
%063,000063,035
022,0
uV
n
itt
T
nttt
yyn
yynTJ
1
2
1
2*
2
)ˆ(1
)(1
W s p ó ł c z y n n i k j a n u s o w y
12J d o t y c h c z a s o w e p r o g n o z y t r a f n e
S t o p i e ń d o p a s o w a n i a p r o g n o z w p o r ó w n a n i u z d o p a s o w a n i e m m o d e l u .
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
1,1989,0
91,32
22 Js * = 3 , 9 1 m l n z ł
s = 1 m l n z ł
P r z y k ł a dP r z y k ł a d
Współczynnik Theila
T
ntt
pr
T
ntt
T
nttt
y
rss
y
yyI
1
2
1
2
1
2*
2
)(
02I prognozy idealnie trafne
nT
yys
T
ntt
r
1
2)(
nT
yys
T
ntt
p
1
2** )(
pr
T
nttt
ss
yyyynTr
1
** )()(1
Odchylenie standardowe wielkości rzeczywistych w przedziale weryfikacji
Odchylenie standardowe prognoz w przedziale weryfikacji
Współczynnik korelacji liniowej pomiędzy prognozą, a jej realizacją
Błędy ex postBłędy ex post [n+1,..., T] Trafność prognozyTrafność prognozy
W s p ó ł c z y n n i k T h e i l a
23
22
21
2 IIII
T
ntty
nT
yyI
1
2
*2
11
T
ntt
pr
ynT
ssI
1
2
222 1
)(
T
ntt
pr
ynT
rssI
1
2
23 1
)1(2
B ł ę d y z t y t u ł u :
O b c i ą ż o n o ś c i p r o g n o z yn i e o d g a d n i ę c i a ś r e d n i e j w a r t o ś c i p r o g n o z y
N i e d o s t a t e c z n e j e l a s t y c z n o ś c in i e o d g a d n i ę c i a w a h a ń z m i e n n e j p r o g n o z o w a n e j
N i e z g o d n o ś c i k i e r u n k ó w t e n d e n c j i r o z w o j o w e j
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
Błędy ex postBłędy ex post [n+1,..., T] Trafność prognozyTrafność prognozy
PrzykładPrzykład
70
90
110
130
150
170
190
210
230
sty 98 lut 98 mar 98 kwi 98 maj 98 cze 98 lip 98 sie 98 wrz 98 paź 98 lis 98 gru 98
tys
m2
sprzedaż Wg trendu logistycznego Wg trendu liniowego
B ł ę d y e x p o s tB ł ę d y e x p o s t [ n + 1 , . . . , T ] T r a f n o ś ć p r o g n o z yT r a f n o ś ć p r o g n o z y
W g t r e n d u l o g i s t y c z n e g o
W g t r e n d u l i n i o w e g o
Ś r e d n i w z g l ę d n y b ł ą d p r o g n o z 4 , 2 % 5 , 7 %O d c h y l e n i e s t a n d a r d o w e r e s z t m o d e l u s = 2 1 , 4 2 2 , 6
Ś r e d n i k w a d r a t o w y b ł ą d p r o g n o z s * = 9 , 8 1 0 , 3
W s p ó ł c z y n n i k j a n u s o w y J 2 = 0 , 2 0 9 0 , 2 0 9
W s p ó ł c z y n n i k T h e i l a I 2 = 0 , 0 0 3 0 , 0 0 3
o b c i ą ż o n o ś ć p r o g n o z y I 12 = 0 , 0 0 0 0 , 0 0 1
n i e d o s t a t e c z n a e l a s t y c z n o ś ć I 22 = 0 , 0 0 1 0 , 0 0 1
n i e z g o d n o ś ć k i e r u n k u I 32 = 0 , 0 0 2 0 , 0 0 2
o b c i ą ż o n o ś ć p r o g n o z y 8 , 4 % 2 7 , 2 %n i e d o s t a t e c z n a e l a s t y c z n o ś ć 3 6 , 8 % 2 3 , 2 %
n i e z g o d n o ś ć k i e r u n k u 5 4 , 8 % 4 9 , 6 %
Więcej zmiennych nie oznacza lepszego modelu
Sprzeczność pomiędzy zwiększaniem stabilnościmodeli, a zwiększaniem ilości danych do modelu
UwagiUwagi
Zjawiska ekonomiczne są trudne do prognozowania
Więcej obserwacji - lepsze poznanie zjawiska
Dobry model powinien być oszczędny
Dobry model nie musi dawać dobrych prognoz
M.Cieślak (red.) Prognozowanie gospodarcze. Metody i zastosowania. PWN’97A. Zeliaś, B.Pawełek, S.Wanat Prognozowanie ekonomiczne. Teoria, przykłady, zadania PWN’2003J.Gajda Prognozowanie i symulacja a decyzje gospodarcze, Wydawnictwo C.H. Beck 2001
A. Zeliaś, Teoria prognozy PWE’97W.Sadowski (red.) Elementy ekonometrii i programowania matematycznego. PWN’80D.Montgomery, L.Johnson, J.Gardiner Forecasting and Analysis. McGraw Hill’90A. Aczel Statystyka w zarządzaniu PWN 2000
W.Samuelson, S.Marks Ekonomia menedżerska, PWE’98
Użyteczna literaturaUżyteczna literatura