Regresja liniowa i nieliniowa - Aktualnościm6.pk.edu.pl/materialy/mp/MP_04_regresja.pdf · dr. in...

Metody prognozowania:Metody prognozowania:

Regresja liniowa i nieliniowaRegresja liniowa i nieliniowa

Dr in. Sebastian Skoczypiec

dr. in. Sebastian Skoczypiec














Zmienna losowa X zmienna, ktra w wyniku pewnego dowiadczenia przyjmuje z pewnym prawdopodobiestwem warto z okrelonego zbioru

Zmienn losow X nazywamy dyskretn (skokow), jeeli zbir wartoci zmiennej X jest zbiorem skoczonym lub przeliczalnym (cig liczbowy).

Zmienn losow X nazywamy cig, jeeli zbir wartoci zmiennej X mona przedstawi jako przedzialiczbowy.

Zmienna losowaZmienna losowa


Rozkadem zmiennej losowej skokowej (funkcj rozkadu prawdopodobiestwa) nazywamy funkcj prawdopodobiestwa, ktra kadej realizacji zmiennej X przyporzdkowuje okrelone prawdopodobiestwo:

dla pi>=0

gdzie: P(X=xi) prawdopodobiestwo, e zmienna X przyjmie warto xi,

Dystrybuant zmiennej losowej X nazywamy funkcj F(x) dla wszystkich liczb rzeczywistych o postaci

Zmienna losowa skokowaZmienna losowa skokowa

ii pxXP == )(

11

=

=iip

==xx

i

i

pxXPxF )()(


Funkcj gstoci prawdopodobiestwa zmiennej losowej cigej nazywamy funkcj f(x), okrelon na zbiorze liczb rzeczywistych, speniajc warunki:

dla dla dowolnych a < b

Dystrybuant zmiennej losowej X cigej nazwyamy funkcj:

Zmienna losowa ciZmienna losowa ciggaa

11

=

=iip

0)( xf )()()( bXaPbXaPdxxfb

a



dr. in. Sebastian Skoczypiec 21Metody Prognozowania: Jako prognoz

Wprowadzenie Wprowadzenie


Korelacja:rodzaj zalenoci pomidzy zmiennymi losowymi, z ktrych kada wyznaczona jest przez pewn cech, ze wzgldu na ktr bada si dano populacj.

Regresja:sprowadzenie zagadnienia wspzalenoci zmiennych losowych do zalenoci funkcyjnej.

Na podstawie wynikw bada dowiadczalnych wyznacza si zaleno pomidzy zmiennymi losowymi, najczciej w formie tzw. rwnania regresji, ktre przedstawia charakter zwizkw pomidzy czynnikami wejciowymi i wynikowymi.

Z matematycznego punktu widzenia, regresj nazywamy dowoln metodstatystyczn pozwalajc estymowa warunkow warto oczekiwan zmiennej losowej, zwanej zmienn objanian, dla zadanych wartoci innej zmiennej lub wektora zmiennych losowych (tzw. zmiennych objaniajcych).

WprowadzenieWprowadzenie

22Metody Prognozowania: Jako prognoz



W zapisie formalnym model przybiera posta:

Y = f(X,) + lub Y = f(X+ X,) +

gdzie: X wektor zmiennych objaniajcychY zmienna objaniana - wektor wspczynnikw regresjif(X,) funkcja regresji, X - bd losowy




Celem konstrukcji modelu jest przyblienie nieznanej funkcji f przez jej estymator. Sprowadza si to do takiego wyznaczenia wektora wspczynnikw , aby zminimalizowa w zbiorze uczcym funkcj straty.

L(f ,f) = f((a,b))

Zwykle jako miar bdw stosuje si sum kwadratw rnic (bdw regresji):

(a,b) = (a-b)2

wwczas obliczenia s najprostsze - dopasowanie modelu sprowadza si do zastosowania prostej matematycznie metody najmniejszych kwadratw (MNK).


































Wspczynnik korelacji r nie jest czuy na zalenoci krzywoliniowe.

Gdy zaleno midzy dwoma zmiennymi jest nieliniowa, wwczas miara koncentracji wynikw pomiarw wzgldem krzywej regresji moe by tzw. stosunek korelacyjny:

gdzie: k liczba przedziaw, - wariancja dla j przedziau, mj ilo punktw w j przedziale

Stosunek korelacyjnyStosunek korelacyjny


2

2

1

2|

|)1(

)1(

1y

k

j

yxj

yxSn

Smj

=

=

2| jyx

S


Stosunek korelacyjny: okrela stosunek pomidzy dwoma zmiennymi, ktrych zaleno przyczynowo skutkowa jest okrelona (x zaley od y).

Jeeli zaleno ta nie jest znana to naley okreli x|y.

x|y = 0: brak koleralcji midzy badanymi zmiennymi (tzn. brak zalenoci zmiennej y od x)

x|y = 1: zaleno pomidzy x i y jest funkcyjna

x|y = rx|y: zaleno liniowa

Stosunek korelacyjnyStosunek korelacyjny



Charakter relacjiCharakter relacji


Wspczynnik korelacji liniowej

Stosunek korelacji

Zaleno midzy zmiennymi x i y

rx|y=1 - funkcyjna liniowa

rx|y=0 x|y=1funkcja

krzywoliniowa

rx|y=0 x|y=0 brak korelacji

rx|y=0 x|y0 x|y




Estymacja parametrEstymacja parametrw modelu (2)w modelu (2)

gdzie (yi, xi) oznacza elementy prby losowej.

i


Kad obserwacj empiryczn mona zapisa jako:

yi = b + axi +i.

Problem estymacji sprowadza si do wyznaczenia miniumumfunkcji s danej wzorem.


[ ]==

+==n

iii

n

ii xabybas

1

2

1

2 )(),(


Funkcja s jest funkcj dwch niewiadomych (a i b), aby znaleminimum tej funkcji musimy wyznaczy pochodne czstkowe funkcji s wzgldem obu niewiadomych:

i przyrwna te pochodne do zera.


=

=

=

=

n

i

iiia

n

i

iib

xabyxs

xabys

1

1

)(2'

)(2'


Otrzymujemy ukad rwna postaci:

Estymacja parametrEstymacja parametr w modelu (5)w modelu (5)

=

=

=

=

0)(

0)(

1

1n

iiii

n

iii

xabyx

xaby

x

xy

xx

xxyya

n

ii

n

iii

var

cov

)(

))((

1

2

1 =

=

=

= xayb =

Rozwizujc mamy:

cov xy (kowariancja ) - liczba okrelajca zaleno liniow midzy zmiennymi losowymi x i y.var x (wariancja) miara zmiennoci zwizana ze zrnicowaniem zbioru





























LLinearyzacjinearyzacj aa modelumodelu regresjiregresji wielomianowejwielomianowej

xvxu

bxay

1,;

1 ==+

=

yv

xu

bxa

xy

1,

1; ==

+=

)lg(,lg; cyvxucaxy b ==+=

yvxuaxy lg,lg; ===

yvx

uaey xb

lg,1

; ===

yvxuaey bx lg,; ===

yvxubxay ==+= ,lg;lg



Uycie regresji:

1.konstruowanie modelu - budowa tzw. modelu regresyjnego, czyli funkcji, opisujcej jak zaley wartooczekiwana zmiennej objaniajcej od zmiennych objanianych.

Funkcja ta moe by zadana:

nie tylko czystym wzorem matematycznym, ale take caym algorytmem, np. w postaci drzewa regresyjnego, sieci neuronowej, itp. Model konstruuje si tak, aby jak najlepiej pasowa do danych z prby, zawierajcej zarwno zmienne objaniajce, jak i objaniane (tzw. zbir uczcy).



2. Wyliczanie regresji (stosowanie modelu, scoring)

uycie wyliczonego modelu do danych w ktrych znamy tylko zmienne objaniajce (wejciowe), w celu wyznaczenia wartoci oczekiwanej zmiennej objanianej.



NaleNaley sprawdziy sprawdzi

1) Adekwatno funkcji - czy funkcja jest odpowiednia dla badania ich zmiennych X,Y

2) Istotno parametrw funkcji - mwi nam, w jakim stopniu, w ilu procentach mona zawierzy ich wiarygodnoci (i czy w ogle).

-3 -2 -1 0 1 2 3

0 .00

0 .05

0 .10

0 .15

0 .20

0 .25

0 .30

0 .35

0 .40

-tn,

tn,

/2 /21-

Poziomem istotnoci nazywamy przyjte prawdopodobiestwo pomyki w trakcie oceny istotnoci parametru

Werykacja adekwatnoci funkcji:test F

weryfikacja istotnoci wspczynnikw funkcji obiektu -test t Studenta .


Weryfikacja adekwatno ci modelu obiektu

Model obiektu opisuje jego waciwoci i zachowanie tylko w przyblieniu.Spowodowane jest to niedokadnoci wyznaczenia parametrw modelu oraznieadekwatnoci struktury modelu.

Na niedokadno wyznaczenia parametrw modelu maj wpyw nastpujce czynniki:- bdy przyjtej metody identyfikacji parametrw modelu,- bdy oblicze numerycznych,- bdy danych uytych do identyfikacji parametrw modelu.

Nieadekwatno struktury modelu wynika natomiast z trzech czynnikw:- pominicia wrd wielkoci modelujcych obiekt, czynnikw istotnych dla przebiegu zjawisk w obiekcie,-niewaciw specyfikacj wielkoci modelujcych obiekt,-przyjciem niewaciwego typu rwnania modelu.


Model obiektu opisuje jego waciwoci i zachowanie tylko w przyblieniu. Spowodowane jest to: niedokadnoci wyznaczenia parametrw modelu nieadekwatnoci struktury modelu.

Na niedokadno wyznaczenia parametrw modelu maj wpyw nastpujce czynniki:- bdy przyjtej metody identyfikacji parametrw modelu,- bdy oblicze numerycznych,- bdy danych uytych do identyfikacji parametrw modelu.

Weryfikacja adekwatnosci modelu Weryfikacja adekwatnosci modelu


Nieadekwatno struktury modelu wynika natomiast z trzech czynnikw:

pominicia wrd wielkoci modelujcych obiekt, czynnikw istotnych dla przebiegu zjawisk w obiekcie,

niewaciw specyfikacj wielkoci modelujcych obiekt

przyjciem niewaciwego typu rwnania modelu.



Oceny adekwatnoci modelu dokonuje si na dwa sposoby:

1)Pierwsza metoda polega obliczeniu wartoci bdu aproksymacji wybran funkcj f i porwnaniu jej z pewn arbitralnie wybran wartocidopuszczaln ed. Jeli obliczona warto bdu emax jest mniejsza od edwwczas uznaje si wyznaczony model za adekwatny.

2)Zastosowanie statystycznego testu istotno ci testu F (Snedecora)



Definicje bdw aproksymacji:

maksymalny bezwzgldny bd aproksymacji:

maksymalny bd wzgldny:

bd redniokwadratowy:








Hipotez statystyczn nazywamy:kade przypuszczenie dotyczce nieznanego rozkadu badanej cechy populacji, o prawdziwoci lub faszywoci ktrego wnioskuje si na podstawie badanej prbki.

Przy weryfikacji hipotez postpuje si w ten sposb, e oprcz weryfikowanej hipotezy zwanej hipotez zerow wyrnia si jeszcze inn hipotez K, ktra najczciej wynika z celu badania statystycznego, zwan hipotez alternatywn.

W celu weryfikacji hipotezy budujemy funkcj opart na prbie (najlepiej prbie losowej prostej) (X1,....,Xn) zwan statystyk testow .

Przy pobieraniu rnych prbek, nawet o tej samej licznoci n funkcja ta przyjmuje na og rne wartoci, z ktrych jedne bd wiadczyy o prawdziwoci weryfikowanej hipotezy a inne bd j odrzucay.

Naturalnym zatem jest podzielenie zbioru wszystkich wartoci, ktre moe przyjstatystyka testowa na dwa dopeniajce si zbiory W i W, takie e:

Zbir W nazywamy zbiorem krytycznym, za zbir W zbiorem przyj.


Testu istotno ci test F (Snedecora): Weryfikacja si statystycznie hipotezy

poprzez porwnanie wariancj bdw aproksymacji (wariancjadekwatnoci) a2 z wariancj niedokadnoci pomiarw wielkoci wyjciowej 2.

Przyjmuje si nastpujce hipotezy:1) hipoteza zerowa H0: a2 = 2 oznaczajca, i model jest adekwatny,2) hipoteza alternatywna: H1: a2 > 2 oznaczajca, i model nie jest

adekwatny.



Procedura weryfikacji statystycznej dla jednakowej liczby powtrze r we wszystkich ukadach planu eksperymentu jest nastpujca:

a)Oblicza si warto funkcji testowej:

b)na podstawie rozkadu F (Snedecora) odczytuje si z tablicy statystycznej warto krytyczn F , f2 , f1 odpowiadajc zaoonemu poziomowi ufnoci .

c) Sprawdza si warunek F F, f2 , f1 . Jeli warunek jest speniony wwczas nie ma podstaw do odrzucenia hipotezy zerowej i przyjmuje si, e model jest adekwatny. W przeciwnym razie prawdziwa jest hipoteza alternatywna, czyli model nie jest adekwatny.

Stwierdzenie na podstawie jednej z wymienionych metod nieadekwatnoci modelu obiektu oznacza konieczno ponownego przeprowadzenia aproksymacji funkcj o innej postaci lub zwikszenie liczby pomiarw dla kadego ukadu planu dowiadczenia.




Dotychczas rozpatrywalimy tylko dwie zmienne: Y i X.

Czciej mamy do czynienia z przypadkami w ktrych jestzmienna losow Y oraz k zmiennych X (staych lub losowych).

kkk xbxbbxxmy +++== 1101 ),...(

Regresja wieloraka (1)Regresja wieloraka (1)

Model regresji liniowej mona rwnie rozszerzy w inny sposb, wprowadzajc do niego jako sztucznie stworzone predyktory np. iloczyny dwch lub wikszej liczby zmiennych objaniajcych. Pozwala to na uwzgldnienie tzw. interakcji pomidzy zmiennymi, czyli zmiany siy wpywu jednej ze zmiennych przy rnych wartociach innej zmiennej.


Wspczynnik korelacji wielorakiej:


( )

( )

=

=

=n

i

i

n

i

i

yy

yy

R

1

2

1

2

yi empiryczna warto i-tego czynnika wynikowego, n ilo pomiarw,

- warto rednia i-tego czynnika wynikowego- warto i-tego czynnika wynikowego obliczona z r. regresjiiy

iy


Wspczynnik R mona te obliczy na podstawie:


2|

|||2|

2|

1 xy

zxzyxyzyxy

r

rrrrrR

+=

gdzie: ry|x, ry|z, rx|z wspczynniki korelacji liniowej pomidzy poszczeglnymi czynnikami.

Im R blisze 1 tym wierniejsze odwzorowanie zmiennoci cech badanych przez liniowa funkcj regresji wielorakiej.


Wspczynniki modelu b1, ..., bk bdziemy nazywamy czstkowymi wspczynnikami regresji .


( )s e y b b x b xjj

j j k kjj

= = = 2 0 1 12

min

Kryterium estymacji:

naley tak dobra parametry modelu, aby suma kwadratwodchyle od modelu bya jak najmniejsza:

y b b x b x ej j k kj j= + + + +0 1 1


Hipotez o nieistotnoci regresji wielokrotnej moemy zapisajako:

jej weryfikacja testem F Fishera-Snedecora.

Sumy kwadratw odchyle i rednie kwadraty potrzebne do zweryfikowania hipotezy o istotnoci regresji mog bywyznaczone z niej podanych wzorw:

BadanieBadanie istotnoistotno cici regresjiregresji wielokrotnejwielokrotnej

H b b bk0 1 2 0: = = = =

SS b x y MSSS

kR i iiR

R= = $ cov

SS y b x y MSSS

n kE i i EE

i

= = var

$ cov1


Hipotez

BadanieBadanie istotnoistotnocici regresjiregresji wielokrotnejwielokrotnej

H b b bk0 1 2 0: = = = =

F FR k n k> , , 1

Odrzucenie hipotezy H0 jest rwnoznaczne z tym, eco najmniej jeden wspczynnik regresji jest rny od zera;

tzn. istnieje zwizek funkcyjny liniowy midzy zmienn zalen a zmiennymi niezalenymi.

Problem statystyczny:ktre zmienne niezalene powinny pozosta w modeluregresji.

odrzucamy gdy


Charakteryzujc obiekt bada przyjmuje si okrelon liczbzmiennych wejciowych. Nie ma jednak pewnoci czy wszystkie zdefiniowane zmienne wejciowe maj wpyw na dziaanie obiektu.

Stwierdzenie braku skorelowania okrelonej zmiennej wejciowej xk ze zmienn wyjciow y umoliwia uproszczenie modelu badapoprzez usunicie zmiennej xk.

Dziaanie takie jest uzasadnione gwnie ze wzgldw ekonomicznych, gdy prostszy model oznacza mniejsz ilosprztu technicznego nie-zbdnego do przeprowadzeniapomiarw oraz uproszczenie oblicze matematycznych.

Weryfikacja iWeryfikacja i stotnostotno cici wspwsp czynnikczynnik ww regresjiregresji (2)(2)


Informacja o wpywie kolejnych wielkoci wejciowych xk na wielko wyjciow y jest ukryta w wartociach wspczynnikw funkcji aproksymujcej. Przykadowo:

jeli wszystkie wspczynniki przy x2 wynosz zero tzn. a2 = a22 = a12= 0 wwczas mona stwierdzi, e wielko wyjciowa y nie zaley od wielkoci wejciowej x2.

Gdyby natomiast wspczynniki przy x2 wynosiy: a22 = a12 = 0 oraz a2 0 wwczas mona wycign wniosek, e wielko x2wpywa na wielko wyjciow, ale tylko liniowo.



Analiza wspczynnikw funkcji aproksymujcej jest bardzo istotna dla realizatora bada, ktry uzyskuje w ten sposb istotne informacje o sposobie dziaania obiektu.

Analiza ta nosi nazw weryfikacji istotnoci wspczynnikw funkcji aproksymujcej. Realizowana jest w oparciu o test t-Studenta oraz ocen wartoci kowariancji wszystkich par wspczynnikw {ai, aj} funkcji aproksymujcej f().

Wykrycie nieistotnych wspczynnikw funkcji aproksymujcej na podstawie testu t-Studenta lub ich wzajemnego skorelowania(niezerowej wartoci kowariancji) wskazuje na koniecznouproszczenia modelu. Po wyznaczeniu funkcji aproksymujcej naley ponownie przeprowadzi weryfikacj jej adekwatnoci. Dopiero pozytywne przejcie tej weryfikacji jest podstaweliminacji nieistotnych wspczynnikw.



Problem sprowadza si do zweryfikowania serii k hipotezzerowych mwicych o tym, e i-ty czstkowy wspczynnikregresji jest rwny zero.

Hipotezy te mog by weryfikowane testem t-Studenta

WeryfikacjaWeryfikacja hipotezhipotez o o istotnoistotno cici czczstkowychstkowychwspwsp czynnikczynnik ww regresjiregresji


Wyraenie

jest oszacowaniem redniego kwadratu odchyle od regresji.Przy prawdziwoci hipotez zerowych tak okrelone statystykimaj rozkad t-Studenta z liczb stopni swobody rwn n-k-1

WeryfikacjaWeryfikacja hipotezhipotez

H bi0 0: =

sy b x y

n ky x xi i

ik/ ,...

var $ cov

1

2

1=


Hipotez

bdziemy odrzuca, jeeli warto statystyki t znajdzie si w obszarze krytycznym.

Jeeli zmienne niezalene s z sob powizaneto oceny istotnoci czstkowych wspczynnikw regresjinie s niezalene.

0:0 =ibH


W przypadku istnienia silnych wspzalenoci midzyzmiennymi niezalenymi analizujc funkcj regresji wielokrotnejdochodzimy do wniosku, e jest ona istotna statystycznie(testem F).

Weryfikujc dalej hipotezy o istotnoci czstkowychwspczynnikw uzyskujemy wartoci testu t Studenta, ktre nieprzecz hipotezom zerowym.

Czyli mamy istotn funkcj regresji ale wszystkie zmienne(analizowane oddzielnie) s nieistotne, powinny wic by usunitez modelu.

Zaczynamy od penego zestawu potencjalnych zmiennychniezalenych, a nastpnie kolejno usuwamy z modelu t zmiennniezalen, ktrej rola w opisywaniu zalenoci midzy zmienn Ya zmiennymi niezalenymi jest najmniejsza. Podejcie takie nosinazw regresji krokowej.

Problem Problem doborudoboru zmiennychzmiennych


W wielu przypadkach interesuje nas nieliniowy zwizek midzyzmienn Y a zmienn X

Waciwie Estymacj nieliniow moemy traktowa jako uoglnienie metod liniowych.

W przypadku Estymacji nieliniowej sami decydujemy o okreleniu natury tego zwizku; na przykad moemy przyj, e zmienna zalena ma by funkcj:

logarytmiczn zmiennej niezalenej (zmiennych niezalenych) funkcj wykadnicz funkcj pewnego zaoonego ilorazu zmiennych niezalenych itd.

RegresjaRegresja nieliniowa (1)nieliniowa (1)


Wspczynniki regresji:i-ty, czstkowy wspczynnik regresji opisuje o ile rednio zmieni si wartozmiennej Y przy wzrocie i-tej wartoci zmiennej X o jednostk przy ustalonychwartociach pozostaych zmiennych niezalenych.

W przypadku wikszoci modeli regresji nieliniowej taka interpretracja nie jest moliwa.

Jeli dopuszczamy dowolny typ zalenoci midzy zmiennymi niezalenymi a zmienn zalen, pojawiaj si dwa pytania, po pierwsze, jakie rodzaje zalenoci "maj sens", to znaczy, jak mona je w znaczcy sposb zinterpretowa?

Zaleno nieliniowa nie daje si zwykle tak atwo zinterpretowai zwerbalizowa. Po drugie, jak dokadnie obliczy zaleno, to znaczy jak wywnioskowa, czy faktycznie wystpuje zalenonieliniowa taka, jakiej oczekiwalimy?

Regresa nieliniowa (2)Regresa nieliniowa (2)



Wyraenie to nazywamy wspczynnikiem determinacji .

r2

Informuje:

jaka cz zmienno ci cakowitej zmiennej losowej Y zostaa wyjaniona regresj liniow wzgldem X.

WspWsp czynnik determinacjiczynnik determinacji

( )

( )

=

=

=n

i

ii

n

i

ii

xy

yyxx

yyxx

r

1

22

2

12|

)(

)(


Zaoymy, e rozkad zmiennych losowych Y i X w populacji generalnej jest normalny. Na podstawie n - elementowej prby chcemy zweryfikowahipotez, e zmienne te s liniowo niezalene:

wobec

Jeeli H0 jest prawdziwa, to statystyka:

ma rozkad t Studenta z liczb stopni swobody v = n 2.

Hipoteza o istotnoci korelacji moe by take zweryfikowana poprzez porwnanie wyznaczonego wspczynnika z prby z wartociami krytycznymi wspczynnika korelacji wielokrotnej Pearsona.

Weryfikacja hipotezy o istotnoWeryfikacja hipotezy o istotno ci korelacjici korelacji

H0 0: = H1 0:

tr

rn=

12

2

1,, > knkRr


WWeryfikacjeryfikacj aa hipotezyhipotezy o o istotnoistotno cici regresjiregresji

( )=

=n

iiR yySS

1

2

( )SS y y yT ii

n

= ==

2

1

var

Zmienno df SS M.S Femp. F

Regresji 1 MSR FR

Odchyle n-2 SSE MSE F,1,n-2

Cakowita n-1

Weryfikacji hipotezy o istotnoci regresji testem F Fishera-Snedecora.

Analiza wariancji ma posta


Dla regresji liniowej statystyka:

ma rozkad t Studenta z liczb stopni swobody n - 2.

Na tej podstawie moemy wyznaczy przedzia ufnoci dla wartoci z modelu:

PrzedziaPrzedzia ufnoufno ci dla wartoci dla warto ci modeluci modelu

tm x m x

Sm x=

$ ( ) ( )

$ ( )

StxmStxmxm xmnxmn >+< )(2,)(2, )(;)()(

Regresja liniowa i nieliniowa - Aktualnościm6.pk.edu.pl/materialy/mp/MP_04_regresja.pdf · dr. in...

Documents

Transcript of Regresja liniowa i nieliniowa - Aktualnościm6.pk.edu.pl/materialy/mp/MP_04_regresja.pdf · dr. in...