Regresja liniowa

Dany jest układ punktów

nn y,x

y,xy,x

22

11

x

y

baxy ii x – zmienna objaśniająca (nie obarczona błędem)

y – zmienna zależna (obarczona błędem)

Naszym zadaniem jest poprowadzenie „najlepszej” prostej przez te punkty.

xay

xxn

yxxyxb

xyx

xxyxxy

xxn

yxyxna

bba

aba

baxyyyba

n

ii

n

ii

n

iii

n

ii

n

ii

n

ii

n

ii

n

ii

n

ii

n

ii

n

iii

n

iii

n

i

oblii

2

11

2

1111

2

222

11

2

111

1

2

1

2

var,cov

0,0,

,

Wyznaczanie optymalnych parametrów a i b

Macierz wariancji-kowariancji wyznaczonych parametrów równania prostej

n

iiir

r

baxyn

E

1

22

12T

21

**

Apppp

22

11

2

1212

1

22

11

2

1

2

222

12

22

11

2

211

12

rn

ii

n

ii

n

ii

rab

rn

ii

n

ii

n

ii

rb

rn

ii

n

ii

ra

xxn

x

xxn

x

xxn

n

A

A

A

r2 – wariancja resztowa

x

y

Ocena wyników regresji:

-Test dobroci dopasowania (2)

-Test istotności efektu liniowego (współczynnik korelacji)

2

2

11

22

11

2

1 11

varvar,cov

r

yynxxn

yxyxn

yxyxr

n

ii

n

ii

n

ii

n

ii

n

i

n

iii

n

iii

współczynnik determinacji (ułamek wyjaśnionej wariancji)

r > 0 – korelacja dodatnia

r<0 – korelacja ujemna

|r|>0.7 – dobra korelacja

0.3<|r|<0.7 – słaba korelacja

|r|<0.3 – brak korelacji

2

1

1

2

1

2

1

2

n

yy

yyyy

F n

i

oblii

n

i

oblii

n

ii

Bardziej ogólny przypadek dopasowywania równania prostej: regresja ważona

n

iiii

n

i i

ii baxywbaxyb,a1

2

12

2

n

i i

in

i i

n

i i

i

n

i i

iin

i i

in

i i

i

ybax

yxbxax

12

12

12

12

12

12

2

1

Linearyzacja

Mamy dopasować funkcję nieliniową

y=f(x,y;a.b)

Przekształcamy funkcję do takiej postaci aby uzyskać postać zlinearyzowaną

=+

Gdzie jest nową zmienną zależną, nową zmienną objaśniającą a a i b są nowymi parametrami, przy czym ogólnie=(x,y), =(x,y), =(a,b), =(a,b)

Przykład problemu nieliniowego linearyzowalnego: kinetyka reakcji pierwszego rzędu

o

o

o

k

CkCtktCtAktCtA

BA

ln

lnlnlnexp

Jeżeli chcemy postępować poprawnie to należy wykonać regresję ważoną, wyliczając wagi poszczególnych przekształconych zmiennych objaśniających zgodnie z rachunkiem błędów.

22

22

2ii x

i

iy

i

ii xy

W poprzednim przykładzie

2

22ln

2 1AA A

Inne przykłady linearyzacji:

Równanie Michalisa-Mentena

S

KSKS m

m

1v1

vv1vv

maxmax

max

Równanie Hilla

KpnyyKp

yy n lnln

1ln

1

Obie zmienne są obarczone porównywalnym błędem

x

y x

y

22222

22xyxyy a

xy

Poprawiona wartość wagi zależy od a, które jest parametrem regresji. Problem liniowy przekształca się w nieliniowy. Problem można obejść przeprowadzając najpierw “zwykłą” regresję i wyznaczyć przybliżone a, następnie wstawić a do wzoru na wagi i przeprowadzić regresję jeszcze raz.

Sposób: regresja ortogonalna

Regresja uogólniona albo analiza konfluentna

**2

*1

1

2*2

2*2

1

2*2

2*2

,,,;,11

11

n

n

iii

yii

x

n

iii

yii

x

xxxbabaxyxx

yyxx

ii

ii

x

y (x,y)

(x*,y*)

3

2

1

321

221

21

1

321

/

expexp1

3

2

1

kkk

CCytx

tkkk

ktkkkk

kCtC

CB

kkkBA

CA

o

o

k

k

k

p

Przykład problemu nieliniowego nielinearyzowalngo: kinetyka reakcji pierwszego rzędu z produktem przejściowym

Regresja liniowa wielokrotna

mm

nnmnn

m

m

xpxpxpy

yxxx

yxxxyxxx

2211

21

222221

111211

Zmienne objaśniające x1,x2,…,xm nie muszą odpowiadać różnym wielkościom lecz mogą być funkcjami tej samej wielkości mierzonej (np. jej kolejnymi potęgami w przypadku dopasowywania wielomianów).

2

22

21

T

1

2

12

1

T2

1

1000

010

001

1

n

n

i

p

jijji

i

n

i

p

jijji

xpy

xpy

W

XpYWXpY

XpYXpY regresja nieważona

regresja ważona

Przypadek szczególny: dopasowywanie wielomianu

nmnn

m

m

mm

yxx

yxxyxx

xpxppy

1

21

22

11

11

1110

1

11

m

iiimm

n

iim

n

iiim

n

iiim

m

iiim

n

iimi

n

ii

n

iii

m

iiim

n

iimi

n

iii

n

ii

yxpxpxxpxx

yxpxxpxpxx

yxpxxpxxpx

11

22

121

11

12

122

1

221

112

11

112

1211

1

21

WYXpWXX

YXpXXTT

TT

n

i

m

jijjir xpy

mn 1

2

1

2 1

Test F dla istotności efektu liniowego

mn

yy

m

yyyy

F n

i

oblii

n

i

oblii

n

ii

1

2

1

2

1

2

1

1

12

21

121,

m

mm

mmmn

mmF

Test F dla istotności włączenia nowych parmetrów

Przykład dopasowywania wielomianu: rozkład cosinusa kąta rozpraszania mezonów K z protonami (zakładamy że j=sqrt(yj).

j tj=cos(j) yj

1 -0.9 812 -0.7 503 -0.5 354 -0.3 275 -0.1 266 0.1 607 0.3 1068 0.5 1899 0.7 318

10 0.9 520

m p1 p2 p3 p4 p5 p6 f M F F0.9

1 57.85 9 833.55 -

2 82.66 99.10 8 585.45 3.92 3.458

2 47.27 185.96 273.61 7 36.41 105.55 3.589

4 37.94 126.55 312.02 137.59 6 2.85 70.65 3.776

5 39.62 119.10 276.49 151.91 52.60 5 1.68 3.48 4.060

6 39.88 121.39 273.19 136.58 56.90 16.72 4 1.66 0.05 4.545

n

i i

ii yy1

2

2