Omietański P. - Wstęp Do Metod Numerycznych
-
Upload
lucky125111 -
Category
Documents
-
view
38 -
download
11
description
Transcript of Omietański P. - Wstęp Do Metod Numerycznych
-
Pawe Omietaski
Wstp do metod numerycznych
Notatki z wykadu prof. Sdziwego.
-
Spis treci
1 Analiza bdw. 31.1 Reprezentacja liczb rzeczywistych. . . . . . . . . . . . . . . . . . . . . . 3
1.1.1 Reprezentacja staoprzecinkowa. . . . . . . . . . . . . . . . . . . 31.1.2 Reprezentacja zmiennoprzecinkowa. . . . . . . . . . . . . . . . . 3
1.2 Operacje zmiennoprzecinkowe . . . . . . . . . . . . . . . . . . . . . . . 51.3 Uwarunkowanie zadania. . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2 Rozwizywanie ukadw rwna liniowych. 72.1 Wprowadzenie. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72.2 Metody dokadne. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2.1 Metoda eliminacji Gaussa. . . . . . . . . . . . . . . . . . . . . . 82.2.2 Faktoryzacja LR. . . . . . . . . . . . . . . . . . . . . . . . . . . 102.2.3 Faktoryzacja QR . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3 Metody przyblione (interacyjne). . . . . . . . . . . . . . . . . . . . . . 192.3.1 Macierze. Normy macierzowe. . . . . . . . . . . . . . . . . . . . 192.3.2 Podstawowe wiadomoci dotyczce metod iteracyjnych. . . . . . 282.3.3 Metody stacjonarne. . . . . . . . . . . . . . . . . . . . . . . . . 292.3.4 Metody Gaussa-Seidla i Jacobiego. . . . . . . . . . . . . . . . . 302.3.5 Metoda kolejnych nadrelaksacji (SOR - succesive overrelaxation). 342.3.6 Metoda Richardsona. . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4 Metody gradientowe. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402.4.1 Metoda najmniejszych kwadratw. . . . . . . . . . . . . . . . . 402.4.2 Uoglniona metoda najmniejszych kwadratw. . . . . . . . . . . 402.4.3 Metoda gradientw sprzonych. . . . . . . . . . . . . . . . . . . 46
3 Wyznaczanie wartoci wasnych i wektorw wasnych macierzy. 483.1 Metody dokadne. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513.2 Metody iteracyjne. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2.1 Metoda potgowa. . . . . . . . . . . . . . . . . . . . . . . . . . 533.2.2 Wariant metody potgowej . . . . . . . . . . . . . . . . . . . . . 563.2.3 Metoda Householdera. . . . . . . . . . . . . . . . . . . . . . . . 57
3.3 Wyznaczanie wszystkich wartoci wasnych macierzy symetrycznych. . . 593.3.1 Metoda obrotw Jacobiego. . . . . . . . . . . . . . . . . . . . . 593.3.2 Metoda QR wyznaczania wartoci wasnych macierzy. . . . . . . 62
4 Interpolacja. 634.1 Interpolacja wielomianowa. . . . . . . . . . . . . . . . . . . . . . . . . . 644.2 Ilorazy rnicowe. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674.3 Wielomiany Hermitea. . . . . . . . . . . . . . . . . . . . . . . . . . . . 694.4 Reszta interpolacji wielomianu. . . . . . . . . . . . . . . . . . . . . . . 724.5 Wzy rwnoodlege . . . . . . . . . . . . . . . . . . . . . . . . . . . . 744.6 Potga symboliczna (wielomian czynnikowy) . . . . . . . . . . . . . . . 764.7 Interpolacja trygonometryczna . . . . . . . . . . . . . . . . . . . . . . . 77
4.7.1 Algorytm szybkiej transformaty Fouriera . . . . . . . . . . . . . 814.8 Funkcje sklejane . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
1
-
5 Aproksymacja. 915.1 Ortogonalizacja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 965.2 Wielomiany ortogonalne . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.2.1 Wasnoci ekstremalne wielomianw Czebyszewa . . . . . . . . . 1025.3 Aproksymacja jednostajna . . . . . . . . . . . . . . . . . . . . . . . . . 104
6 Cakowanie numeryczne. 1066.1 Kwadratury Newtona-Cotesa. . . . . . . . . . . . . . . . . . . . . . . . 108
6.1.1 Reszta kwadratur Newtona-Cotesa. . . . . . . . . . . . . . . . . 1096.2 Kwadratury zoone Newtona-Cotesa. . . . . . . . . . . . . . . . . . . . 1106.3 Kwadratury Gaussa. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
6.3.1 Reszta kwadratur Gaussa . . . . . . . . . . . . . . . . . . . . . 1156.4 Zbieno cigu kwadratur . . . . . . . . . . . . . . . . . . . . . . . . . 115
7 Rozwizywanie rwna nieliniowych. 1187.1 Metoda bisekcji. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1207.2 Kontrakcje. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1217.3 Metoda siecznych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1237.4 Metoda regua falsi. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1267.5 Metoda stycznych (Newtona). . . . . . . . . . . . . . . . . . . . . . . . 127
2
-
Metody numeryczne zajmuj si badaniem sposobw rozwizywania zada mate-matycznych przy pomocy dziaa arytmetycznych.
1 Analiza bdw.
1.1 Reprezentacja liczb rzeczywistych.
Kad liczb rzeczywist x R moemy zapisa w postaci
x = i=k
cii = (kck+ k1ck1 + . . .+ c0 + 1c1 + . . .),
gdzie jest podstaw systemu, oraz ci {0, . . . , 1}. Moemy wic zapisa, eJedna zkropek tokropkadziesitna!
x = ckck1 . . . c0.c1c2 . . .Ustalmy n i niech x oznacza reprezentacj liczby x za pomoc n znakw. Wwczasbdem bezwzgldnym wartoci przyblianej x nazywamy
x = x x,
natomiast bdem wzgldnym tej wartoci nazywamy
= xx.
1.1.1 Reprezentacja staoprzecinkowa.
Liczb x zapisujemy przy pomocy n = n1+n2 znakw, gdzie n1 oznacza liczb znakwprzed kropk dziesitn, a n2 za t kropk. Jeeli n2 = 0, to mamy liczb cakowit.Liczby cakowite o dugoci n nale do przedziau [n+ 1, n 1].
Jeli a, b Z s o dugoci nie wikszej ni n takimi, e a b, ab s liczbamio dugoci nie wikszymi ni n, to operacje dodawania, odejmowania i mnoenia swykonywane dokadnie.
1.1.2 Reprezentacja zmiennoprzecinkowa.
W reprezentacji tej, liczb rzeczywist x zapisujemy w postaci
x = sc m,gdzie s - znak liczby, - podstawa systemu, c - cecha, m - mantysa.
Poniewa bez adnych dodatkowych zaoe kad liczb mona by byo zapisana nieskoczenie wiele sposobw, wprowadza si tzw. warunek normalizacji: m [1, 1). Zatem mantys mona zapisa jako szereg
m =
i=1
ii = 0.12 . . . ,
gdzie i {0, . . . , 1}, 1 6= 0. Liczby i nazywamy liczbami znaczcymi.
Ustalmy t liczb znakw mantysy, oraz n t liczb znakw cechy.
3
-
Denicja 1.1. (Zbir liczb maszynowych)
A = {x R| x = scmt, c ma n t znakw, mt ma t znakw}Poniewa zbir A jest skoczony, moemy wic zdeniowa odwzorowanie za-
okrglania
rd : R x = scm 7 scmt A,gdzie liczba znakw c jest nie wiksza ni n t.
Jeeli m = 0.1 . . . tt+1 . . ., gdzie i s liczbami znaczcymi, to
mt =
{0.1 . . . t, 0 t+1 2 10.1 . . . t +
t, 2 t+1 <
Wykaemy, e |mmt| 12t 12t mmt 12t. Jeeli 0 t+1 2 1,to
mmt =it+1
ii = t+1
(t+1) +it+2
ii
(2
1)(t+1) + ( 1)
i=t+2
i
= 12t (t+1) +
it+1
i it+2
i = 12t +
it+1
i it+1
i
= 12t.
Podobnie, gdy 2 t+1 <
mmt =it+1
ii t = t+1
(t+1) +it+2
ii t
12t +
it+2
ii 1
2t
Jak wida, powysza denicja mt nie jest w peni poprawna dla podstawy nieparzy-stej. Sposobw zaokrglenia jest wiele i czsto zale one od architektury komputera.
Wprowadmy teraz pojcie dokadnoci maszynowej. Zauwamy, e rd(x)xx
= cmtcmcm
= |mtm||m|
12tm
12t
1= 1
2(t1).
Dokadnoci maszynow nazywamy eps = 12(t1) . Zatem modu bdu wzgld-
nego wartoci rd(x) jest ograniczony
|| = rd(x)x
x
eps .Wic wzr na rd(x) moemy zapisa w postaci
rd(x) = x(1+ ), || eps .
4
-
Niech rd : R A bdzie takie, e y A : |rd(x) x| |y x|. Warto rd(x)nazywamy aproksymacj liczby x liczb maszynow.
Zauwamy, e jeli rd(x) A, to rd(x) = rd(x). Nasuwa si wic pytanie, kiedyrd(x) / A? Jest tak, jeeli c / [cmin, cmax]. Jeli c < cmin, mamy wwczas niedomiarcechy i przyjmujemy, e rd(x) = 0. Bd wzgldny wynosi wwczas 100%. Gdyc > cmax, mamy nadmiar cechy i przerywamy obliczenia.
1.2 Operacje zmiennoprzecinkowe
Oznaczmy przez dowolne z dziaa +, , , /. Jeeli x, y A, to niekonieczniexy A. Operacj zmiennoprzecinkow oznacza bdziemy przez i dla x, y Adeniujemy jako
xy = (xy)(1+ ), || eps ,
zatemNajpierwzaokr-glamy,pniejdziaamy.
xy = rd(xy).
Operacje zmiennoprzecinkowe nie speniaj praw cznoci i rozdzielno-ci. W celu wykazania tej wasnoci, oznaczmy przez f(E) warto wyraenia arytme-tycznego E obliczonej wedug ustalonego algorytmu w arytmetyce zmiennoprzecinko-wej.
Niech A1 = (a + b) + c i niech A2 = a + (b + c). Pokaemy, e f(A1) 6= f(A2).Ustalmy wic a, b, c A.
f(A1) = (a+ b) + c = ((a+ b)(1+ 1) + c)(1+ 2)
= (a+ b+ c+ (a+ b)1)(1+ 2)
= a+ b+ c+ (a+ b+ c)2 + (a+ b)(1+ 2)1
= (a+ b+ c)(1+ a+b
a+b+c(1+ 2)1 + 2
)= (a+ b+ c)(1+ 1),
1 =a+ba+b+c
(1+ 2)1 + 2, |1|, |2| eps .
Podobnie obliczymy, e
f(A2) = (a+ b+ c)(1+ 2),
2 =b+c
a+b+c(1+ 4)3 + 4, |3|, |4| eps .
Jeeli przyjmiemy teraz, e a jest mae oraz a b, to a+ba+b+c
0. Wic 1 2.Zachodzi rwnie b+c
a+b+c b+c
c 1, zatem dla 2 mamy wzmocnienie bdu, wic
1 6= 2.
5
-
Wemy teraz A3 = a2 b2 oraz A4 = (a+ b)(a b).
f(A3) = (a a) (b b) = a2(1+ 1) b2(1+ 2)= [a2(1+ 1) b
2(1+ 2)](1+ 3)
= a2 b2 + (a2 b2)3 + (a21 b
22)(1+ 3)
= (a2 b2)[1+ a
21b22
a2b2(1+ 3) + 3
]= (a2 b2)(1+ 3),
3 =a21 b
22
a2 b2(1+ 3) + 3, |i| eps , i = 1, 2, 3.
f(A4) = (a+ b) (a b) = (a+ b)(1+ 4) (a b)(1+ 5)
= (a+ b)(a b)(1+ 4)(1+ 5)(1+ 6) = (a2 b2)(1+ 4),
4 = 4 + 5 + 6 + . . .+ 456, |j| eps , j = 4, 5, 6.Mora!
Wida, e 4 jest rzdu 0, natomiast 3 moe by do due. Zatem wybr algo-rytmu moe decydowa o wielkoci bdu.
1.3 Uwarunkowanie zadania.
Niech D Rm bdzie zbiorem otwartym i niech : D Rn bdzie funkcj cig.Denicja 1.2. Zadanie y = (x) jest dobrze uwarunkowane jeli niewielkie zmianydanych daj mae zmiany wynikw. W przeciwnym przypadku zadanie jest le uwa-runkowane.
Zastanwmy si, kiedy dane zadanie jest dobrze uwarunkowane. Rozwamy taksytuacj: x jest wartoci przybliajc x, y = (x), y = (x). Pytamy, czy zachodziimplikacja
x = x x mae y = y y mae.Zamy, e C1(D,Rn), wwczas
(x) = (x) +(ddx
)(x x) + reszta,
gdzie
= (1, . . . , n), x = (x1, . . . , xm), x = (x1, . . . , xm),
ddx
=(ixj
)j=1,...,m, i=1,...,n
yi = i(x) i(x) =
mj=1
ixj
xj
Jeli yi 6= 0, to
yiyi
=
mj=1
ixj
xjyi
=
mj=1
ixj
xjyi xjxj
=
mj=1
kijxj ,
gdzie kij =ixj
xjyi
nazywamy wspczynnikiem wzmocnienia bdu xj .
Zatem odpowiedzi na postawione wyej pytanie jest: zadanie jest dobrze uwa-runkowane, gdy kij s mae.
6
-
Przykad 1.3. Niech
y = (p, q) = p+p2 q, q > 0, p > 0.
Zatem (p, q) jest rozwizaniem rwnania
y2 2py+ q = 0.
Zadanie to jest le uwarunkowane, jeeli p2 q. Dla pierwiastkw pooonych bliskosiebie kada zmiana wartoci p i q, nawet niewielka, moe spowodowa brak pierwiast-kw lub znaczne ich oddalenie.
Rysunek 1:
2 Rozwizywanie ukadw rwna liniowych.
2.1 Wprowadzenie.
Niech A = (aij) bdzie rzeczywist macierz wymiaru n n i niech b = (bi) Rn.Rozdzia ten powicimy na szukanie rozwizania ukadu rwna postaci
Ax = b,(1)
rwnowany ukadowi
a11x1 + a12x2 + . . .+ a1nxn = b1a21x1 + a22x2 + . . .+ a2nxn = b2. . .
an1x1 + an2x2 + . . .+ annxn = bn
(2)
Zakadamy, e A jest macierz nieosobliw (detA 6= 0). Wprowadmy oznaczenia
A = [a1, . . . , an], aj reprezentuje kolumn macierzy A, aj =
a1j...anj
,
Ai = [a1, . . . , ai1, b, ai+1, . . . , an].
7
-
Twierdzenie 2.1. Jeeli A jest macierz nieosobliw, to wspczynniki xi rozwizaniarwnania (1) dane s wzorami
xi =detAidetA
, i = 1, . . . , n
Zatem, aby wyznaczy te wspczynniki naley obliczy n + 1 wyznacznikw. Ko-rzystajc ze wzorw Cramera
detA =Sn
sgna1(1) . . . an(n),
gdzie Sn jest zbiorem permutacji zbioru {1, . . . , n}, w celu obliczenia wyznacznika trzeba#Sn = n!wykona n!(n 1) mnoe. cznie dla wyznaczenia x trzeba wykona
(n+ 1)(n 1)n! = (n 1)(n+ 1)!
(n 1)2(n+ 1)
(n+1e
)n+1(1+O( 1
n+1
)) O(nn+2)mnoe. Dla n = 20 maszyna wykonujca 100 000mnoe na sekund potrzebowaaby3 108 lat. Zatem metoda Cramera jest numerycznie bezuyteczna.
2.2 Metody dokadne.
Zaczniemy od tzw. metod dokadnych, czyli takich, e po skoczonej liczbie kro-kw otrzymamy rozwizanie. Podstawow metod tego typu jest metoda eliminacjiGaussa. Przez odpowiednie przeksztacenia sprowadzimy macierz A do postaci trj-ktnej. Ukad taki bdzie ju mona w atwy sposb rozwiza.
Do metod dokadnych nale te metody oparte na faktoryzacji macierzy. W me-todach tego typu, dla danej macierzy nieosobliwej A szuka bdziemy macierzy B,Ctakich, e A = BC oraz macierze te dadz si atwo odwrci (ukady zwizane z nimibyy atwe do rozwizania). Jeeli znamy ju te macierze, to ukad (1) zastpujemydwoma ukadami{
By = b
Cx = y,(3)
ktre s atwe do rozwizania.
2.2.1 Metoda eliminacji Gaussa.
Rozwamy ukad (2)
a11x1 + a12x2 + . . .+ a1nxn = b1a21x1 + a22x2 + . . .+ a2nxn = b2. . .
an1x1 + an2x2 + . . .+ annxn = bn
i zamy, e a11 6= 0. Mnoymy pierwsze rwnanie przez ai1a11 (i = 2, 3, . . . , n) i odej-mujemy od i-tego rwnania, eliminujc w ten sposb x1 z i-tego rwnania. Dostajemy
8
-
wic rwnowany ukad
a11x1 + a12x2 + . . .+ a1nxn = b1(a22 a12
a21a11
) a
(1)
22
x2 + . . .+(a2n a1n
a21a11
) a
(1)
2n
xn = b2 b1a21a11
b(1)
2
a(1)
32x2 + . . .+ a(1)
3nxn = b(1)
3
. . .
a(1)
n2x2 + . . .+ a(1)nnxn = b
(1)n
Oba ukady s rwnowane, to znaczy maj to samo rozwizanie. Po odpowied-nich przeksztaceniach i przy odpowiednich zaoeniach otrzymamy ukad w postacitrjktnej
A R
Rysunek 2: Kolejne kroki
r11x1 + r12x2 + . . .+ r1nxn = c1r22x2 + . . .+ r2nxn = c2
. . .
rn1n1xn1 + rn1nxn = cn1rnnxn = cn
rwnowany ukadowi (2), ktry jest o wiele atwiejszy do rozwizania.Algorytm postpowania:
(i) Szukamy rk takiego, e
|a(k1)
rkk| = max{|a
(k1)
jk | : j k}.Element ten nazywamy elementem podstawowym.Zmianie
miejscaulega teprawastrona!
(ii) W macierzy (A(k1), b(k1)) przestawiamy miejscami wiersze k i rk, tak powstamacierz oznaczamy przez (A(k1), b(k1)).
(iii) Obliczamy
lik =a
(k1)
ik
a(k1)
kk
, i = k + 1, . . . , n
i od itego wiersza macierzy (A(k1), b(k1)) odejmujemy kty wiersz tej macie-rzy pomnoony przez lik. W ten sposb eliminujemy xk z wierszy k + 1, . . . , n.Tak otrzyman macierz oznaczamy przez (A(k), b(k)).
9
-
Kroki (i) - (iii) powtarzamy (n1) krotnie. Otrzymujemy macierz trjktn grn.Istnienieelementupodstawo-wego.
Ale skd wiadomo, e element podstawowy jest zawsze niezerowy, co umoliwianam dzielenie w kroku (iii)?
Zamy, e tak nie jest. Niech Sk = {a(k1)
jk | j = k, . . . , n} bdzie zbiorem tychelementw, spord ktrych wybierzemy element podstawowy w ktym kroku. Niechk0 oznacza ten krok, w ktrym wszystkie elementy zbioru Sk0 s zerami. MacierzA(k01) jest wwczas postaci
A(k01) =
(P Q
0 S(k0)
)
gdzie P ma zera pod diagonaln, a pierwsza kolumna macierzy S(k0) ma same zera.Zatem det S(k0) = 0. Ale macierz A jest nieosobliwa, zatem
0 6= detA = detA(k01) = (det S(k0))(detP) = 0,
co dowodzi istnienia niezerowego elementu podstawowego.Zatem, jeeli macierz A jest nieosobliwa, to metoda eliminacji Gaussa prowadzi do
rozwizania ukadu (1).Kto lepszy,Gauss czyCramer?
Naley jeszcze odpowiedzie na pytanie ile czasu nam to zajmie. W ktym krokuwykonujemy nk dziele w celu wyliczenia lik, oraz (nk)(nk+ 1) mnoe nkwierszy z ktrych kady ma n k+ 1 kolumn. Dla rwnania Rx = b wykonujemy
1+ 2+ . . .+ n =n(n+1)
2
mnoe i dziele. cznie, wszystkich operacji tego typu trzeba wykonaWielkieO. . . jugdzie byo. m
i=1
i2 =m(m+1)(2m+1)
6
M =
n1k=1
[(n k) + (n k)(n k + 1)] +n(n+1)
2
= 2
n1k=1
(n k) +
n1k=1
(n k)2 +n(n+1)
2=n
3(n2 + 3n 1)
= 2
n1k=1
k +
n1k=1
k2 +n(n+1)
2=n
3(n2 + 3n 1) = O(n3).
Zatem otrzymalimy algorytm znacznie efektywniejszy ni metoda Cramera.
2.2.2 Faktoryzacja LR.
Zauwamy, e w metodzie eliminacji Gaussa w ktej iteracji krok (ii) jest rwnowanymnoeniu lewostronnemu macierzy A(k1) przez macierz permutacji Pkrk (powstaej zmacierzy jednostkowej wymaru n przez zamian ze sob wierszy rk i k). Zatem
A(k1) = PrkkA(k1).
10
-
Krok (iii) polega na pomnoeniu lewostronnym macierzy A(k1) przez macierz Lk po-staci
Lk = [e1, . . . , ek1, lk, ek+1, . . . , en], lk = (0, . . . , 0, 1,lk+1k, . . . ,lnk)T,
Zatem
LkA(k1) = A(k),
. . .
Ln1Pn1,rn1Ln2Pn2,rn2 . . . L1P1r1A = R,
gdzie R jest macierz trjktn grn, a Lj macierzami trjktnymi dolnymi z jedynkna diagonali. Zanim przejdziemy do gwnego twierdzenia wprowadmy denicj ma-cierzy trjktnej oraz udowodnijmy kilka podstawowych wasnoci.
Denicja 2.2. Powiemy, e macierz kwadratowa A = (aij) jest trjktna dolna (grna),gdy aij = 0 dla i < j (i > j).
Lemat 2.3. Niech A,B bd macierzami kwadratowymi wymiaru n, A = (aij). Ww-czas
(i) Jeeli macierz A jest trjktna, to detA = a11 . . . ann.(ii) Jeli macierze A,B s trjktne dolne (grne), to AB jest macierz trjktn
doln (grn).
(iii) Jeli macierz A jest trjktna dolna (grna) i nieosobliwa, to A1 jest macierztrjktn doln (grn).
(iv) Jeeli macierze A,B s trjktne (obie dolne lub obie grne ) z jedynkami naprzektnej, to macierze AB oraz A1 s trjktne (odpowiednio dolne lub grne)z jedynkami na przektnej.
Dowd. Zamy, e A,B s macierzami trjktnymi dolnymi. Dla dowodu pierwszejwasnoci, niech Sn bdzie permutacj zbioru {1, . . . , n} rn od identycznoci.Wwczas istniej i, j {1, . . . , n} takie, e i > (i) oraz j < (j). Zatem dla kadejpermutacji nie bdcej identycznoci istnieje k taki, e ak(k) = 0. Mamy wic
detA =Sn
sgna1(1) . . . an(n) = a11 . . . ann.
Niech teraz C = AB. Zatem C = (cij), gdzie
cij =
ns=1
aisbsj.
Ustalmy i < j. Poniewa macierz B jest trjktna dolna, zatem bsj = 0 dla s < j. Wic
cij =
ns=j
aisbsj.
11
-
Ale A te jest macierz trjktn doln, wic ais = 0 dla i < s, co daje nam
ciji
-
Dowd. Na mocy metody eliminacji Gaussa mamy
() Ln1Pn1rn1Ln2Pn2rn2 . . . L1P1r1A = R,
gdzie macierze Pkrk i Lk s jak wczeniej. Poniewa PksPks = I wzr () moemyzapisa w postaci
Ln1Pn1rn1 . . . L1P1r1 P1r1P2r2 . . . Pn1rn1Pn1rn1 . . . P2j2P1r1 I
A = R.
Niech Z = Ln1Pn1rn1 . . . L1P2r2 . . . Pn1rn1 . Twierdzimy, e jest to macierz trj-ktna dolna z jedynkami na przektnej. W tym celu przyjrzyjmy si macierzy P2r2L1P2r2 .Wiemy, e
L1 = [l1, e2, . . . , en].
Mnoenie z prawej strony przez macierz permutacji P2r2 zamienia midzy sob kolumnyo numerach 2 i r2, zatem
L1P2r2 = [l1, er2 , . . . , e2, . . . , en].
Mnoenie z lewej strony przez macierz permutacji P2r2 zamienia midzy sob wierszeo numerach 2 i r2, zatem
P2r2L1 = [l1, e2, . . . , en],
gdzie l1 powsta z l1 przez zamian miedzy sob wyrazw o numerach 2 i r2 (pamitamy,e r2 2). Otrzymalimy wic macierz trjktn doln z jedynkami na przektnej).Oznaczmy t macierz jako L
(1)
1 . Mamy teraz
Z = Ln1Pn1rn1 . . . , P3r3L2L(1)
1 P3r3 . . . Pn1rn1 .
Iloczyn L2L(1)
1 jest oczywicie macierz trjktn doln z jedynkami na przektnej i jeston postaci
L2L(1)
1 = [x, l2, e3, . . . , e4], gdzie x zaley od l1, l2.
Powtarzajc rozumowanie otrzymujemy, e Z jest macierz trjktn doln z jedynkamina przektnej.
Zatem wzr () mona zapisa w postaci
ZPA = R,
gdzie P = Pn1rn1 . . . P2r2P1r1 jest macierz permutacji. Moemy teraz zdeniowaL = Z1 (na mocy poprzedniego lematu jest macierz trjktn doln z jedynkami nadiagonali), co z poczeniem z ostatni rwnoci daje nam tez
PA = Z1R = LR.
Jeli nie potrzeba dokonywa wyboru elementu podstawowego, to
k Pkjk = I,zatem
A = LR.
13
-
Zastanwmy si, kiedy nie trzeba wybiera elementu podstawowego. Niech A ozna-cza zbir tych macierzy, e w metodzie eliminacji Gaussa nie trzeba wybiera elementupodstawowego. Na podstawie twierdzenia o faktoryzacji moemy sformuowa wniosek.
Wniosek 2.5. Jeli A A, to istniej macierze macierz L trjktna dolna, orazmacierz R trjktna grna takie, e A = LR.
Wykaemy teraz jeden z warunkw wystarczajcych na to, aby dana macierz nale-aa do A.Twierdzenie 2.6. Jeli macierz A jest samosprzona i dodatnio okrelona to A A.A=A>0Dowd. Skoro A jest samosprzona to liczby znajdujce si na diagonali s rzeczywi-ste, moemy wic napisa, e
A =
( a
a A1
),
gdzie R, a Cn1 oraz A1 = A1 jest macierz kwadratow wymiaru n 1.Wykaemy, e > 0.
Macierz A jest dodatnio okrelona, wic x : xAx 0, oraz xAx = 0 x = 0(1).Ustalmy wic
x =
(
y
) Cn, y Cn1, x 6= 0.
Wwczas
xAx = ( y)( a
a A1
)(
y
)= ( y)
(+ aya+A1y
)= + ay + ya+ yA1y.
Zatem > 0, bo jeli y = 0 (wic 6= 0), toxAx = ||2 > 0 > 0.
Moemy zatem napisa, e
xAx = (||2 + 1
ay + 1
ya+ 1
2|ya|2
)+ yA1y 1 y
aay |ya|2=yaya
= (+ 1
ya
)( + 1
ay
)+ y
(A1
1aa
)y.
Z dodatniej okrelonoci macierzy A mamy, e macierz A1 1aa te jest macierz
dodatnio okrelon. Jest tak, bo jeli istnieje takie y0 6= 0, e y0(A1 1aa)y0 0,to dobieramy do niego 0 takie, aby 0 +
1y0
a = 0 i dla
x0 =
(0y0
)1Gdy A jest macierz rzeczywist, to A = AT i warunek na dodatni okrelono ma posta
x 6= 0 xTAx > 0.
14
-
mamy sprzeczno z dodatni okrelonoci macierzy A.W takim razie moemy wyeliminowa pierwsz kolumn(
1 0
l I
)( a
a A1
)=
( a
l+ a A1 + la
),
l+ a = 0 l = 1a la +A1 = 1aa +A1,(
1 0
l I
)( a
a A1
)=
( a
0 A1 1aa
).
Skoro A1 1aa jest dodatnio okrelona, wic moemy powtrzy procedur. Zatem
A A.Wyznaczmy macierze L i R. Niech A = (aij), L = (lij), R = (rij). Skoro A = LR, to
aij =
nk=1
likrkj.
Wiemy te, e
lik = 0, dla i < k.
rkj = 0, dla k > j,
wic
aij =
min(i,j)k=1
likrkj.
Macierz L ma jedynki na diagonali, zatem
a1j =
min(1,j)k=1
l1krkj = l11r1j r1j = a1j, j = 1, . . . , n.Podobnie
ai1 = li1r11 li1 = ai1r11
, i = 1, . . . , n.
Znamy wic wzory na pierwszy wiersz macierzy R i pierwsz kolumn macierzy L. Wpodobny sposb wyznaczymy kolejne wyrazy. Oglnie, znajc rj i lj, j = 1, . . . , k 1mamy
akj =
ks=1
lksrsj =
k1s=1
lksrsj + lkkrkj rk = ak k1s=1
lksrs.
aik =
ks=1
lisrsk =
k1s=1
lisrsj + likrkk lk = 1rkk(ak k1s=1
lsrsk).
Zajmijmy si teraz twierdzeniem, ktre mona potraktowa jako wniosek z twier-dzenia o faktoryzacji.
15
-
Twierdzenie 2.7. (wniosek z twierdzenia o faktoryzacji2 )Zamy, e A jest samosprzon macierz rzeczywist dodatnio okrelon. Wwczasistnieje macierz trjktna dolna K taka, e A = KKT.
Dowd. Niech A A, zatem istniej macierze L trjktna dolna i R trjktna grnatakie, e A = LR. Zatem AT = RTLT. A jest samosprzona, wic
LR = RTLT,
LR(LT)1 = RT,
R(LT)1 = L1RT.
Poniewa macierze R i (LT)1 s trjktne grne, a macierze L1 i RT s trjktne dolne,wic z ostatniej rwnoci iloczyny te musz by macierzami diagonalnymi. Niech wicD2 = L1RT. Pokaemy, e jest to macierz dodatnio okrelona. W tym celu ustalmydowolony x 6= 0, mamy
xTD2x = xTR(LT)1x.
Poniewa dla dowolnego x istnieje y taki, e x = LTy, wic
xTD2x = yTLRy = yTAy > 0,
boA jest dodatnio okrelona. WicD2 = diag(d21, . . . , d2n). NiechD = diag(d1, . . . , dn),
wwczas
R(LT)1 = D2 R = D2LT A=LR A = LDDLT = LD(LD)T.Za macierz K wystarczy wic przyj LD.
Sprbujmy teraz wyprowadzi efektywny wzr na wyrazy macierzy K. Niech
A = (aij), K = (kij), KT = (kij).
A = KKT aij = is=1
kis ksj =is=1
kiskjs.
Kolejne wyrazy macierzy K wyznacza bdziemy kolumnami
a11 = k112 k11 = a11.
a1j = k11kj1 kj1 = 1k11a1j, j = 1, . . . , n.Mamy ju pierwsz kolumn macierzy K, zanim zapiszemy wzr dla dowolnej kolumny,sprawdmy jak to wyglda dla drugiej kolumny. Znamy ju k21, moemy wic wyzna-czy
a22 = k21k21 + k22k22 k22 = a22 k212 = a22 a122a11 ,a dziki temu
a2j = k21kj1 + k22kj2 kj2 = 1k22 (a2j k21kj1), j = 1, . . . , n.2Posta Choleskiego macierzy symetrycznej dodatnio okrelonej.
16
-
Oglnie, gdy znamy kolumny 1, . . . , i 1 macierzy K, to
aii =
is=1
k2is kii = aii ki12 . . . kii12,aij =
i1s=1
kiskjs + kiikji kji = 1kii(aij i1s=1
kiskjs
).
2.2.3 Faktoryzacja QR
Zajmijmy si teraz innym rozkadem macierzy, tym razem na macierz ortogonaln(Q) i macierz trjktn grn (R). Rozkad ten ma zastosowanie przy wyznaczaniuwartoci wasnych. Zanim si nim zajmiemy udowodnijmy
Twierdzenie 2.8. (O ortogonalizacji.)Dana niech bdzie przestrze unitarna (X, (|)) oraz cig {fn}nN X wektorw liniowoniezalenych 3. Wwczas istnieje cig {gn}nN X taki, e(i) (gi|gj) = 0 dla i 6= j;(ii) k N : span{f1, . . . , fk} 4 = span{g1, . . . , gk}.Zatem nasz
cig te jestliniowo nie-zaleny.
Dowd. Zdeniujmy cig {gn}nN wzorem
g1 = f1
gk = fkk1s=1
rskgs, k 2 ,(5)
gdzie rij (i < j) s pewnymi staymi, ktre wyznaczymy tak, aby cig {gn}n speniatez twierdzenia. Ustalmy wic k i zamy, e znamy g1, . . . , gk1 (k > 1). Wwczasdla dowolnego i < k:
(gi|gk) =(gifk k1
s=1
rskgs)
= (gi|fk)
k1s=1
rsk(gi|gs) = (gi|fk) rikgi2.
Skoro cig {gn}n (a tym samym g1, . . . , gk) ma spenia (i), to dla i < k zachodzimusi rwno
0 = (gi|gk) = (gi|fk) rikgi2.Wic
rik =(gi|fk)
gi2 , i < k.
Naley jeszcze sprawdzi, czy gi 6= 0 dla i < k. Zajmiemy si tym pniej. Pokamynajpierw, e cig (5) jest liniowo niezaleny i spenia (ii). Ustalmy k > 0 i niechf span{f1, . . . , fk}, wic
f =
ks=1
sfs.
3Tzn. k N : f1, . . . , fk s liniowo niezalene.4span{f1, . . . , fk} = {x X| x = 1f1 + . . .+ kfk, j R}
17
-
Z konstrukcji cigu {gn}n wiemy, e dla dowolnego i fi span{g1, . . . , gi}, czyli
fi =
it=1
tgt.
Zatem
f =1sk
s1ts
tgt =s,t
stgt[1 t s k]
=s,t
stgt[1 t k][t s k] =1tk
(( tsk
s
)t
)gt span{g1, . . . , gk}.
Zatem span{f1, . . . , fk} span{g1, . . . , gk} dla dowolnego k. Zawieranie w drug stronwykazuje si podobnie (korzysta si z tego, e z konstrukcji cigu {gn}n wynika, egi span{f1, . . . , fi} dla dowolnego i).
Pozostaje zatem wykaza, e gk 6= 0 dla dowolnego k. Skoro cig {fn}n jest liniowoniezaleny, to f1 6= 0, a tym samym g1 6= 0. Pokamy, e g1, . . . , gk1 6= 0 gk 6= 0.Dla dowodu nie wprost przypumy, e gk = 0. Wwczas
fk =
k1s=1
rskgs,
std
fk span{g1, . . . , gk1} = span{f1, . . . , fk1},
czyli f1, . . . , fk s liniowo zalene sprzeczno z zaoeniem. Tak wic gk 6= 0.Przejdmy teraz do gwnego twierdzenia tego tematu.
Twierdzenie 2.9. (Faktoryzacja QR)Niech A Rnn bdzie macierz nieosobliw, A = (aij). Wwczas istniej macierzeQ = (qij) ortogonalna
5 i macierz R = (rij) trjktna grna takie, e
A = QR.
Dowd. Niech
A = [a1, . . . , an], gdzie aj Rn jest j-t kolumn macierzyA.
Macierz A jest nieosobliwa, zatem wektory a1, . . . , an s liniowo niezalene. Na mocytwierdzenia o ortogonalizacji cig wektorw
q1 = a1
qk = akk1s=1
rskqs, k = 2, . . . , n,(6)
5Macierz Q jest ortogonalna wtedy i tylko wtedy, gdy QTQ jest macierz diagonaln.
18
-
jest liniowo niezaleny i
(qi|qj) = 0, i 6= j.(7)
Przyjmijmy
rii = 1, i = 1, . . . , n
rij = rij, i < j,
rij = 0, i > j,
Q = [q1, . . . , qn].
Macierz Q jest oczywicie ortogonalna, a R jest trjktna grna. Wystarczy wykaza,e A = QR. Niech (aij) = A = QR, wic Z denicji (6) wektorw qk mamy
aij =
ns=1
qisrsj =
js=1
qisrsj =
j1s=1
qisrsj + qijrjj =
j1s=1
qisrsj + qij(6)= aij,
zatem A = A, co koczy dowd.
Dziki temu rozkadowi ukad (1) mona sprowadzi do ukadu ktry atwo rozwi-za:
QRx = b,
QTQRx = QTb,
DRx = QTb,
gdzie DR jest macierz trjktn grn.
2.3 Metody przyblione (interacyjne).
2.3.1 Macierze. Normy macierzowe.
Zacznijmy od przypomnienia podstawowych wiadomoci dotyczcych norm wRn (wek-torowych). Tak wic odwzorowanie : Rn [0,) jest norm, gdy(i) x = 0 x = 0;(ii) x Rn R : x = || x;(iii) x, y Rn : x+ y x+ y.Norma jest ciga ze wzgldu na warunek trjkta.
Najczciej bdziemy zajmowa si normami postaci
xp = (ki=1
|xi|p)
1p , p 1,
19
-
z czego najwaniejsze s
x1 =nj=1
|xj|,
x2 = (nj=1
|xj|2)1/2 =
(x|x), (x|y) = xy,
x = max {|xi| : i = 1, . . . , n}.
Rysunek 3: Kule w normach 1, 2, Uwaga 2.10. Wszystkie normy w Rn s rwnowane, tzn.
, , > 0 x Rn : x x x .Jest to rwnowane temu, e
ak k a w al l a w ,
lub, e odwzorowanie
id : (Rn, ) (Rn, )jest cige i odwrotne do niego te jest cige.
Przejdmy teraz do normy operatora. Niech A = (aij) Knn bdzie macierzrzeczywist (zespolon) i niech bdzie dowoln norm wektorow w Kn.Denicja 2.11. Norm6 macierzy A zgodn z norm wektorow nazywamy
A = max{Axx : x 6= 0
}.(8)
6Denicj t naturalnie mona uoglni dla macierzy dowolnych wymiarw. Gdy A jest macierz
nm, wwczas
A = max{Axx : x 6= 0
},
gdzie jest norm zarwno w Rn jak i w Rm.
20
-
Uwaga 2.12. Norm macierzy moemy zapisa jako
A = max {Ax : x = 1}.Wzr (8) okrela norm w Knn. Oczywicie A 0.A = 0 max {Ax : x = 1} = 0 x : Ax = 0 A = 0;Axx =
|| Axx A = || A;
(A+ B)xx =
Ax+ Bxx
Axx +
Bxx A+ B A+ B.
Ponadto norma operatorowa spenia dwa bardzo wane dla metod numerycznych wa-runki
Ax A x,(9)AB A B.(10)
Warunek (9) wynika z
Axx max
{Axx : x 6= 0
}= A,
natomiast warunek (10) z
ABxx =
A(Bx)x
(9)
ABxx .
Przykad 2.13. Przykad normy w Rn2
ktra nie spenia warunku (10)
|A| = max {|aij| : i = 1, . . . , n, j = 1, . . . , n}.
Wystarczy wzi
A = B =
(1 1
1 1
),
wwczas
AB =
(2 2
2 2
),
|AB| = 2, |A| = |B| = 1.
Denicja 2.14. Niech A = (aij) Kmn bdzie macierz. Liczb zespolon nazy-wamy wartoci wasn jeli istnieje wektor x 6= 0 taki, e
Ax = x.
Jeli tak jest, to x nazywamy wektorem wasnym macierzy A skojarzonym z wartociwasn .
Zbir wszystkich wartoci wasnych macierzy A nazywamy widmem (spektrum) ioznaczamy przez (A).
21
-
Przez max(A) rozumie bdziemy najwiksz warto wasn macierzy A.
Lemat 2.15. Dla dowolnej macierzy A macierz AA jest symetryczna i pdodatniookrelona. Ponadto max(A
A) 0.Twierdzenie 2.16. Niech A = (aij) bdzie nwymiarow macierz rzeczywist (ze-spolon), wwczas
A = max { nj=1
|aij| : i = 1, . . . , n},
A1 = max{ ni=1
|aij| : j = 1, . . . , n},
A2 =max(ATA).
Dowd. NiechA = (aij) bdzie macierz kwadratow (wymiaru n) i niech x = (x1, . . . , xn)T.
Wwczasa11 . . . a1n... . . . ...an1 . . . ann
x1...xn
=
a11x1 + a12x2 + . . .+ a1nxn...an1x1 + an2x2 + . . .+ annxn
Zajmijmy si najpierw A. Poniewa dla i = 1, . . . , n nj=1
aijxj n
j=1
|aij| |xj| xnj=1
|aij|,
wic
Ax x max { nj=1
|aij| : i = 1, . . . , n},
A max{ nj=1
|aij| : i = 1, . . . , n}.
Aby wykaza, e zachodzi nierwno wystarczy wskaza takie x, aby za-chodzia rwno. Niech zatem k = argmax{
nj=1
|aij| : i = 1, . . . , n} i niech y =
(y1, . . . , yn)T, gdzie
yj =
{1, akj 0
1, akj < 0.
Wwczas y = 1, akjyj = |akj| oraz nj=1
akjyj = n
j=1
akjyj =
nj=1
|akj| = max{ nj=1
|aij| : i = 1, . . . , n}
Ayy = max
{ nj=1
|aij| : i = 1, . . . , n} A max{ n
j=1
|aij| : i = 1, . . . , n}.
22
-
Przejdmy teraz do A1. Niech b = max {ni=1
|aij| : j = 1, . . . , n}. Zatem
Ax1 =ni=1
nj=1
aijxj n
i=1
nj=1
|aij| |xj| =nj=1
|xj|
ni=1
|aij| bnj=1
|xj| = bx1,
x 6= 0 : Ax1x1 b A1 b.Wemy k = argmax{
ni=1
|aij| : j = 1, . . . , n} i ek = (ik)T, i = 1, . . . , n. Oczywicie
ek1 = 1 i
Aek1 =ni=1
|aik| = b A1 b,co dowodzi rwnoci A1 = max {
ni=1
|aij| : j = 1, . . . , n}.
Na koniec chcemy wykaza, e A2 =max(ATA). Na mocy ostatniego lematu
wzr ma sens. Z denicji mamy
Ax2 = ((Ax)T(Ax))1/2 =xT(ATA)x.
Macierz ATA jest symetryczna i pdodatnio okrelona, zatem z algebry liniowej mamy,e
x22minATA xT(ATA)x x22max(ATA),
zatem
Ax2x2 =
xT(ATA)x
x2 max(ATA).
Aby wykaza nierwno w drug stron wemy v wektor wasny macierzy ATA sko-jarzony z wartoci wasn max. Wwczas
Av2v2 =
vT(ATA)v
v2 =max(ATA)
vTv
v2 =v2
max(ATA)
v2 =max(ATA),
a zatem A2 max(ATA) co koczy dowd.
Wniosek 2.17. Jeeli A = AT > 0, to A2 = max(A).Dowd.
A2 =max(ATA) =
max(A2) =
2max(A) = max(A).
23
-
Zajmiemy si teraz wspczynnikiem uwarunkowania zadania rozwizania ukadurwna postaci
Ax = b,
gdzie A jest macierz nieosobliw. Niech zatem b = Ax, gdzie x przyblia x. Wwczas
Ax = A(x x) = AxAx = b b = b,
x = A1b,
b = Ax A x x bA ,xx =
A1bx
A1 bx A A
1bb .
Warto A A1 nazywamy wskanikiem uwarunkowania zadania rozwizywaniaukadu rwna liniowych i oznaczamy przez cond(A).
Jeeli A1 = (ij), to ij =jidetA
, gdzie ji = (1)i+jdetAji (Aji jest to macierz
ktra powstaa przez usunicie z macierzy A jtego wiersza i itej kolumny). Widawic, e jeli detA 0, to pewne ij s due, a zatem cond(A) jest due (bo A1jest due).
Denicja 2.18. Wielomianem charakterystycznym macierzy A nazywamy
A() = det (A I).
det(A I) =
a11 a12 a13 . . . a1na21 a22 a23 . . . a2n...
......
. . ....
an1 an2 an3 . . . ann
=
(a11 ) . . . (ann ) + reszta = ()n+ ()n1 tr{A} + . . .+ detA+ reszta,
a zatem wida, e A jest wielomianem stopnia n. Wykazalimy wic
Twierdzenie 2.19. Macierz A Cnn ma n wartoci wasnych (liczc z krotno-ciami).
Dowd. Denicja wielomianu charakterystycznego + zasadnicze twierdzenie algebry.
Denicja 2.20. Macierze A i B s podobne (A B) jeli istnieje nieosobliwa macierzP taka, e
A = PBP1.
Lemat 2.21. Relacja podobiestwa jest rwnowanoci. Co wicej, jeli macierze Ai B s podobne, to ich wielomiany charakterystyczne A() i B() s sobie rwne.
24
-
Dowd.
A() = det(A I) = det(PBP1 I) = det(P(B I)P1)
= detP B() det(P1) = B().
Wniosek 2.22. Macierze podobne maj te same wartoci wasne liczc z krotnociami.
Twierdzenie 2.23. (posta kanoniczna Jordana macierzy A.)Niech A bdzie macierz kwadratow wymiaru n i niech A() bdzie jej wielomianemcharakterystycznym, tzn.
A() = ( 1)n1 . . . ( k)nk ,
ki=1
ni = n, i 6= j, i 6= j.
Wtedy A jest podobna do macierzy J postaci
J1 . . . 0... . . . ...0 . . . Jk
, Js =
s 0 . . . 0...
. . ....
0 . . . 0 s
0 . . . 0 0 s
, {0, 1}.
Ponadto, jeli zs jest liczb zer nad przektn macierzy Js (zs ns 1), to zs + 1jest liczb wektorw wasnych liniowo niezalenych, skojarzonych z s, np.:
0 00 00 0
1 00 00 0
1 00 10 0
3 wektory 2 wektory 1 wektor
W metodach numeryczny na og nie interesuj nas dokadne wartoci wartociwasnych, czsto wystarczy wiedzie przez co s szacowane. Mwi o tym nastpujcetwierdzenie
Twierdzenie 2.24. Jeli A jest rzeczywist (zespolon) macierz kwadratow wymiarun, to
|i(A)| A, i = 1, . . . , n,
gdzie jest dowoln norm macierzow zgodn z norm wektorow.Dowd. Niech i bdzie wartoci wasn macierzy A i niech vi bdzie wektorem wa-snym odpowiadajcym i, zatemOstatnia
nierw-no zezgodnoci. |i| vi = ivi = Avi A vi.
Dzielc obustronnie nierwno przez vi otrzymujemy tez.
25
-
Denicja 2.25. Niech A bdzie macierz kwadratow wymiaru n. Promieniem spek-tralnym nazywamy
(A) = max {|i(A)| : i = 1, . . . , n}.
Poprzednie twierdzenie pokazuje, e dla dowolnej normy macierzowej zgodnejz norm wektorow mamy
(A) A.Twierdzenie 2.26. (o wydobywaniu normy.)Dana niech bdzie macierz A Rnn. Wtedy dla dowolnego > 0 istnieje norma wektorowa taka, e
A (A) + .Dowd. Pokaemy najpierw, e jeli R jest macierz nieosobliw i dowoln normw Rn, to
x = Rx jest norm w Rn.(11)Oczywicie x : x 0. Poniewa macierz R jest nieosobliwa zachodzi te x =
0 x = 0. Jednorodno i nierwno trjkta zachodz, bo jest normx = Rx = || Rx = || x ,x+ y = R(x+ y) = Rx+ Ry Rx+ Ry = x + y .
Teraz, majc (11) wyprowadzimy wzr na szukan norm.
Ax x =
RAxRx =
RAR1yy , y = Rx
A = max{Ax x : x 6= 0
}= max
{RAR1y
y | y 6= 0}
= RAR1,zatem szukan norm deniujemy jako
A = RAR1, x = Rx.(12)Dziki twierdzeniu o postaci kanonicznej Jordana istnieje macierz przejcia P taka, eA = PJP1, gdzie J = (ij). Ustalmy > 0 i niech D = diag(
0, . . . , n1). Skoro
D1JD = J^ = (^ij), ^ij = iji+j,
to macierz J^ nad przektn ma 0 lub .
J = DJ^D1,
A = PJP1 = PDJ^D1P1 = PDJ^(PD)1,
wic przyjmujc R = (PD)1 mamy, e A = R1^JR. Niech x = Rx. Na mocy(11) i (12)
A = RAR1 = RR1^JRR1 = J^ max {|i| : i = 1, . . . , n} + = (A) + ,
co naleao wykaza.
26
-
Twierdzenie 2.27. Niech A bdzie rzeczywist (zespolon) macierz kwadratow wy-miaru n. Wwczas
limkAk = 0 (A) < 1.
Dowd. Zamy, e istnieje warto wasna macierzy A taka, e || 1. Niech vbdzie wektorem wasnym odpowiadajcym wartoci . Zatem
Av = v,
A2v = A Av = Av = Av = 2v.Zatem indukcyjnie mona wykaza, e
Akv = kv.
Wic
kv = Akv Ak v,kv = ||kv v,v Ak v,1 Ak
k 0,sprzeczno.
Zamy teraz, e (A) < 1. Niech > 0 bdzie taki, e q = (A) + < 1. Namocy twierdzenia o wydobywaniu normy, dla tak dobranego , istnieje normawektorowa w Rn taka, e A q. Na mocy submultiplikatywnoci normy wiemy, eAk Ak. Zatem
0 Ak Ak ((A) + )k.Z twierdzenia o trzech cigach lim
k Ak = 0, a wic limkAk = 0, co koczy dowd.Wniosek 2.28. Jeeli (A) < 1, to szereg von Naumanna
k=0
Ak jest zbieny i jego
suma wynosi
k=0
Ak = (IA)1.
Dowd. Niech Sn =nk=0
Ak, wwczasRedukcjawyrazw
Sn(IA) = Sn SnA =
nk=0
Ak
nk=0
Ak+1 = I An+1.
Skoro (A) < 1, to i(I A) > 0, wic I A jest macierz odwracaln. Na mocypoprzedniego twierdzenia
k=0
Ak = limn Sn = limn(IAn+1)(IA)1 = (IA)1.
27
-
Wniosek 2.29. Szeregk=0
akAk jest zbieny, jeli (A) < r, gdzie r jest promieniem
zbienoci szeregu potgowego f(z) =k=0
akzk.
Dowd. Podobnie jak poprzednio, niech Sn =nk=0
akAk. Na mocy twierdzenia o wydo-
bywaniu normy (tw. 2.26) znajdziemy > 0 oraz norm takie, eA (A) + < r.
Wtedy, dla q = (A) + , otrzymujemy
Sn nk=0
|ak| Ak nk=0
|ak|qk.
Wick=0
qk jest majorant szereguk=0
Ak, a zatem dostajemy zbieno dla (A) j6=i
|aij|, i = 1, . . . , n (mocne kryterium sumy wierszy);
7Ze wzgldu na nieosobliwo macierzy A, po odpowiednich permutacjach zawsze mona uzyska
taki efekt.
30
-
(ii) |ajj| >i6=j
|aij|, j = 1, . . . , n (mocne kryterium sumy kolumn),
to metody Gaussa-Seidla i Jacobiego s zbiene (w szczeglnoci macierz A jest nie-osobliwa).
Dowd. Zacznijmy od pokazania, e mocne kryterium sumy wierszy (kolumn) pocigaza sob nieosobliwo macierzy A (z czego skorzystamy pokazujc zbieno metodyGaussa-Seidla). Dla dowodu nie wprost zamy, e zachodzi warunek (i) i A jestosobliwa. Zatem istnieje x 6= 0 taki, e Ax = 0. Zamy, e |xk| = x , wwczas
nj=1
akjxj = 0,
akkxk = j6=k
akjxj,
|akk| |xk| j6=k
|akj| |xj|,
|akk| j6=k
|akj||xj |
|xk |j6=k
|akj|,
sprzeczno. Jeli A spenia (ii), to AT spenia (i) i rwnie dochodzimy do sprzecz-noci, zatem macierz A jest nieosobliwa.
Pokamy teraz zbieno metody Jacobiego. Niech BJ = D1(L + U), zatem
bij = aijaii
dla i 6= j, oraz bii = 0. Na mocy twierdzenia 2.33 wystarczy wykaza, edla pewnej normy macierzowej zgodnej z norm wektorow zachodzi BJ < 1.Jeeli zachodzi (i), to
nj=1
|bij| =j6=i
|aij |
|aii |< 1, i = 1, . . . , n BJ < 1.
Jeli natomiast zachodzi (ii), to
ni=1
|bij| =i6=j
|aij |
|ajj |< 1, j = 1, . . . , n BJ1 < 1.
Przejdmy teraz do metody Gaussa-Seidla. Niech BGS = (D + L)1U, chcemy
pokaza, e (BGS) < 1, co na mocy twierdzenia 2.34 zakoczy dowd. Przypumy, eistnieje warto wasna macierzy BGS taka, e || 1. Zatem macierz BGS I jestosobliwa. Wic osobliwa jest te (D + L)1U I = (D + L)1((D + L) + 1
U).
Wiemy, e D+ L jest nieosobliwa, wic osobliwa musi by macierz (D+ L) + 1U. Ale
dziki (i) mamy
|aii| >ji
|aij| ji
|aij|, i = 1, . . . , n,
co oznacza, e macierz (D+L)+ 1U spenia mocne kryterium sumy wierszy. Zatem na
mocy tego co pokazalimy na pocztku dowodu, (D+L)+ 1U jest macierz nieosobliw
sprzeczno.
31
-
Denicja 2.36. Macierz A = (aij) nazywamy nieredukowaln, jeli nie istnieje ma-cierz permutacji P taka, e
PAP1 =
(B11 B120 B22
).
Wida wic, e macierz A jest nieredukowalna, jeli nie istnieje zbir J {1, . . . , n}taki, e
i J j 6 J : aij = 0.Redukowalno macierzy A jest rwnowana temu, e ukad Ax = b jest rwno-
wany ukadowi{B11y1 + B12y2 = c1
B22y2 = c2.
Okazuje si, e nieredukowalno macierzy A jest silnie zwizana z grafem z niskojarzonym, wprowadmy wic kilka poj dotyczcych grafw.
Grafem (zorientowanym, skierowanym) G nazywamy par (P, V), gdzie P ={P1, . . . , Pn} jest zbiorem skoczonym, a V dwuargumentow relacj w P. Zbir Pnazywamy zbiorem wierzchokw, a V P P zbiorem krawdzi.
Drog dugoci k z wierzchoka u do wierzchoka u w grae G = (P, V) jest cigwierzchokw < P0, P1, . . . , Pk > takich, e P0 = u, Pk = u
i dla i = 1, . . . , k krawdPi1Pi V.
Graf jest cyklicznie spjny jeli dla dowolnych wierzchokw Pi, Pj istnieje drogaz wierzchoka Pi do wierzchoka Pj.
Niech A = (aij) bdzie macierz kwadratow nn. Grafem skojarzonym z macierzA nazywamy graf zorientowany G(A) = (P, V) taki, e P jest zbiorem n-elementowymoraz dla dowolnych i, j {1, . . . , n} : aij 6= 0 PiPj V.
Moemy ju zapisa interesujc nas zaleno.
Twierdzenie 2.37. Macierz A = (aij) jest nieredukowalna wtedy i tylko wtedy, gdygraf G(A) jest cyklicznie spjny.
Dowd. MacierzA jest redukowalna wtedy i tylko wtedy, gdy istnieje zbir J {1, . . . , n}taki, e aij = 0 dla i J, j 6 J. To jest za rwnowane temu, e nie istnieje droga odPk do Pj dla k J, j 6 J.
Nastpny przykad jest klasycznym przykadem macierzy nieredukowalnej. Wyka-zuje si to stosujc poprzednie twierdzenie.
Przykad 2.38. Niech
A =
2 1 0 0 . . . 0
1 2 1 0 . . . 0
0 1 2 1 . . . 0. . .
0 . . . 0 1 2 1
0 . . . 0 0 1 2
Rysunek 4 przedstawia graf skojarzony z t macierz (dla n = 5).
32
-
P1 P2
P5 P3
P4
Rysunek 4: Graf cyklicznie spjny
Twierdzenie 2.39. Zamy, e macierz A = (aij)ni,j=1 jest nieredukowalna i spenia
jeden z warunkw
(iii) |aii| j6=i
|aij|, i = 1, . . . , n oraz istnieje i0 takie, e mamy ostr nierwno
(sabe kryterium sumy wierszy);
(iv) |ajj| i6=j
|aij|, j = 1, . . . , n oraz istnieje j0 takie, e mamy ostr nierwno
(sabe kryterium sumy kolumn).
Wtedy metody Gaussa-Seidla i Jacobiego s zbiene (w szczeglnoci macierz A jestnieosobliwa).
Dowd. Pokaemy najpierw, e sabe kryterium sumy wierszy pociga nieosobliwomacierzy (analogicznie dla sabego kryterium sumy kolumn).
Zamy wic, e A spenia sabe kryterium sumy wierszy. Istnieje wic i0 taki, e
|ai0i0 | >j6=i0
|ai0j|.
Zamy, e istnieje x 6= 0 taki, e Ax = 0. NiechJ = {k : |xk| |xi|, i = 1, . . . , n, oraz |xk| > |xj| dla pewnego j}.
Twierdzimy, e J 6= . Zamy, e J jest zbiorem pustym, wic i, k |xk| = |xi|, zatemx = |xi|, i = 1, . . . , n. Mamy wic
nj=1
ai0jxj = 0,
ai0i0xi0 = j6=i0
ai0jxj,
|ai0i0 | x xj6=i0
|ai0j|,
|ai0i0 | j6=i0
|ai0j|,
33
-
co jest sprzeczne ze sabym kryterium sumy wierszy. Niech wic k J, wwczas
akkxk = j6=k
akjxj,
|akk| j6=k
|akj||xj |
|xk |.
Z denicji zbioru J wida, e |xk| > |xj| wtedy i tylko wtedy, gdy j 6 J. Zatem, skoro Aspenia (iii), to w ostatniej nierwnoci zachodzi musi rwno, wic speniony musiby warunek
k J, j 6 J : akj = 0,co jest sprzeczne z nieredukowalnoci macierzy A.
Jeeli macierz A spenia (iv), to AT spenia (iii). Wic A jest nieosobliwa (bo AT
jest nieosobliwa).Wykamy teraz, e metoda Jacobiego jest zbiena, a wic e dla macierzy BJ =
D1(L+U) mamy (BJ) < 1. Dla dowodu nie wprost zamy, e (BJ) 1. Istniejewic warto wasna || 1. Zatem macierz BJ I (a tym samym I BJ) jestosobliwa. Skoro
I BJ = I+D1(L+U) = D1
(D+ 1
(L+U)
),
oraz macierz D1 jest nieosobliwa, to macierz D+ 1(L+U) jest macirz osobliw. Na
mocy zaoenia A = D+ L+U jest nieredukowalna, a wic macierz D+ 1(L+U) te
jest nieredukowalna. Z drugiej strony, skoro
1|| 1,
to jeli A spenia (iii) (ewentualnie (iv)), to D + 1(L + U) te, jest wic (na mocy
pierwszej czci dowodu) nieosobliwa.Pozostao wykaza, e metoda Gaussa-Seidla jest zbiena. Niech wic bdzie
wartoci wasn macierzy BGS tak, e || 1. Zatem macierz I 1BGS jest macierzosobliw (bo I BGS jest osobliwa). Poniewa
I 1BGS = I+
1(D+ L)1U = (D+ L)1(D+ L+ 1
U)
i (D + L)1 jest nieosobliwa, zatem D + L + 1U jest macierz osobliw. Jest ona
nieredukowalna i spenia sabe kryterium sumy wierszy (kolumn), a wic podobnie jakwczeniej jest nieosobliwa sprzeczno. Zatem metoda Gaussa-Seidla jest zbiena.
2.3.5 Metoda kolejnych nadrelaksacji (SOR - succesive overrelaxation).
Zapoznamy si teraz z kolejn metod rozwizywania ukadu (13). Niech
x(k) =
x
(k)
1...
x(k)n
34
-
bdzie kolejnym przyblieniem danym wzorem
x(k+1)
i = x(k)
i +(x(k+1)
i x(k)
i ),(21)
gdzie x(k+1)
i jest i-t wsprzdn k + 1 iteracji (wektora xk+1) otrzyman metod
Gaussa-Seidla, jest parametrem liczbowym. Wida, e jeli = 1, to x(k+1)
i = x(k+1)
i .Zatem
aiix(k+1)
i = aiix(k)
i +(
ji
aijx(k)
j + bi aiix(k)
i
)
= (1)aiix(k)
i +(
ji
aijx(k)
j + bi),
(D+L)x(k+1) = ((1)DU)x(k) +b,
x(k+1) = (D+L)1((1)DU)x(k) + (D+L)1b,
zatem
x(k+1) = B()x(k) + C,(22)
gdzie
B() = (D+L)1((1)DU), C = (D+L)1b.
Zastanwmy si, jak dobra tak, aby metoda ta bya zbiena, a wic eby(B()) < 1? Czciow odpowied daje nam
Twierdzenie 2.40. (Kahan)Dla dowolnej macierzy A Cnn zachodzi nierwno
(B()) |1|.
Dowd. Niech () bdzie wielomianem charakterystycznym macierzy B(). Ww-czas, z denicji 2.25 promienia spektralnego
|1 . . . n| ((B()))n.
Ale z drugiej strony mamy
(1)n1 . . . n = (0) = detB(),|1 . . . n| = | det(B())| = | det(D+L)1((1)DU)|
= 1a11...ann
(1)na11 . . . ann = |1|n,
co koczy dowd.
Twierdzenie to daje nam natychmiastowo nastpujcy wniosek
Wniosek 2.41. Jeeli metoda SOR jest zbiena, to (0, 2).
35
-
Dowd. Z zaoenia i poprzedniego twierdzenia mamy
1 > (B()) |1|,zatem (0, 2).Twierdzenie 2.42. (Zbieno metody SOR.)Jeli A = A > 0, to metoda SOR jest zbiena dla kadego (0, 2). W szczeglnocimetoda Gaussa-Seidla jest zbiena dla kadej macierzy A = A > 0.
Dowd. Niech
Q = A1(2(D+L) A) = 2A1(D+L) I.
Pokaemy, e
(i) Wartoci wasne macierzy Q le w prawej ppaszczynie, tzn. j(Q) > 0 j,(ii) B() = (Q+I)1(QI),
(iii) (B()) < 1.
Niech bdzie wartoci wasn macierzyQ i niech x 6= 0 bdzie wektorem wasnymskojarzonym z , zatem
Qx = x,
A1(2(D+L) A)x = x,
(2(D+L) A)x = Ax,
wic
x(2(D+L) A)x = xAx.(23)
Sprzgajc po hermitowsku obustronnie otrzymamy
x(2(D+L) A)x = xAx.(24)
Teraz dodajc stronami (23) i (24), a nastpnie korzystajc z tego, e A = D+ L+ L
(A samosprzona, zatem L = U) mamy
x(4D+ 2(L+ L A))x = (+ )xAx,
2x(2DD)x = 2xAx,
(2)xDx = xAx.
Poniewa A jest dodatnio okrelona, to aii > 0, zatem xDx > 0. Z zaoenia 2 > 0,
wic > 0. Wykazalimy wic punkt pierwszy.Aby wykaza (ii) zauwamy, e z denicji macierzy Q mamy
(Q+I)1(QI) = (2A1(D+L))1(2A1(D+L) 2I)
= (D+L)1(D+LA)
= (D+L)1((1)DU) = B().
36
-
Przejedmy teraz do punktu (iii). Niech bdzie wartoci wasn macierzy B().Zatem
x 6= 0 : B()x = x.Dziki (ii)
(Q+I)1(QI)x = x,
(QI)x = (Q+I)x,
(1 )Qx = (1+ )x.
W takim razie (x 6= 0 6= 1) = 1+1
jest wartoci wasn macierzy Q.
Oczywicie = +
, zatem
||2 = =()()
(+)(+)=+2
+++2=
||2 2+2
||2 + 2+2
(i)< 1.
Druga cz tezy wynika z (22):
B(1) = (D+ L)1(U) = BGS.
2.3.6 Metoda Richardsona.
Ostatni metod iteracyjn rozwizywania ukadu rwna postaci (1) jak si zaj-miemy jest metoda Richardsona.
Ukad (1) jest rwnowany temu, e dla dowolnego parametru Rx = x (Ax b).
W oparciu o t uwag zdeniujmy tzw. iteracj Richardsona:
xk+1 = xk (Axk b).(25)
W naszych rozwaaniach wygodniejsza bdzie posta rwnowana
xk+1 = (I A)xk+ b,
ktra jak wida jest postaci (18). Zauwamy, e dla 6= 0x = (I A)x+ b x = A1b.
Zatem, jedynym problemem w tej metodzie jest taki dobr , aby (BR()) < 1, gdzieBR() = I A. Niech bdzie wartoci wasn macierzy BR(), zatem
det(BR() I) = 0,
det(I A I) = 0,
det[
(A 1
I)]
= 0,
()ndet(A 1
I)
= 0,
det(A 1
I)
= 0.
37
-
Zatem, i jest wartoci wasn macierzy BR() wtedy i tylko wtedy, gdy i =1i
jestwartoci wasn macierzy A. Niech wic i (i = 1, . . . , n) bd wartociami wasnymimacierzy A. Wwczas
i = 1 i
s wartociami wasnymi macierzy BR(). Tak wic warunek (BR()) < 1 jest rw-nowany warunkowi
max{|1 max|, |1 min|} < 1.(26)
Zatem dla istnienia takiego potrzeba, aby wszystkie wartoci wasne macierzy A byytego samego znaku, czyli A = AT > 0 albo A = AT < 0.
= 1 , < 0
= 1 , > 0
1
Rysunek 5:
Przyjmijmy, e tak jest. Wwczas zbir z ktrego moemy wybra jest postaci(0, max) (albo (min, 0)). Optymalne , oznaczone jako 0, spenia warunek
|1 0max| = |1 0min|.
= |1 max |
= |1 min |
1
0 max
Rysunek 6:
Zatem
0 =2
min+ max.
38
-
Wwczas
(BR(0)) = 1 min0 =max min
max+ min.
Udowodnilimy w ten sposb nastpujce twierdzenie:
Twierdzenie 2.43. Jeeli macierz A jest symetryczna i dodatnio (ujemnie) okrelona,to dla
0 =2
min+ max
metoda Richardsona jest zbiena, oraz
(BR(0)) =max min
max+ min.
Zajmijmy si wskanikiem uwarunkowania dla tej metody. Skoro A = AT > 0, tona mocy wniosku 2.17
A2 = max(A),
zatem(A1) =1/(A)
cond(A) = A2A12 = maxmin .
Tak wic
(BR(0)) =
maxmin
1
maxmin
+ 1=
cond(A) 1
cond(A) + 1.
Otrzymalimy, e jeli cond(A) jest due, to (BR(0)) 1.Bezdowodu Twierdzenie 2.44. (Stein-Rosenberg)
Jeli macierz A = (aij) spenia warunek
(1) aii > 0 dla i = 1, . . . , n,
(2) aij 0 dla i 6= j,to zachodzi jeden z wykluczajcych si warunkw
(i) (BJ) = (BGS) = 0,
(ii) 0 < (BGS) < (BJ) < 1,
(iii) (BGS) = (BJ) = 1,
(iv) 1 < (BJ) < (BGS).
39
-
2.4 Metody gradientowe.
Ponownie rozwamy ukad (1). Przez x oznaczmy rozwizanie tego ukadu. Metodygradientowe opieraj si na obserwacji, e wyznaczenie rozwizania ukadu (1) rwno-wane jest problemowi wyznaczenia
min{(x) : x Rn},(27)
gdzie
: Rn x 7 Ax b2R R,(28)R = RT > 0, uR =
uTRu.
Dla funkcji tej zachodzi
limx (x) =.
Oczywicie (x) > 0 dla Ax b 6= 0, oraz
(x) = 0 bAx = 0 x = x.2.4.1 Metoda najmniejszych kwadratw.
Przyjmijmy w (28) R = I, wwczas
(x) = (Ax b)T(Ax b) = xTATAx 2xTATb+ bTb.
Skoro x realizuje min jeli grad(x) = 0, to x jest rozwizaniem problemu (27)wtedy, gdy ATAx = ATb.
2.4.2 Uoglniona metoda najmniejszych kwadratw.
Niech A = AT > 0. Przyjmijmy R = A1. Wwczas
(x) = xTAx 2bTx+ bTA1b.
Zatem, jeli
(x) = xTAx 2bTx = (x) bTA1b,(29)
to (x) i (x) osigaj minimum w tym samy punkcie.Wic, aby znale rozwizanie ukadu (1) wystarczy wyznaczy minimum funk-
cji (x), a wic rozway dla niej problem (28). Jest to do cikie, wic zamiasttego rozwaymy nieskoczony cig problemw 1-wymiarowych. Ustalmy przyblieniepocztkowe x0 Rn. Szuka bdziemy
k = min{(xk+ dk) : R},(30)
40
-
gdzie dk Rn jest zadanym wektorem (kierunkiem), a cig {xk}k dany jest wzoremxk+1 = xk+ kdk.(31)
Oczywicie
(xk+1) = (xk + kdk),
naley zatem wyznaczy k. Liczymy
(xk+ dk) = (xk+ dk)TA(xk+ dk) 2b
T(xk + dk)
= 2dTkAdk 2dTk(bAxk) +(xk),
zatem, o ile dTkAdk 6= 0, (xk + dk) jest trjmianem kwadratowym zmiennej .Wystarczy wic wyznaczy k dla ktrego funkcja
gk() = 2dTkAdk 2d
Tkrk,(32)
gdzie rk = bAxk residuum przyblienia xk, osiga minimum (ktre jest ujemnez denicji funkcji). Jest to oczywicie
k =dTkrk
dTkAdk.(33)
Uwaga 2.45. Dla k = 0, 1, . . . zachodzi
(xk+1) < (xk).
Dowd. Ustalmy k i liczmy
(xk+1) = (xk + kdk) = gk(k) +(xk)gk(k)
-
Twierdzenie 2.46. (zbieno uoglnionej metody najszybszego spadku)Zamy, e
(1) A = AT > 0,
(2) istniej 1, 2 > 0 takie, e
(2.1) 0 < 1 k 2 1, k = 0, 1, . . .(2.2) rk
Tdkrkdk 2, k = 0, 1, . . .8
wwczas
limk xk = x,
gdzie {xk}k jest okrelony wzorem (35).
Dowd. Skoro
(xk+1) = (xk + kkdk) = (kk)2dTkAdk 2kkr
Tkdk+(xk),
wic
(xk+1) (xk) = (kk)2dTkAdk 2kkr
Tkdk,
(xk+1) (xk)(33)= 2k
(dTkrk)2
(dTkAdk)2dTkAdk 2k
dTkrk
dTkAdkrTkdk,
zatem, skoro dTkAdk max(A)dk2 (9)
(xk+1) (xk) = k(k 2)(dTkrk)
2
dTkAdk,
(xk) (xk+1) = k(2 k)(dTkrk)
2
dTkAdk
(2.1)
21(dTkrk)
2
dTkAdk
(2.1)
2122rk2dk2dTkAdk
(2.2)
2122rk2dk2
max(A)dk2 > 0, k = 0, 1, . . .
Tak wic cig {(xk)}k jest silnie malejcy oraz ograniczony od dou, przez bTA1b
(co wynika z (29)), jest wic zbieny. Zatem
limk((xk) (xk+1)) = 0.
Ale
(xk) (xk+1) 2122
max(A)rk2 > 0,
wic z twierdzenia o trzech cigach
limk rk = 0,
co jest rwnowane temu, e
limk xk = A1b = x.
8Na mocy nierwnoci Schwarza i tego, e rkTdk rk dk mamy 2 1.
9z algebry liniowej.
42
-
Uoglniona metoda najszybszego spadku moe by w zalenoci od wyboru cigw{k}k i {dk}k metod liniow jak i metod nieliniow. W nastpnych przykadachzajmiemy si przypadkami szczeglnymi.
Przykad 2.47. Przyjmijmy
dk = rk, k = 1.
Otrzymujemy zatem, e
xk+1 = xk+ krk.
Oczywicie zaoenia twierdzenia 2.46 s spenione, zatem metoda jest zbiena. Jestona nieliniowa, bo
k =rTkrk
rTkArk
jest nieliniow funkcj zmiennej rk.Metod t nazywamy metod najszybszego spadku.
Przykad 2.48. Niech
k = 1,
dk =
{ek mod n, k 6= lnen, k = ln
Wwczas
k =dTkrk
dTkAdk
zaley w sposb liniowy od rk. Cig przyblie przyjmuje posta
xk+1 = xk+ kej.(36)
Policzmy jeszcze
rTk+1dk = (bAxk+1)Tdk = (bA(xk+ kdk))
Tdk = (bAxk kAdk)Tdk
= rTkdk kdTkAdk = 0,
czyli
rTk+1dk = 0.(37)
Ale skoro dk = ej to rTk+1 = 0. Rwno ta zachodzi wtedy i tylko wtedy, gdy j-ta
wsprzdna rk+1 = b Axk+1 zeruje si. Inaczej mwic, j-te rwnanie ukadu (1)jest spenione dokadnie.
Rwnania (36) i (37) charakteryzuj metod Gaussa-Seidla. Dostajemy zatem, namocy twierdzenia 2.46, e metoda Gaussa-Seidla jest dla macierzy A = AT > 0 zbiena.
43
-
Przykad 2.49. Jeszcze jeden przykad metody liniowej metoda Richardsona.Niech
dk = rk, kk = .
Wwczas
xk+1 = (I A)xk+ b.
Twierdzenie 2.50. (oszacowanie zbienoci metody najszybszych spadkw)Jeli x jest rozwizaniem ukadu (1) dla macierzy A = AT > 0, x0 Rn przyblieniepocztkowe,
xk+1 = xk+ krk,
rk = bAxk,
k =rTkrk
rTkArk,
to istnieje staa K taka, e
xk x22 K(MmM+m
)2k,
gdzie M,m takie, e
0 < m j(A) M, j = 1, . . . , n.Dowd. Oszacujmy (xk) (x).
(xk+1) (x) = (xk+1) (xk) +(xk) (x)
= ((xk) (x))(1(xk) (xk+1)
(xk) (x)).
Na podstawie dowodu poprzedniego twierdzenia, dla dk = rk, k = 1, mamy
(xk) (xk+1) =(rTkrk)
2
rTkArk.
Z (29) otrzymujemy
(x) = bTA1b,
(x) = (x) + bTA1b = (x) (x).
Z defnicji mamy
(xk) = (Axk b)TA1(Axk b) = r
TkA
1rk.
Zatem
(xk) (x) = rTkA
1rk,
(xk+1) (x) = ((xk) (x))(1
(rTkrk)2
rTkArk
1rTkA1rk
).
44
-
Wic
(xk+1) (x) ((xk) (x))(1 q),(38)gdzie
q = min{ (rTkrk)2
(rTkArk)(r
TkA1rk)
: rk 6= 0}
= min{
(uTu)2
(uTAu)(uTA1u): u 6= 0}
= min{
1(vTAv)(vTA1v)
: v = 1}.Niech > 0. Skoro dla dowolnych a, b mamy ab 1
4(a+ b)2, to
(vTAv)(vTA1v) = (vT(A)v)(vT(A)1v) 14(vT((A) + (A)1)v)2.(39)
Macierz A+ (A)1 jest dodatnio okrelona i ma wartoci wasne
i(A+ (A)1) = i(A) + (i(A))
1.
Niech v = 1, wicvT(A+ (A)1)v max{i(A) + (i(A))1| i = 1, . . . , n}
max{+ ()1| [m,M]},
czyli
vT(A+ (A)1)v max{f()| [m,M]},(40)gdzie
f() = + 1.
Oczywicie f jest funkcj wypuk osigajc swoje maksimum na brzegu przedziauBo > 0[m,M]. Wybierzmy tak, aby f(m) = f(M), czyli niech
=1mM
.
Wwczas
f(m) =1mM
m+mM
1
m=
m
M+
M
m=
1Mm
(m+M).
Na mocy (39) i (40) otrzymujemy
1 q = 1 min{
1(vTAv)(vTA1v)
: v = 1} 1 min{ 11
4(vT ((A)+(A)1)v)2
: v = 1} 1 11
4max2{f()| [m,M]} = 1
4f2(m)
= 1 4Mm(m+M)2
=(mM)2
(m+M)2.
45
-
W (38) dostajemy wic
(xk+1) (x) ((xk) (x))(m Mm +M
)2 . . .
((x0) (x))(mMm+M
)2(k+1)Jako szukan sta K wystarczy przyj (x0)(x)
min(A), bo
(xk) (x) = (Axk b)TA1(Axk b) = (Axk b)
T(xkA1b)
= (xk x)T(Axk b) = (xk x)
TA(xkA1b)
= (xk x)TA(xk x) min(A)xk x22.
Wwczas
min(A)xk x22 (xk) (x) ((x0) (x))(mMm+M
)2k.
Uwaga 2.51. Skoro A = AT > 0, cond(A) = max(A)min(A)
, to
Mm
M+m=
Mm
1Mm
+ 1=
cond(A) 1
cond(A) + 1.
Zatem dla metody Richardsona otrzymujemy, e
(B(0)) =cond(A) 1
cond(A) + 1.
2.4.3 Metoda gradientw sprzonych.
Zamy, e A = AT > 0. Wybieramy dowolnie x0 Rn przyblienie pocztkowe iokrelamy pi cigw {n}n, {n}n R, {xn}n, {rn}n, {pn}n Rn nastpujco:
r0 = bAx0, p0 = r0,
k =rTkpk
pTkApk,(41)
xk+1 = xk+ kpk,(42)
rk+1 = rk kApk,(43)
k = rTk+1Apk
pTkApk,(44)
pk+1 = rk+1 + kpk.(45)
Twierdzenie 2.52. Jeeli A jest dodatnio okrelon macierz symetryczn, to poskoczonej liczbie krokw algorytm metody gradientw sprzonych daje rozwizaniedokadne ukadu (1).
46
-
Dowd. Pokaemy najpierw, e zachodz nastpujce rwnoci:
(i) rTipj = 0, i > j,
(ii) rTi rj = 0, i 6= j,(iii) pTiApj = 0, i 6= j, to znaczy kierunki pi s A-ortogonalne10.Dowd tych trzech rwnoci przeprowadzimy indukcyjnie. Pierwszy krok indukcyjny:
rT1p0(43)= (r0 0Ap0)
Tp0 = rT0p0 0p
T0A
Tp0(41)= rT0p0 r
T0p0 = 0,
rT1r0 = rT1p0
(i)= 0,
pT1Ap0 = (r1 + 0p0)TAp0 = r
T1Ap0 + 0p
T0Ap0
(44)= rT1Ap0 r
T1Ap0 = 0.
Zamy teraz, e wzory (i) (iii) zachodz dla 0 i, j k.Ad(i) Z denicji cigu {rk}k, dla j k, mamy
rTk+1pj(43)= (rk kApk)
Tpj = rTkpj kp
TkApj.
Jeli j < k to na mocy zaoenia indukcyjnego pTkApj(iii)= 0 i rTkpj
(i)= 0. Jeli j = k
to na podstawie denicji cigu {k}k
rTk+1pk = rTkpk kp
TkApk
(41)= rTkpk r
Tkpk = 0.
Ad(ii)
rTk+1rj(45)= rTk+1(pj j1pj1) = r
Tk+1pj j1r
Tk+1pj1
(i)= 0.
Ad(iii) Oczywicie
pTk+1Apj(45)= (rk+1 + kpk)
TApj = rTk+1Apj + kp
TkApj.
Jeli j < k oraz j 6= 0, to
pTk+1Apj(iii)= rTk+1Apj
(43)= rTk+1
1j
(rj rj+1)(ii)= 0.
Jeli j = k, to
pTk+1Apj = rTk+1Apk+ kp
TkApk
(44)= rTk+1Apk r
Tk+1Apk = 0.
Poniewa ukad {rk}k jest, na mocy (ii), ortogonalny w Rn, zatem
k < n : {r0, . . . , rk} jest liniowo niezaleny,10ortogonalne w sensie iloczynu skalarnego (u|v) = uTAv
47
-
wic
k n : {r0, . . . , rk} jest liniowo zaleny,
czyli
k n : rk = 0.(46)
Wykaemy, e
rk+1 = bAxk+1.(47)
Na mocy (43)
rk+1 = rk kApk = rk1 kApk k1Apk1 = . . . = r0
kj=0
jApj
= r0
kj=0
Ajpj(42)= r0
( kj=0
Axj+1
kj=0
Axj)
= bAxk+1.
Zatem, na mocy (46) i (47), dla k n 1, xk+1 jest rozwizaniem ukadu (1).
3 Wyznaczanie wartoci wasnych i wektorw wa-
snych macierzy.
Niech A Cnn, A = (aij).Twierdzenie 3.1. (Gerszgorin, Schur; lokalizacja wartoci wasnych)Jeli jest wartoci wasn macierzy A, to
i {1, . . . , n} : | aii| j6=i
|aij|.
Dowd. Niech x bdzie wektorem wasnym odpowiadajcym wartoci wasnej , zatem
x = Ax,
czyli
xi =
nj=1
aijxj, i = 1, . . . , n,
( aii)xi =j6=i
aijxj, i = 1, . . . , n.
Skoro x 6= 0, wic
i {1, . . . , n} : xi 6= 0,
48
-
zatem
i {1, . . . , n} : |xi| = x 6= 0.Dla takiego i mamy
x | aii| = |( aii)xi| = j6=i
aijxj
j6=i|aij| |xj| x
j6=i|aij|,
wic
| aii| j6=i
|aij|.
Dowd alternatywny. Przypumy dla dowodu nie wprost, e
i {1, . . . , n} : | aii| >nj6=i
|aij|.
Wwczas macierz B = A I spenia mocne kryterium sumy wierszy, zatem na mocytwierdzenia 2.35, B jest macierz nieosobliw, co prowadzi do sprzecznoci, bo jestwartoci wasn macierzy A.
Wniosek 3.2. Jeli jest wartoci wasn macierzy A, to
j {1, . . . , n} : | ajj| ni6=j
|aij|.
Dowd. Wystarczy zastosowa poprzednie twierdzenie dla macierzy AT, bo A i AT
maj te same wartoci wasne.
Ustalmy k {1, . . . , n}. Niech
K1 =
ki=1
{ : | aii|
j6=i
|aij|},
K2 =
ni=k+1
{ : | aii|
j6=i
|aij|},
Na mocy twierdzenia 3.1
{i(A)} ni=1
{ : | aii|
j6=i
|aij|}.
Uwaga 3.3. Jeli K1 K2 = oraz K1 zawiera k wartoci wasnych macierzy A, toK2 zawiera n k wartoci wasnych macierzy A.
49
-
Re
a 11
a 22
a 33
ii
Im
a
Rysunek 7: Zbiory K1 i K2
Dowd. Niech D bdzie macierz diagonaln, L macierz trjktn doln i U macierztrjktn grn takimi, e
A = D+ L+U.
Zdeniujmy macierz At = (aij(t)) dla t [0, 1] nastpujco
At = D+ t(L+U).
Zatem
aii(t) = aii, aij(t) = taij.
Niech K1(t), K2(t) bd okrelone jak wyej dla macierzy At. Zatem, skoro t [0, 1],mamy
Ki(t) Ki, i = 1, 2.
Skoro A0 = D, wic i(A0) = aii, i = 1, . . . , n, oraz
K1(0) = {a11, . . . , akk}, K2(0) = {ak+1,k+1, . . . , ann}.
Mamy te
i(At) K1(t) K1, i = 1, . . . , k.
Teza twierdzenia wynika z cigoci wzgldem t funkcji i(At).
W rozdziale 2.3.1 spotkalimy si z wartociami wasnymi i wektorami wasnymimacierzy. Teraz zajmiemy si ich wyznaczaniem. Pokazalimy ju, e jest warto-ci wasn macierzy A wtedy i tylko wtedy, gdy jest miejscem zerowym wielomianucharakterystycznego macierzy A, oraz e macierze podobne maj te same wielomianycharakterystyczne. O innej cesze wielomianu charakterystycznego mwi twierdzenie
50
-
Twierdzenie 3.4. (Cayley-Hamiltona)Niech
A() = det (A I),
bdzie wielomianem wielomianem charakterystycznym macierzy A. Wwczas
A(A) = 0.
Dowd. Denicja (2.18) wielomianu charakterystycznego.
Denicja 3.5. Niech x0 Rn \ {0} bdzie dowolnie ustalony. Cigiem Kryowa dlamacierzy A nazywamy cig {xk}k taki, e
xk+1 = Axk, k = 0, 1, . . .(48)
Lemat 3.6. W cigu Kryowa co najwyej n elementw jest liniowo niezalenych.
Uwaga 3.7. Jeli elementy x0, x1, . . . , xp1 cigu Kryowa s liniowo niezalene, ax0, x1, . . . , xp s liniowo zalene, to
k p wektory x0, . . . , xp1, xk s liniowo zalene.
Dowd. Przeprowadzimy indukcj matematyczn. Krok pierwszy (k = p) wynika zzaoenia. Niech k > p. Na mocy zaoenia indukcyjnego, cig x0, . . . , xp1, xk1 jestliniowo zaleny, zatem istniej stae 0, . . . , p1 takie, e
xk1 =
p1j=0
jxj.
Wwczas
xk = Axk1 = A
p1j=0
jxj = Ap1xp1 +
p2j=0
jAxj = p1xp +
p2j=0
jxj+1
= p1
p1j=0
jxj +
p1j=1
j1xj = p10x0 +
p1j=1
(p1j + j1)xj,
a wic xk span{x0, . . . , xp1}.
3.1 Metody dokadne.
Niech A bdzie kwadratow macierz wymiaru n. Zajmiemy si wyznaczaniem wielo-mianu charakterystycznego macierzy A lub jego dzielnika. Zacznijmy od zdeniowaniawielomianu minimalnego macierzy A. Ustalmy x0 Rn i wemy cig Kryowa{xn}
n=0. Na mocy lematu 3.6 istnieje p n takie, e
x0, . . . , xp1 s liniowo niezalene,
x0, . . . , xp s liniowo zalene.
51
-
Zatem istniej 0, . . . , p1 takie, e
xp + p1xp1 + . . .+ 0x0 = 0.
Z konstrukcji cigu Kryowa mamy
Apx0 + p1Ap1x0 + . . .+ 0Ix0 = 0,
(Ap+ p1Ap1 + . . .+ 0I)x0 = 0,
(A)x0 = 0, () = p + p1
p1 + . . .+ 0.
Denicja 3.8. Niech A Rnn bdzie macierz i niech x0 Rn, x0 6= 0. Wielomia-nem minimalnym dla x0 nazywamy wielomian () =
pk=0
kk taki, e
(i) (A)x0 = 0;
(ii) jeli () spenia (i) oraz deg < deg, to = 0.
Lemat 3.9. Jeli wielomian () spenia warunek (i) denicji 3.8, to dzieli .
Dowd. Zamy, e stopie wielomianu jest nie mniejszy ni stopie wielomianu ,wwczas
() = a()() + r(), deg r < deg.
Zatem
0 = (A)x0 = a(A)(A)x0+ r(A)x0 = r(A)x0,
a wic r spenia warunek (ii) denicji 3.8, zatem r = 0.
Odpowiedzmy teraz na pytanie, jaki jest zwizek midzy wielomianami minimal-nymi dla pewnego x0 Rn i wielomianami charakterystycznymi. Ustalmy x0 Rn.Niech A bdzie wielomianem charakterystycznym macierzy A, wielomianem mini-malnym dla x0. Na mocy twierdzenia 3.4
A(A)x0 = 0.
Zatem () dzieli A(), wic miejsca zerowe wielomianu s wartociami wasnymimacierzy A. Jeli wic p = n, to
() = p+ p1p1 + . . .+ 1+ 0,
gdzie 0, . . . , p s wspczynnikami wielomianu A. Jeli p < n to 0, . . . , p swspczynnikami pewnego dzielnika wielomianu A.
Oznaczmy przez j() wielomian minimalny dla ej.
Denicja 3.10. Wielomianem minimalnym macierzy A nazywamy najmniejsz wsplnwielokrotno wielomianw 1, . . . , n
11.
11Jest to wielomian najmniejszego stopnia podzielny przez kady z wielomianw 1, . . . , n.
52
-
Twierdzenie 3.11. Jeli jest wielomianem minimalnym macierzy A, to deg degA.
Dowd. Zauwamy, e jeli jest wielomianem minimalnym macierzy A, to (A)ej =0 dla j = 1, 2, . . . , n. Niech x0 Rn. Wwczas
x0 =
nj=1
jej,
(A)x0 = (A)
nj=1
jej =
nj=1
j(A)ej = 0.
Zatem spenia warunek (i) denicji 3.8.
Zamy e x0, . . . , xn1 s liniowo niezalene. Niech X = [x0, . . . , xn1], wwczas
AX = A[x0, . . . , xn1] = [Ax0, . . . , Axn1] = [x1, . . . , xn] =
[x0, . . . , xn1]
0 0 . . . 0 01 0 . . . 0 10 1 . . . 0 2. . .
0 0 . . . 1 n1
= XF.
Macierzy F nazywamy macierz Frobeniusa. Skoro x0, . . . , xn1 s liniowo nieza-lene, to detX 6= 0, wic X jest odwracalna. Zatem macierze A i F s podobne (boA = XFX1). Macierz F ma duo zer, wic atwo jest wyznaczy jej wielomian charak-terystyczny
F() = (1)n(n+ n1
n1 + . . .+ 0).
Ze wzgldu na podobiestwo macierzy A i F jest to te wielomian charakterystycznymacierzy A.
3.2 Metody iteracyjne.
3.2.1 Metoda potgowa.
Zamy, e wartoci wasne 1, . . . , n macierzy A Rnn s takie, e|1| > |2| > . . . > |n|.(49)
Ustalmy dowolny x0 Rn \ {0} i wemy cig Kryowa {xk}k. Oczywicie
xk =
x1k...xnk
, xik = eiT xk.
Twierdzenie 3.12. Jeli wartoci wasne macierzy A speniaj (49), to prawie za-wsze12
limk
xi,k+1
xik= 1
12Okrelenie prawie zawsze oznacza, e mona le wybra x0, ale prawdopodobiestwo takiego
wyboru jest rwne zero.
53
-
Dowd. Niech v1, . . . , vn bd wektorami wasnymi (liniowo niezalenymi) macierzy Aodpowiadajcymi wartoci 1, . . . , n (Avj = jvj). Niech te x0 Rn. Wwczasistniej i, . . . , n takie, e
x0 =
nj=1
jvj.
Zatem
xk = Akx0 =
nj=1
jAkvj =
nj=1
jkj vj, k = 1, 2, . . .
xik = eiTxk =
nj=1
jkj ei
Tvj = k1
(1ei
Tv1 +
nj=2
j( j1
)keiTvj)
= k1(1eiTv1 +O(|2/1|k)),
zatem
xi,k+1
xik=k+11 (1ei
Tv1 +O(|2/1|k+1))k1(1ei
Tv1 +O(|2/1|k)) k 11eiTv1
1eiTv1= 1,
o ile 1eiTv1 6= 0.
Wystarczy wykaza, e
m{x0 Rn : 1eiTv1 = 0} = 0.Skoro v1, . . . , vn Rn s liniowo niezalene, to Rn = V1 V2, gdzie
V1 = span{v1},
V2 = span{v2, . . . , vn}.
Skoro dimV1 = 1, to dimV2 = n 1, wic mn(V2) = 0.Oczywicie
1eTi v1 = 0 1 = 0 lub eTi v1 = 0.
Jeeli 1 = 0, to
x0 =
nj=2
jvj.
Podobnie, jeli eiTv1 = 0, to
xi0 = eTi x0 =
nj=1
jeTi vj = 1e
Ti v1 +
nj=2
jeTi vj =
nj=2
jeTi vj = e
Ti
nj=2
jvj,
x0 =
nj=2
jvj.
Zatem, jeeli 1eTi v1 = 0, to x0 V2, co koczy dowd.
54
-
Wida wic, e mona atwo wyznaczy warto wasn macierzy A, bo
xj,k+1
xjk 1, k k0, j = 1, . . . , n,
xk+1 1xk,Axk 1xk 1 warto wasna.
Uwaga 3.13. Powysze twierdzenie zachodzi przy zaoeniu, e
|1| > |2| . . . |n|.Dowd. Niech v1 bdzie wektorem wasnym odpowiadajcym 1 i niech
V1 = {v1 : R}.Wykaemy, e AV1 = V1. Niech x AV1, zatem
v V1 : x = Av.Skoro v V1, to istnieje R taka, e v = v1, a wic
R : x = Av1 = 1v1 V1.Niech teraz v V1. Oczywicie
R : v = v1.Niech =
1, zatem
R : v = 1v1 = Av1 = A(v1) AV1.Niech V2 bdzie taka, e V1 V2 = Rn. Skoro macierz A jest podobna (na mocy
twierdzenia o postaci kanonicznej Jordana) do macierzy(1 0
0 B
),
gdzie macierz B ma wartoci wasne 2, . . . , n, to V2 moemy tak wybra, aby AV2 =V2.
Ustalmy x0 Rn. Istnieje dokadnie jedna para (u,w) V1 V2 taka, e x0 =u+w. Wwczas
xk = Akx0 = A
ku+Akw = 1Akv1 +A
kw = 1k1v1 +A
kw
= k1(1v1 +
(11A)kw),
gdzie 1 R jest taka, e u = 1v1.Skoro w V2 oraz AV2 = V2, to Aw = A |V2 w. Reprezentowana przez B macierz
A |V2 ma wartoci wasne 2, . . . , n, zatem(11A)V2
ma wartoci wasne 21, . . . , n
1.
Zatem
xk = k1
(1v1 +O
(21
k))i dalej postpujemy jak w twierdzeniu 3.12.
Uwaga 3.14. Metoda jest niedogodna, bo zwykle xk k (o ile |1| > 1).
55
-
3.2.2 Wariant metody potgowej
Zakadamy, e
|1| > |2| . . . |n|.Niech x0 Rn bdzie punktem startowym. Rozpatrzmy nastpujce cigi:
z0 =x0x0 ,
yk = Azk1, k = 1, 2, . . .
zk =ykyk .
Twierdzenie 3.15. Przy powyszych zaoeniach
limk
yik
zik= |1|.
Dowd. Niech {xk}k bdzie cigiem Kryowa. Wwczas
yk =xk
xk1 , k = 1, 2, . . . ,
zk =xkxk , k = 0, 1, . . .
Wykaemy to indukcyjnie. Na mocy zaoenia
z0 =x0x0 ,
oraz
y1 = Az0 =Ax0x0 =
x1x0 .
Drugi krok indukcyjny. Zamy, e znamy ju z0, . . . , zk1 oraz y0, . . . , yk, wwczas
zk =ykyk =
xkxk1
xk1xk =
xkxk ,
yk+1 = Azk =Axkxk =
xk+1xk .
Skoro
zik =yikyk ,
to
yikzik
= yk = xkxk1 =|1|
k 1v1 +O(|21 |k)|1|k1 1v1 +O(|21 |k1)
k |1|,
o ile 1v1 6= 0.Twierdzenie 3.16. Jeli A = AT, |1| > |2| . . . |n| oraz {xn}n jest cigiemKryowa, to iloraz Rayleigha
k =xk
TAxk
xkTxk,(50)
jest zbieny do 1.
56
-
Dowd. Skoro A = AT, to ma n wektorw wasnych liniowo niezalenych, wzajemnieortogonalnych v1, . . . , vn. Wic
x0 =
nj=1
jvj,
xk =
nj=1
jkj vj,
xTkAxk =( nj=1
jkj vj)T n
j=1
jk+1j vj =
nj=1
ns=1
jskj
k+1s v
Tj vs
=
nj=1
2j2k+1j =
2k+11
(21 +
nj=2
2j(j/1)2k+1
)= 2k+11
(21 +O(|2/1|2k+1),
xTkxk =
nj=1
ns=1
jskj
ksvTj vs =
2k1
(21 +O(|2/1|2k),
zatem k k 1, o ile 1 6= 0.
Zajmiemy si teraz wyznaczaniem kolejnych wartoci wasnych macierzy symetrycz-nych (Hermitowskich). Zamy, e znamy ju 1 i v1, oraz e |1| > |2| > |3| . . . |n|. Niech
A1 = A 1v1v1T.
Wwczas
A1v1 = Av1 1v1(v1Tv1) = 1v1 1v1 = 0,
A1vj = Avj 1v1(v1Tvj) = Avj = jvj,
bo v1Tvj = 1j (A jest ortogonalna). Zatem A1 ma wartoci wasne 0, 2, . . . , n.
Dostajemy w ten sposb kolejn warto wasn macierzy A. Sposb ten nie jestnajlepszy, moe dawa due bdy jeli 1 i v1 zostay sabo przyblione.
3.2.3 Metoda Householdera.
Znajdmy inn macierz podobn do macierzy A = A. Szukamy takiej macierzy U, e
UU = I,
oraz
UAU =(1 0
0 B
)= A1.
Zatem, z podobiestwa macierzy A i B, macierz B ma wartoci wasne 2, . . . , n.
57
-
Konstrukcja macierzy U przebiega nastpujco. Niech v = (,w)T bdzie takie, eAv = 1v oraz v2 = 1. Zatem
+ww = 1.(51)
Deniujemy
U =
( w
w I ww
)
Chcemy tak dobra , aby UU = I.
UU =( w
w I ww
)( w
w I ww
)
=
(+ww w +w www
w +w www ww + (I ww)(I ww)
)(51)=
(1 P
P Q
).
Skoro
P = w +w www = (1 w22)w,
to przyjmujc = 1w22
dostajemy P = 0. Mamy te
||2 = =1+||2
w42
, + = 2w22
.(52)
Policzmy teraz Q:
Q = ww + (I ww)(I ww)
= ww + I ww ww + ww22w
= I+ (1 (+ ) + ||2w22)ww(52)= I+
(1
1+||2
w22
)= I+
w221+||2w2
2
ww(51)= I.
Pozostaje zatem sprawdzi, czy zachodzi drugi warunek. Niech A1 = UAU. Skoro
A = A, to A1 = A1.
A1e1 = UAUe1
Ue1=v= UAv = 1Uv
Uv=e1= 1e1,
zatem
A1 =
(1 0
0 B
),
wic
j(B) = j(A), j = 2, . . . , n.
58
-
3.3 Wyznaczanie wszystkich wartoci wasnych macierzy syme-trycznych.
3.3.1 Metoda obrotw Jacobiego.
Niech A = (aij) bdzie macierz symetryczn n n. Rozwamy norm macierzow
N2(A) =
ni,j=1
|aij|2.(53)
Lemat 3.17. Dla normy macierzowej (53) zachodzi nastpujcy wzr
N2(A) = tr(ATA)(54)
Dowd. Niech C = ATA. Wwczas, korzystajc z tego, e A jest symetryczna
cij =
nk=1
aTikakj =
nk=1
akiakj,
trC =ns=1
css =
ns=1
nk=1
a2ks =
nk,s=1
a2ks.
Uwaga 3.18. Powyszy lemat jest prawdziwy dla macierzy prostoktnych takich, eATA jest okrelone.
Zanim przejdziemy do samej metody obrotw Jacobiego wykamy pewne wasnocinormy macierzowej (53).
Twierdzenie 3.19. Niech A bdzie kwadratow macierz symetryczn, U,V dowol-nymi macierzami (odpowiednich wymiarw). Wwczas norma (53) spenia nastpujcewasnoci
(i) N2(A) = N2(AT),
(ii) UTU = I N2(UA) = N2(A),(iii) VTV = I N2(AV) = N2(A),(iv) U,V ortogonalne N2(UAV) = N2(A).Dowd.
ad(i) Oczywisty.
ad(ii) N2(UA) = tr((UA)TUA) = tr(ATUTUA) = tr(ATA) = N2(A).
ad(iii) N2(AV)(i)= N2(VTAT)
(ii)= N2(AT)
(i)= N2(A).
ad(iv) N2(UAV) = tr(VTATUTUAV) = tr((AV)TAV) = N2(AV)(iii)= N2(A).
59
-
Przejdmy zatem do samej metody obrotw. Dla macierzy A = AT chcemy znaletaki cig {A(k)}k, e
A(0) = A,
A(k+1) A(k),
limkA(k) = diag(d1, . . . , dn).
Jeli znajdziemy taki cig i jego granic, to automatycznie znajdziemy wszystkie war-toci wasne macierzy A, czyli i(A) = di. Oznaczmy A
(k) = (a(k)
ij ) i niech
A(k+1) = T1pkqkA(k)Tpkqk ,
gdzie pk, qk speniaj wzr
|a(k)pkqk | = max{|a(k)
ij | : i 6= j},a macierz Tpq jest macierz obrotu o kt w paszczynie (pq), czyli
tii = 1, i {1, . . . , n} \ {p, q},tpp = tqq = c, gdzie c = cos ,
tpq = tqp = s, gdzie s = sin ,
tij = 0, dla pozostaych i, j.
Kt dobieramy tak, aby a(k+1)pkqk = 0. Macierz Tpq jest macierz ortogonaln.
Rozwamy przypadek n = 2. Niech
A =
(
), T =
(c s
s c
).
Wwczas
TT =
(c s
s c
), TTT =
(c2+ s2 0
0 c2 + s2
)= I,
B = T1AT =
(c s
s c
)(
)(c s
s c
)
=
(c2 2cs+ s2 cs( ) + (c2 s2)
cs( ) + (c2 s2) s2+ 2cs+ c2
)=
(b11 b12b21 b22
).
Dobieramy tak, aby cs( ) + (c2 s2) = 0, czyli
(cos2 sin2) = cos sin ( ), cos 2 = 1
2sin 2( ),
tg2 =2
,
= 12arctg 2
, o ile 6= .
Jeli = to bierzemy
=
{pi4, > 0
pi4, < 0
60
-
Przy takim wyborze mamy
T1AT =
(b11 0
0 b22
).
Uwaga 3.20. Suma kwadratw na przektnej wzrosa o 2(a(k)pkqk)
2.
Dowd.
G = TTAT =
(UT 0
0 I
)(A11 A12A21 A22
)(U 0
0 I
)=
(UTA11U U
TA12A12U A22
),
N2(G) = N2(UTA11U) +N2(UTA12) +N
2(A21U) +N2(A22)
= N2(UTA11U) +N2(A12) +N
2(A21) +N2(A22).
Twierdzenie 3.21. Jeli dla kadego k wybierzemy (pk, qk) takie, e
|a(k)pkqk | = max {|a(k)
ij | : i 6= j},to metoda obrotw jest zbiena.
Dowd. Niech
t2k =i6=j
|a(k)
ij |2.
Na mocy poprzedniej uwagi
t2k+1 = t2k 2|a
(k)pkqk
|2.
Skoro
|a(k)pkqk | |a(k)
ij |, i 6= j,to
|a(k)pkqk |2 |a(k)ij |2, i 6= j,
wic
t2k =i6=j
|a(k)
ij |2 n(n 1)|a(k)pkqk |2.
Mamy wic2n(n1)
2
t2k+1 t2k 2t2k
n(n1)= t2k
(1 2
n(n1)
) . . . t20(1 2n(n1))k+1 N2(A)(1 2
n(n1)
)k+1,
zatem
limk t2k = 0,
wic
limkA(k) = diag(d1, . . . , dn).
61
-
3.3.2 Metoda QR wyznaczania wartoci wasnych macierzy.
Jak pokazalimy w twierdzeniu o faktoryzacji QR (tw. 2.9), jeli macierz A jest nie-osobliwa, to istniej macierze Q ortogonalna i R trjktna grna takie, e
A = QR.
Z dowodu tego twierdzenia wynika, e rozkad ten jest jednoznaczny.Zamy o macierzy Q wicej, e jest ortonormalna, czyli
QTQ = I.
Zauwamy, e skoro QTQ = D2 to D1QTQD1 = I. Zatem jako nasz macierzortonormaln wystarczy wzi QD1.
Jeli macierz A jest osobliwa, to mona otrzyma podobny rozkad z tym, e macierzR te bdzie osobliwa (metoda Householdera).
Przejdmy teraz do samej metody QR wyznaczania wartoci wasnych macierzyA. Zamy, e A jest nieosobliwa i niech A0 = A. Istniej zatem macierze Q0 ortonormalna i R0 trjktne grna takie, e A0 = Q0R0. Zdeniujmy cig
Ak = Rk1Qk1, k = 1, 2, . . .(55)
Lemat 3.22. Dla cigu Ak zdeniowanego wzorem (55)
Ak Ak+1, k = 0, 1, . . .
Dowd. Skoro Ak = QkRk to Rk = QkTAk albo Qk = AkR
1k . Wic
Ak+1 = RkQk = QkTAkQk,
albo
Ak+1 = RkQk = RkAkR1k .
Pytanie jakie naley sobie teraz postawi, to czy cig {Ak}k=0 jest zbieny, a jeli
tak to do czego. Zauwamy, e
Ak+1 = QkTAkQk = Qk
TQk1TAk1Qk1Qk = . . . = Qk
T . . .Q0TA0Q0 . . .Qk,
a wic
Ak+1 = UkTAUk, Uk = Q0 . . .Qk.
Podobnie otrzymamy, e
Ak+1 = GkAG1k , Gk = Rk . . . R0.
Oczywicie Uk jest macierz ortogonaln, a Rk macierz trjktn grn. Co wicej,jeli A0
= A0 lub A0 jest trjprzektniowa, to Ak = Ak lub odpowiednio Ak jest
trjprzektniowa (dowd ze wzgldu na indukcje nie wymagany).Pokaemy jeszcze, e UkGk = A
k+1. Istotnie
Ak = Uk1TAUk1 Uk1Ak = AUk1,
UkGk = Q0 . . .Qk1QkRkRk1 . . . R0 = Q0 . . .Qk1AkRk1 . . . R0 = Uk1AkGk1
= AUk1Gk1 = . . . = Ak+1.
62
-
Twierdzenie 3.23. Jeli cig {Uk}k jest zbieny, to cig {Ak}k jest zbieny do macierzytrjktnej grnej.
Dowd. Niech Uk = Q0 . . .Qk1Qk, wic (ze zbienoci {Uk}k) mamy
Uk = Uk1Qk,
Qk = Uk1TUk,
limkQk = ( limkUk1T)( limkUk) = ( limkUk1)T limkUk = I,
oraz
Ak = Rk1Qk1,
Rk1 = AkQk1T = Uk1
TAUk1Qk1T = Uk1
TAQ0 . . .Qk2Qk1Qk1T
= Uk1TAUk2.
Wic cigi {Qk}k i {Rk}k s zbiene, zatem cig {Ak}k te jest zbieny.Oznaczmy przez A granic cigu {Ak}k oraz przez R granic cigu {Rk}k, wwczasA = lim
kAk = ( limkQk)( limk Rk) = limk Rk = R .Macierz R (a tym samym A) jest macierz trjktn grn (bo Rk s trjktnerrne), co koczy dowd.
Wniosek 3.24. Niech cig {Uk}k bdzie zbieny i niech A = limkAk. Wwczas aii s
wartociami wasnymi macierzy A.
Dowd. Twierdzenie 3.23 + lemat 3.22 + wniosek 2.22.
Uwaga 3.25. Jeli macierz A jest symetryczna i dodatnio okrelona, to cig {Uk}k jestzbieny.
4 Interpolacja.
Dana niech bdzie funkcja f : [a, b] R oraz (n + 1)-parametrowa rodzina funkcji(x; c0, . . . , cn) : [a, b]Rn+1 R. Dla zadanych n + 1 punktw x0, . . . , xn [a, b]bdziemy chcieli dobra parametry c0, . . . , cn tak, aby zachodziy rwnoci
f(xi) = (xi; c0, . . . , cn), i = 0, . . . , n.(56)
Punkty x0, . . . , xn nazywamy wzami interpolacyjnymi, natomiast rwnoci (56) warunkami interpolacyjnymi. Interpolacj nazywamy funkcj .
Tak wic chcemy dobra parametry c0, . . . , cn tak, aby wykres zawiera punkty(xj, f(xj)), j = 0, . . . , n.
Jeeli jest funkcj liniow zmiennych c0, . . . , cn, to interpolacj nazywamy li-niow:
(x; c0, . . . , cn) =
nj=0
cjj(x).
63
-
Dla interpolacji liniowej warunki interpolacyjne przyjmuj posta
f(xi) =
nj=0
cjj(xi), i = 0, . . . n.(57)
Przykad 4.1.
(i) Interpolacja wielomianowe: j(x) = xj, j = 0, . . . , n,
(ii) Interpolacja trygonometryczna: j(x) = eijx, j = 0, . . . , n, i =
1.
Uwaga 4.2. Ukad (57) jest ukadem (n+ 1) rwna liniowych o niewiadomej
c = (c0, . . . , cn)T Rn+1,
wyrazie wolnym
f = (f(x0), . . . , f(xn))T Rn+1
oraz macierzy
A = (aij), aij = j(xi).
Rwnowanie zapisa go mona jako
Ac = f.
Zatem warunek ten rwnowany jest
f span{0, 1, . . . , n}.
Wwczas parametry cj s wsprzdnymi f wzgldem bazy {j}.
Twierdzenie 4.3. Problem interpolacji liniowej ma dla kadego wektora y Rn+1dokadnie jedno rozwizanie wtedy i tylko wtedy, gdy det(j(xi)) 6= 0 (A jest macierznieosobliw).
Uwaga 4.4.
(i) Twierdzenie 4.3 jest prawdziwe take dla xi oraz f(xi) zespolonych.
(ii) Do wyznaczenia cj wystarczy znajomo xi oraz f(xi), i = 0, . . . , n.
4.1 Interpolacja wielomianowa.
Niech
n = {w| w(x) = anxn+ an1x
n1 + . . .+ a1x + a0, aj C}
oznacza przestrze wielomianw stopnia co najwyej n.
Uwaga 4.5.
64
-
(i) n jest przestrzeni wektorow.
(ii) dimn = n + 1.
Dowd.
ad(i) v,w n v+ w n.ad(ii) Wystarczy pokaza, e 1, x, . . . , xn jest baz n. Oczywici n = span{1, x, . . . , x
n}.
Niech P(x) =nj=0
cjxj = 0. Oczywicie P(x) n i ma on nieskoczenie wiele
zer, zatem na mocy zasadniczego twierdzenie algebry cj = 0, j = 0, . . . , n, czyli1, x, . . . , xn s liniowo niezalene.
Zagadnienie interpolacji wielomianowej polega na tym, e dla danych par punktw(xi, f(xi)), i = 0, . . . n szukamy wielomianu P n takiego, e
P(xi) = f(xi), i = 0, . . . , n.(58)
Twierdzenie 4.6. (istnienie i jednoznaczno zagadnienia interpolacji wielomianowej)Jeeli x0, . . . , xn [a, b] s parami rne, to dla dowolnego wektora wartoci f =(f(x0), . . . , f(xn))
T problem (58) ma dokadnie jedno rozwizanie.
Dowd. Zacznijmy od istnienia takiego wielomianu. Niech
li(x) =(x x0) . . . (x xi1)(x xi+1) . . . (x xn)
(xi x0) . . . (xi xi1)(xi xi+1) . . . (xi xn)=j6=i
x xj
xi xj,
zatem li(xj) = ij. NiechDelta Kro-neckera.
L(x) =
ni=0
f(xi)li(x) wielomian interpolacyjny Lagrangea.(59)
Wic
L(xj) =
ni=0
f(xi)li(xj) = f(xj), j = 0, . . . , n.
Aby wykaza jedyno przypumy, e P,Q n speniaj zaoenia twierdzenia.Wtedy W(x) = P(x) Q(x) n zeruje si w n + 1 punktach x0, . . . , xn. Na mocyzasadniczego twierdzenia algebry W 0, zatem P = Q.Uwaga 4.7. W powyszym twierdzeniu zamiast przedziau [a, b] R mona rozpatry-wa zbir zwarty K C.Uwaga 4.8. Ukad {lj}j tworzy baz n.
65
-
Dowd. Oczywicie span{l0, . . . , ln} = n. Wystarczy wykaza, e l0, . . . , ln s liniowoniezalene. Niech
P(x) =
nj=0
djlj(x) = 0.
Skoro lj(xi) = ij to
P(xi) = di, i = 0, . . . , n.
Wic d0 = d1 = . . . = dn = 0, co koczy dowd.
Z istnienia i jednoznacznoci interpolacji wielomianowej dla xi 6= xj dostajemy, e
det (xji) = V(x0, . . . , xn) = det
1 x0 . . . x
n0
......
. . ....
1 xn . . . xnn
6= 0.
Dzieje si tak dlatego, e dla bazy Lagrangea dostajemy macierz jednostkow In+1.Wyznacznik V(x0, . . . , xn) nazywamy wyznacznikiem Vandermondea.
Jak wida po dodaniu nowego wza, aby znale wielomian interpolacyjnyLagrangea naley ponownie wyznaczy wielomiany lj(x), j = 0, . . . , n+1. Sprbujmypozby si tej niedogodnoci. Jako baz n przyjmijmy
p0(x) = 1,
p1(x) = x x0,
...
pn(x) = (x x0)(x x1) . . . (x xn1).
Oczywicie {pj}nj=0 n oraz n = span{p0, . . . , pn}. Niech
P(x) =
ns=0
bsps(x)
oznacza wielomian interpolacyjny Newtona.Korzystajc z uwagi 4.2 (dla c = (b0, . . . , bn)) macierz A przyjmuje posta
A = (pj(xi)) =
1 0 0 . . . 0
1 x1 x0 0 . . . 0
1 x2 x0 (x2 x0)(x2 x1) 0...
......
. . ....
1 xn x0 (xn x0)(xn x1) . . . (xn x0) . . . (xn xn1)
Zatem, jako wniosek z twierdzenia 4.6 otrzymujemy
Twierdzenie 4.9. Jeli xi 6= xj dla i 6= j to wielomian interpolacyjny w postaciNewtona jest wyznaczony jednoznacznie. Liczby bj wyznacza si z ukadu rwna omacierzy trjktnej.
66
-
Zalet postaci Newtona jest to, e dodanie nowego wza xn+1 (takiego, e xn+1 6=xj, j = 0, . . . , n) nie zmienia wartoci b0, . . . , bn. Istotnie, oznaczmy przez P0..n(x)(dowolny) wielomian interpolacyjny przechodzcy przez wzy x0, . . . , xn, wwczas
P0..n+1(x) = P0..n(x) + bn+1pn+1(x),
gdzie
pn+1(x) = (x x0) . . . (x xn).
Dzieje si tak dlatego, e macierz A zostaje powikszona o jeden wiersz i jedn kolumn
A -A 0
Rysunek 8:
Istniej wzory na wspczynniki bj wielomianu interpolacyjnego Newtona. Zwi-zane s one z ilorazami rnicowymi.
4.2 Ilorazy rnicowe.
Dana niech bdzie funkcja f : [a, b] R oraz podzia n = {x0, . . . , xn} przedziau[a, b] (xi 6= xj dla i 6= j). Deniujemy