Algorytmy optymalizacji, estymacji i redukcji .W pracy omówiono algorytmy optymalizacji, estymacji

download Algorytmy optymalizacji, estymacji i redukcji .W pracy omówiono algorytmy optymalizacji, estymacji

of 53

  • date post

    27-Feb-2019
  • Category

    Documents

  • view

    212
  • download

    0

Embed Size (px)

Transcript of Algorytmy optymalizacji, estymacji i redukcji .W pracy omówiono algorytmy optymalizacji, estymacji

Uniwersytet WarszawskiWydzia Matematyki, Informatyki i Mechaniki

Joanna SkrzeszewskaNr albumu: 277648

Algorytmy optymalizacji, estymacjii redukcji wariancji

Praca licencjackana kierunku MATEMATYKA

Praca wykonana pod kierunkiemdra in. Przemysawa BieckaInstytut Matematyki Stosowanej i Mechaniki

Sierpie 2012

Owiadczenie kierujcego prac

Potwierdzam, e niniejsza praca zostaa przygotowana pod moim kierunkiem i kwa-lifikuje si do przedstawienia jej w postpowaniu o nadanie tytuu zawodowego.

Data Podpis kierujcego prac

Owiadczenie autora (autorw) pracy

wiadom odpowiedzialnoci prawnej owiadczam, e niniejsza praca dyplomowazostaa napisana przeze mnie samodzielnie i nie zawiera treci uzyskanych w sposbniezgodny z obowizujcymi przepisami.

Owiadczam rwnie, e przedstawiona praca nie bya wczeniej przedmiotem pro-cedur zwizanych z uzyskaniem tytuu zawodowego w wyszej uczelni.

Owiadczam ponadto, e niniejsza wersja pracy jest identyczna z zaczon wersjelektroniczn.

Data Podpis autora (autorw) pracy

Streszczenie

W pracy omwiono algorytmy optymalizacji, estymacji i redukcji wariancji. Praca zostaapodzielona na trzy czci. W pierwszej czci przedstawiono wybrane metody optymalizacjidla funkcji jedno- i wielowymiarowych, w drugiej opisano podstawowe algorytmy estymacjipunktowej i przedziaowej, a w ostatniej wybrane algorytmy redukcji wariancji.

Sowa kluczowe

optymalizacja, estymacja, estymator, przedzia ufnoci, redukcja warancji

Dziedzina pracy (kody wg programu Socrates-Erasmus)

11.2 Statystyka

Klasyfikacja tematyczna

62H12, 65C20

Tytu pracy w jzyku angielskim

Algorithms for optimisation, estimation and variance reduction

Spis treci

1. Algorytmy optymalizacji . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.1. Optymalizacja funkcji jednej zmiennej . . . . . . . . . . . . . . . . . . . . . . 7

1.1.1. Metoda Newtona . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.1.2. Metoda zotego podziau . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.2. Optymalizacja funkcji wielu zmiennych . . . . . . . . . . . . . . . . . . . . . . 101.2.1. Metoda najszybszego wzrostu . . . . . . . . . . . . . . . . . . . . . . . 111.2.2. Wielowymiarowa metoda Newtona . . . . . . . . . . . . . . . . . . . . 12

1.3. Przykady zastosowa metod optymalizacji . . . . . . . . . . . . . . . . . . . 13

2. Algorytmy estymacji . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212.1. Estymacja punktowa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.1.1. Metoda momentw . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212.1.2. Metoda kwantyli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222.1.3. Metoda najwikszej wiarogodnoci . . . . . . . . . . . . . . . . . . . . 242.1.4. Porwnanie metody momentw, metody kwantyli i metody najwikszej

wiarogodnoci . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262.2. Przedziay ufnoci . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2.2.1. Przykady zastosowa przedziaw ufnoci . . . . . . . . . . . . . . . . 28

3. Algorytmy redukcji wariancji . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313.1. Metoda antithetic sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3.1.1. Oglna technika metody antithetic sampling . . . . . . . . . . . . . . . 313.1.2. Zastosowanie metody antithetic sampling . . . . . . . . . . . . . . . . 33

3.2. Metoda emphimportance sampling . . . . . . . . . . . . . . . . . . . . . . . . 343.2.1. Oglna technika metody importance sampling . . . . . . . . . . . . . . 343.2.2. Zastosowanie metody importance sampling . . . . . . . . . . . . . . . 34

3.3. Metoda control variates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353.3.1. Zastosowanie metody control variates . . . . . . . . . . . . . . . . . . 36

A. Implementacja metody Newtona . . . . . . . . . . . . . . . . . . . . . . . . . 41

B. Implementacja metody zotego podziau . . . . . . . . . . . . . . . . . . . . . 43

C. Implementacja metody najszybszego wzrostu . . . . . . . . . . . . . . . . . 45

D. Implementacja wielowymiarowej metody Newtona . . . . . . . . . . . . . . 49

Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

3

Wprowadzenie

Bardzo wanym, praktycznym zadaniem w modelowaniu statystycznym jest estymacja nie-znanych parametrw rozkadu tak, aby reprezentowa on dobrze dane empiryczne. Estymacjimona dokonywa zarwno standardowymi metodami takimi jak metoda momentw, me-toda kwantyli czy metoda najwikszej wiarogodnoci, jak i zmodyfikowanymi np. wykorzy-stujc problem nadokrelonych ukadw rwna liniowych do metody kwantyli czy metodymomentw. We wszystkich wymienionych metodach bardzo pomocne s algorytmy optyma-lizacji, zwaszcza wielowymiarowej, ktre su do znajdowania lokalnych ekstremw funkcji.

Podczas wielokrotnych symulacji wartoci estymowanych parametrw rni si jest toskutkiem losowoci. Podane jest, aby zmienno wynikw, ktr mona wyrazi poprzezwariancj, bya jak najmniejsza. W tym celu mona zwikszy liczebno prby lub posuysi metodami redukcji wariancji, ktre s mniej czasochonne.

W poniszej pracy przedstawi algorytmy optymalizacji, estymacji i redukcji wariancji.Praca skada si bdzie z trzech czci. W pierwszej czci omwi wybrane metody opty-malizacji dla funkcji jednowymiarowej i funkcji wielu zmiennych oraz poka ich przykadowezastosowania. W drugiej czci przedstawi algorytmy estymacji punktowej i przedziaowej.Poka take wykorzystanie algorytmw optymalizacji w metodach estymacji. W obu rozdzia-ach uyj danych apartments pochodzcych z pakietu PBImisc, ktre zawieraj informacjena temat cen mieszka w Warszawie w latach 2007 2009. W rozdziale trzecim omwi al-gorytmy redukcji wariancji: antithetic sampling, importance sampling i control variance i napodstawie przykadu przeledz jak zmniejszya si wariancja po wykorzystaniu wymienio-nych algorytmw.

5

Rozdzia 1

Algorytmy optymalizacji

W poniszym rozdziale opisz zagadnienie optymalizacji, rozumiane jako znajdowanie lokal-nych ekstremw funkcji. Problem ten przedstawi w jednym i w wielu wymiarach na wybra-nych kilku, spord bardzo wielu istniejcych, algorytmach. Rozwa tylko maksima lokalne,gdy minima lokalne, w kadym z poniszych przypadkw, mona uzyska mnoc funkcjprzez 1. Do omwienia zagadnienia optymalizacji funkcji jednej zmiennej wykorzystam me-tod Newtona i metod zotego podziau, natomiast w przypadku funkcji wielu zmiennych uyjmetody najszybszego wzrostu oraz wielowymiarowej metody Newtona. Poka te przykadowezastosowania metod optymalizacji. rdem informacji byy [1], [2], [3] i [7].

1.1. Optymalizacja funkcji jednej zmiennej

Definicja 1.1.1 Mwimy, e funkcja f : X R osiga maksimum lokalne w punkcie x0 X, jeli istnieje pewne otoczenie punktu x0, w ktrym wartoci funkcji f s niewiksze odwartoci funkcji f w punkcie x0, to znaczy:

> 0 : x X : d(x, x0) < = f(x) f(x0).

Jeli ponadto f(x0) = supf(X) - to znaczy: jeli w punkcie x0 funkcja f osiga kres grnywartoci w zbiorze X, to mwimy, e funkcja f osiga w punkcie x0 maksimum globalne.

Wszystkie metody, ktre bd omwione w tej pracy s algorytmami wykorzystujcymitechnik lokalnego wyszukiwania, polegajc na generowaniu cigu punktw x(0), x(1), x(2), ...,ktre maj zbiega do lokalnego ekstremum. Nie bdzie badana caa przestrze moliwychrozwiza, a jedynie w ssiedztwie punktu x(n) wyszukiwany bdzie nastpny punkt x(n+1).

Niech x bdzie lokalnym ekstremum funkcji f oraz niech x(n) x (dla n ).Podanym kryterium stopu, koczcym wyszukiwanie jest warunek |x(n) x| 6 , dlazadanej wartoci . Niestety w oglnoci uzyskanie takiego kryterium stopu nie jest moliwei zamiast niego uywane s nastpujce kryteria:

|x(n) x(n 1)| 6 ;

|f(x(n)) f(x(n 1))| 6 ;

|f (x(n))| 6 .

Jeeli cig x(n)n=1 zbiega do lokalnego maksimum, to powysze trzy kryteria s spenione,jednak implikacja odwrotna nie jest prawdziwa. Ponisze metody mog wcale nie by zbienena przykad, gdy f jest funkcj nieograniczon i x(n). Z tego powodu zwykle przyjmujesi maksymaln liczb iteracji nmax i zatrzymuje wyszukiwanie gdy n 6 nmax.

7

1.1.1. Metoda Newtona

Metoda Newtona jest algorytmem majcym zastosowanie w wielu sytuacjach. Jej wariantuywany do szukania miejsc zerowych nazywa si metod Newtona-Raphsona.

Niech f bdzie funkcj, ktrej zera bd szukane numerycznie, x bdzie zerem funkcji f ,a x jego przyblieniem. Jeeli f istnieje, to na mocy twierdzenia Taylora:

0 = f(x) = f(x+ h) = f(x) + hf (x) +O(h2), (1.1)

gdzie h = x x. Dla maych h (czyli dla x bliskiego x) skadnik O(h2) mona pomin iwtedy:

h = f(x)f (x)

, (1.2)

a lepsze ni x przyblienie x jest rwne:

x+ h = x f(x)f (x)

. (1.3)

Dziaanie algorytmu optymalizacji Newtona rozpoczyna si przyblieniem zera x za pomocx(0), a nastpnie stosuje si rekurencyjny wzr:

x(n+ 1) = x(n) f(x(n))f (x(n))

, n > 0. (1.4)

Interpretacja geometryczna metody Newtona

Metoda Newtona opiera si na linearyzacji funkcji f . Przybliajc, w dowolnym punkciex, funkcj f(x) funkcj liniow l(x), powsta z rozwinicia funkcji f(x) w szereg Tayloraotrzymujemy:

l(x) = f(x) = f(c) + f (c)(x c). (1.5)Powysza funkcja liniowa przyblia dobrze f w pobliu c. Zachodzi l(c) = f(c) oraz l(c) =f (c). Funkcja liniowa l(x) ma wic w punkcie c t sam warto i to samo nachylenie cofunkcja f . Z rozwaa tych wynika, e w metodzie Newtona konstruowana jest styczna dowykresu w punkcie bliskim zeru funkcji f i znajdowany jest punkt, w ktrym ta stycznaprzecin