Elementy Modelowania Matematycznego

Wykład 7

Modele Markova

Spis treści

WstępŁańcuch i procesy MarkovaPrzykłady procesów Markova

Wstęp

Andrey Andreyevich Markov (14 czerwca 1856 20 czerwca 1922) wybitny rosyjski matematyk.

Znany jest przede wszystkim ze swych prac na temat procesów stochastycznych, zwanych później łańcuchami Markova.

On i jego młodszy brat Vladimir Andreevich Markov (1871-

1897) udowodnili tzw. Nierówność Markova.

Wstęp

Procesy Markowa w reprezentacji dyskretnej lub ciągłej, jako wyodrębniona grupa procesów przypadkowych (losowych), są dziś najlepiej zbadaną dziedziną procesów losowych i znalazły zastosowanie w modelowaniu wielu zjawisk z życia codziennego

Wstęp

Prognozowanie cen akcji giełdowych Niemal wszystkie akcje zmieniają swoje ceny codziennie, a

duża ich część w sposób niemal ciągły. Wykresy cen przedstawiają, w zależności od nastawienia

obserwatora, efekt równoważenia się popytu i podaży, dyskontowanie przyszłych zdarzeń, reakcje na wydarzenia historyczne, efekt manipulacji akcjami, wpływ kosmosu bądź też całkowicie przypadkowe ruchy Browna.

Wstęp

Te bądź jeszcze inne przyczyny zmian cen usiłuje się wykorzystać w analizie historycznych przebiegów i próbie prognozowania przyszłego zachowania cen.

Zachowanie poszczególnych akcji zapisane w postaci kolejnych cen i przekształcone do postaci graficznej to dla każdego inwestora wykres ceny.

Bardzo podobne przebiegi i szeregi liczb są znane i używane w wielu dziedzinach nauki

Wstęp

Jako że szeregi te opisują za pomocą kolejnych liczb zachowanie pewnego zjawiska w czasie, bardzo często określa się je mianem szeregów czasowych.

Kolejne zdarzenia występujące w szeregach czasowych tworzą pewien proces.

Tak więc to, co dla inwestora jest wykresem cen, dla specjalisty zajmującego się na przykład teorią informacji, jest graniczną interpretacją szeregu czasowego opisującego proces zmian cen.

Wstęp

Proces stochastyczny jest to takie zjawisko (reprezentowane liczbowo przez szereg czasowy), w którym przyszła wartość opisująca stan zjawiska nie jest pewna (przyszłe liczby opisujące je mogą przyjmować różne wartości, przy czym żadna z nich nie pojawi się z prawdopodobieństwem równym 1).

Wstęp

Klasycznymi przypadkami procesów stochastycznych są przyszłe wartości zmiennych opisujących pogodę temperatura, ciśnienia , kierunek bądź siła wiatru).

Dobrym przykładem może być wypełnianie się niżu.

Wstęp

Można nawet w pewien sposób oszacować drogę, którą się przesunie i czas potrzebny na podniesienie się ciśnienia wewnątrz niżu do wartości średniej.

Nie da się tego jednak zrobić w sposób dokładny. Czyli mimo pewnych ściśle określonych ram zachowania,

dokładne zachowanie nie jest znane. Podobnie jest ze zmianami cen na giełdzie. Jakkolwiek każdy silny spadek kiedyś musi się skończyć,

nigdy nie mamy pewności kiedy to nastąpi.

Łańcuch Markowa

Ciąg Markowa to taki proces stochastyczny, w którym określone są związki probabilistyczne przyszłych zdarzeń w zależności od wcześniej występujących.

Ciąg Markowa

ciąg Markova pierwszego rzędu - jutrzejsze zachowanie zależy (w sensie statystycznym) tylko i wyłącznie od dzisiejszej zmiany

ciąg Markova drugiego rzędu - prawdopodobieństwo jutrzejszego zachowania zależy od dzisiejszej i wczorajszej zmiany

ciąg Markova zerowego rzędu - jutrzejsze zachowanie jest całkowicie niezależne od wcześniejszych notowań (bez względu jakie było zachowanie historyczne przyszłe zmiany będą określone takimi samymi związkami prawdopodobieństw);

właśnie takie założenie jest wykorzystywane w analizie portfelowej czyli fakt, że przyszłość nie zależy od przeszłości może być w jakiś sposób wykorzystany w procesie inwestycyjnym.

Proces Markowa

Proces Markowa bazuje wyłącznie na rozkładzie prawdopodobieństw warunkowych.

Może się więc zdarzyć, że mamy do czynienia z deterministycznym procesem chaotycznym, w którym jutrzejsze zachowanie określone jest ścisłym wzorem, a mimo to proces będzie sprawiał wrażenie, że jest zerowego rzędu (to znaczy zupełnie nie zależy od przeszłości).

Proces Markowa

Wynika to z faktu, że bardzo podobne, niemal identyczne zachowanie historyczne może skutkować zupełnie różnym zachowaniem w przyszłości.

Tak więc mimo tego, że proces chaotyczny oznacza się istnieniem tak zwanej długoterminowej pamięci zachowania wykrycie tej zależności może być trudne bądź niemożliwe.

Proces Markowa

Najważniejszym problemem w prognozowania cen jest brak stacjonarności procesu.

Niestacjonarność to zjawisko, które jest źródłem większości niepowodzeń inwestorów giełdowych, próbujących wyznaczyć przyszłe ceny akcji na giełdzie.

Proces Markowa

Proces stacjonarny to taki proces, w którym związki probabilistyczne są stałe i nie zależą od zmiennej niezależnej, czyli prawdopodobieństwo wystąpienia pewnej sytuacji nie zmienia się w miarę upływu czasu.

Proces Markowa

Gdyby przyjąć, że zachowanie cen akcji jest procesem niestacjonarnym o nieznanej zmianie sposobu zachowania oznaczałoby to, że do prognozowania przyszłych cen potrzebna byłaby wiedza o przyszłym charakterze tego procesu, natomiast zupełnie nieprzydatna byłaby wiedza o wcześniejszym zachowaniu.

Proces Markowa

W skrócie oznacza to, że wyłącznie osoby manipulujące rynkiem (przy założeniu, że jest to możliwe na większą skalę) mogłyby posiadać wiedzę jak zarobić na inwestycjach giełdowych.

Proces Markowa

Należy rozróżnić niestacjonarność procesu od efektywności rynku.

Rynek efektywny, jest skutkiem tego, że zmiany cen są procesem Markowa zerowego rzędu.

Dodatkowo, charakteryzuje go tak zwana słaba stacjonarność, która cechuje się stałością średniej i wariancji.

Czyli ostatecznie na rynku efektywnym ceny nie zależą od wcześniejszych.

Natomiast w przypadku braku stacjonarności ceny zależą od poprzednich, lecz nie ma pewności, że wiemy w jaki sposób.

Proces Markowa

W praktyce sprawa nie jest taka beznadziejna. Zmiany cen nie są procesem stacjonarnym, jednak zmienność zależności

jest bardzo powolna. To znaczy system, który był dobry wczoraj będzie dobry jeszcze dzisiaj,

a jutro będzie tylko trochę gorszy. Kiedyś oczywiście może utracić swoje właściwości. Ponadto można

podejrzewać, że zmiany cen składają się z kilku (zapewne trzech) procesów o różnych charakterach.

Bardzo prawdopodobne, że przynajmniej jeden z nich jest stacjonarny, czyli jego parametry ustalone w przeszłości będą w przyszłości takie same.

Proces Markowa

Niech układ Ω może przyjmować stany 1, 2… - zbiór skończony lub przeliczalny i niech w pewnej jednostce czasu może przejść z jednego stanu do innego z pewnym prawdopodobieństwem, to

prawdopodobieństwo warunkowe, że układ znajdujący się w chwili n-1 w stanie i przejdzie do stanu j w chwili n.

Proces Markowa

Łańcuch jednorodny

Jeśli prawdopodobieństwo nie zależy od czasu, tzn.:

to łańcuch Markova jest jednorodny, a macierz złożona z elementów

to macierz przejścia. Mamy

Łańcuch jednorodny

Łańcuch Pochłaniający

Łańcuch Markova nazywamy pochłaniającym, jeśli istnieje taki stan i , z którego nie można wyjść, czyli:

Stan taki nazywamy stanem pochłaniającym (ang. absorbing state). Stan nie będący stanem pochłaniającym nazywamy stanem

przejściowym (ang. transient state).

Postać kanoniczna łańcucha pochłaniającego

Łańcuch Markowa

Łańcuch Markowa nazywamy ergodycznym, jeśli z dowolnego stanu można przejść do dowolnego innego (niekoniecznie w jednym kroku).

Procesy ergodyczne

Centralnym zagadnieniem teorii procesów stochastycznych jest znalezienie rozkładu prawdopodobieństwa zmiennej losowej y(t) w pewnej chwili t na podstawie znajomości realizacji y(s) tej zmiennej losowej w pewnych innych chwilach s (na ogół chwila t odnosi się do przyszłości).

Procesy ergodyczne

Jedną z podstawowych własności, dzięki którym można ocenić rozkład prawdopodobieństwa zmiennej losowej y(t) na podstawie obserwacji aktualnych przebiegów danego procesu stochastycznego, jest tzw. własność ergodyczności

Procesy ergodyczne

Można powiedzieć, że proces stochastyczny jest ergodyczny, jeżeli prawdopodobieństwo zaobserwowania wartości y(t) należącej do jakiegoś zbioru A da się oszacować przez średni czas pobytu każdej realizacji w tym zbiorze podczas długiego czasu obserwacji

Procesy ergodyczne

Tak więc w procesach stochastycznych ergodycznych można oszacować ich rozkład prawdopodobieństwa na podstawie obserwacji jednego przebiegu w dostatecznie długim czasie, czyli otrzymane wyniki są średnią po czasie.

Procesy ergodyczne

Hipoteza ergodyczna Ewolucja klasycznego złożonego układu

dynamicznego zachodzi z jednakowym prawdopodobieństwem przez wszystkie stany, które są dostępne z punktu początkowego i które podlegają ograniczeniom narzuconym przez zasadę zachowania energii.

Procesy Markowa

Przykładem procesu niemarkovskiego może być np. proces zmian poziomu wody w rzece w pewnym ustalonym jej miejscu, gdzie informacja o tym, że w pewnej chwili t poziom wody wynosił y i bezpośrednio przedtem obserwowano np. tendencję obniżania się poziomu wody, pozwala na lepsze przewidywania niż sama informacja o tym, że w chwili t poziom wody wynosił y.

Procesy Markowa

Przykłady procesów Markowa Proces emisji cząstek wypromieniowanych przez

substancję radioaktywną. Ruch cząstki zawieszonej w cieczy tzw. ruch Browna. Proces zajmowania i zwalniania łączy w centrali

telefonicznej. Dynamika kolejki w serwerach WWW.

Procesy Markowa

Procesy Markowa

Pytanie: jakie jest prawdopodobieństwo, że po wykonaniu N kroków znajdziemy pijaka w położeniu x = ml?

Niech po n krokach pijak będzie w położeniu x = ml , m <= N.

Niech nr - liczba kroków w prawo; nl - liczba kroków w lewo.

Mamy więc

Procesy Markowa

Procesy Markowa

Procesy Markowa

Mysz w labiryncie

Procesy Markowa

Mysz w labiryncie Mamy kilka możliwości:

Kot zawsze siedzi w swojej komórce i czeka na ofiarę Kot może wchodzić tylko do pomieszczeń 1,2,3 i 5, gdyż wszystkie

inne otwory są dla niego za małe; do każdego sąsiedniego dopuszczalnego pomieszczenia wchodzi z jednakowym prawdopodobieństwem

To samo co powyżej, ale prawdopodobieństwo, że zostanie w swej komórce wynosi 1/2 , a wchodzi do sąsiednich pomieszczeń z prawdopodobieństwem 1/4

Procesy Markowa

Procesy gałązkowe (Galtona-Watsona) Procesy gałązkowe modelują rozwój populacji (jednopłciowej,

rozmnażającej się przez podział, np. bakterii, ameb, monet czy innych mikroorganizmów).

Zmienne losowe y(n) (przyjmujące nieujemne wartości) określają liczbę osobników w n-tym pokoleniu.

Przyjmujemy zawsze, że jest jeden protoplasta rodu, czyli y(0) = 1. Zmienne losowe opisujące, ile dzieci ma każdy osobnik, są niezależne o

jednakowym rozkładzie. Główne pytanie, jakie się pojawia, to: jakie są szanse, że dana populacja

przeżyje?

Procesy Markowa

Procesy Markowa

Błądzenie losowe

Błądzenie losowe

Ruch Browna

Proces stochastyczny B(t) nazywamy standardowym ruchem Browna (Brownian motion).

Jest to jeden z ważniejszych modeli teoretycznych w rachunku prawdopodobieństwa.

Nazwa pochodzi od dobrze znanego w fizyce procesu opisującego położenie cząstki w klasycznym ruchu Browna.

Ruch Browna

Możemy go przedstawić w następującej postaci całkowej:

Ruch Browna

Ruch Browna

Ruch Browna był po raz pierwszy wykorzystany do modelowania procesów finansowych przez Louisa Bacheliera, który w swojej pionierskiej pracy doktorskiej Thèorie de la spéculation, obronionej 29 marca 1900 r. w Paryżu, zaproponował pierwszy teoretyczny model procesu ceny akcji z paryskiej giełdy.

KoniecKoniec