Metody analizy decyzji

Wykład 7 – sekwencyjne problemy decyzyjne

2

• Specyfika sekwencyjnych problemów decyzyjnych

• Model sekwencyjnego problemu decyzyjnego

• Parametryzacja modelu

• Rozwiązywanie problemów sekwencyjnych (indukcja wsteczna)

Cele dzisiejszego wykładu

3

• Problemy decyzyjne są często częścią większych problemów

• Wybór dotyczy ciągu działań odseparowanego w czasie

• Akcje spotykają się z reakcjami środowiska– trudno podjąć wszystkie decyzje na zapas– zależności strukturalne (dostępność akcji zależy od reakcji) –

trudno postrzegać „jednocześnie”

• Akcje podejmowane po to, żeby zbadać stan świata (nawet bez 100% pewności)

Sekwencyjne sytuacje decyzyjne

4

Firma zdała sobie sprawę, że wypuściła na rynek wadliwy produkt. Nie jest pewna skali zjawiska – może być duża (40%) lub mała. Jeśli firma nie da po sobie znać, to wina za duży problem na 25% nie zostanie przypisana firmie (za mały na pewno nie). Firma może zignorować problem, upublicznić sprawę lub wszcząć wewnętrzne śledztwo. Wewnętrzne śledztwo na 80% faktycznie pozostanie w ukryciu i da pewną informację nt. skali problemu. Wtedy firma będzie mogła ponownie podjąć decyzję o upublicznieniu lub zignorowaniu przy zachowaniu ww. prawdopodobieństw. Jeśli śledztwo się wyda, pozostaje jedynie niepewność co do skali problemu i reakcji ludzi.Straty – konieczność rekompensat i wymiany sprzętu – wynikające z dużego problemu wynoszą 100 [wszystkie kwoty w mln $], z małego 30. Jeśli problem jest duży, to dodatkowa strata wyniesie: 100 – jeśli firma ignorowała problem, 50 – jeśli firma badała kwestię, ale w ukryciu.Koszt upublicznienia jest równy 1, zaś śledztwa 5.

Przykład

5

• Jakie warianty decyzyjne są dostępne, ile ich jest?• Jakie są możliwe konsekwencje dla poszczególnych

wariantów? Jakie są związane z nimi wypłaty i prawdopodobieństwa wystąpienia?

• Jaka jest optymalna decyzja? Jakie zachowania przewiduje?• Jak wpływa wzrost prawdopodobieństwa przecieku ze

śledztwa? • Ile jest warta możliwość przeprowadzenia śledztwa?• Ile maksymalnie warto zapłacić za informację o skali

problemu?

Przykład – pytania

6

• Brak uwidocznienia struktury• Trudność odgadnięcia niezbędnych parametrów• Trudność reewaluacji• Niewidoczne współzależności między parametrami

Model sekwencyjnego problemu decyzyjnego – złe podejście

Skala jest duża, ale sama z siebie nie wyjdzie; sekretne badania

wyjdą na jaw… …

Zignoruj problem … … …

… … … …Prowadź badania, jeśli uda się utrzymać

sekret i okaże się, że …, to … … … …

7

• Elementy modelu:– struktura (dostępne działania, następstwo czasowe)– parametry (prawdopodobieństwa, koszty, wypłaty)

• Struktura: drzewo decyzyjne – graf (nieskierowany, spójny, acykliczny)– korzeń reprezentuje początek sytuacji decyzyjnej– wierzchołki reprezentują moment oczekiwania lub zakończenie

problemu– wierzchołki: decyzyjne, losowe, końcowe– krawędzie między wierzchołkami reprezentują działania/reakcje– odległość wierzchołków od korzenia reprezentuje następstwo czasowe

Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne

8

9

• Elementy modelu:– struktura (dostępne działania, następstwo czasowe)– parametry (prawdopodobieństwa, koszty, wypłaty)

• Struktura: …

• Parametry:– miary prawdopodobieństwa dla wierzchołków losowych– …

Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne, c.d.

10

11

• Elementy modelu:– struktura (dostępne działania, następstwo czasowe)– parametry (prawdopodobieństwa, koszty, wypłaty)

• Struktura: …

• Parametry:– miary prawdopodobieństwa dla wierzchołków losowych– wypłaty dla wierzchołków końcowych– koszty dla działań i reakcji (krawędzi wychodzących z odpowiednich

węzłów)

Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne, c.d.

12

13

• Stałość parametrów• Czas tylko porządkowo (tylko następstwo

czasowe)• Jeden decydent• Jedno kryterium• Liniowa f. użyteczności (ew. wypłaty w węzłach

końcowych jako użyteczność)

Przyjęte uproszczenia modelu

14

• Wariant decyzyjny jednoznacznie określa zachowanie decydenta poprzez podanie reguł: „jeśli wystąpi stan świata X, podejmij działanie Y”

• Wariant decyzyjny to maksymalny spójny podgraf, w którym każdy wierzchołek decyzyjny ma dokładnie jeden następnik

• Ile jest wariantów decyzyjnych w naszym problemie?

Model sekwencyjnych problemów decyzyjnych – warianty decyzyjne

15

16

Przykładowe warianty decyzyjne

17

• Każdemu wariantowi odpowiada co najmniej jedna konsekwencja, tj. ścieżka działań i reakcji, która może zajść w wyniku wybrania tego wariantu

• Konsekwencje reprezentowane są przez maksymalne spójne podgrafy, w których każdy węzeł (poza końcowymi) ma jeden następnik

• Każdy wariant ma tyle konsekwencji, ile węzłów końcowych

• Konsekwencjom odpowiadają wypłaty dla decydenta oraz prawdopodobieństwo (przy założeniu wybrania wariantu, dla którego dana konsekwencja możliwa)

Konsekwencje

18

Przykładowe konsekwencje

19

• Każdemu wariantowi odpowiada co najmniej jedna konsekwencja, tj. ścieżka działań i reakcji, która może zajść w wyniku wybrania tego wariantu

• Konsekwencje reprezentowane są przez maksymalne spójne podgrafy, w których każdy węzeł (poza końcowymi) ma jeden następnik

• Każdy wariant ma tyle konsekwencji, ile węzłów końcowych

• Konsekwencjom odpowiadają wypłaty dla decydenta oraz prawdopodobieństwo (przy założeniu wybrania wariantu, dla którego dana konsekwencja możliwa)

• Ta sama konsekwencja może wynikać z kilku różnych wariantów (różniących się po reakcjach, które nie zaszły) – wtedy ma takie same wypłaty i prawdopodobieństwa dla każdego wariantu

Konsekwencje, c.d.

20

• Każdej konsekwencji odpowiada:– koszt – suma kosztów na ścieżce konsekwencji– wypłata – z węzła końcowego– prawdopodobieństwo – iloczyn prawdopodobieństw

• Każdemu wariantowi przypisać można rozkład prawdopodobieństwa zysku (wypłat pomniejszonych o koszty)

• Przy porównywaniu można stosować metody poznane na poprzednim wykładzie,…

• …w dalszej części będziemy wykorzystywać wartość oczekiwaną zysku (liniowa funkcja użyteczności)

Ocena wariantu i wybór

21

• W dużych problemach łatwiej wybrać metodą indukcji wstecznej:– przesuwamy się od węzłów końcowych do wierzchołka– dla węzłów końcowych mamy zdefiniowaną wypłatę– z każdym węzłem losowym utożsamiamy wypłatę jako wartość

oczekiwaną wypłaty dla jego następników– z każdym węzłem decyzyjnym utożsamiamy wypłatę jako najwyższą

wypłatę dla któregoś następnika pomniejszoną o koszt działania

• Uwaga:– dla każdego węzła decyzyjnego dokonaliśmy wyboru – te wybory definiują

wariant decyzyjny, który jest rozwiązaniem!– wartość obliczona w korzeniu drzewa definiuje oczekiwaną wypłatę przy

wybraniu rozwiązania – to jest także wartość całego problemu

Wybór metodą indukcji wstecznej

22

23

• Optymalny wariant przewiduje prowadzenie badań i upublicznienie wyników (o ile samoistnie nie nastąpił przeciek), jeśli okaże się, że skala problemu jest duża

• Oczekiwana strata w tej sytuacji decyzyjnej dla optymalnego wariantu wynosi 58,6 mln $

• Druga najlepsza opcja to natychmiastowe upublicznienie wyników – oczekiwana strata jest wówczas równa 59 mln $

Podsumowanie rozwiązania

24

Rockefeller ma pole w umiarkowanie roponośnej okolicy. Zgłosił się do niego oferent, proponując mu za to pole od ręki 750 tys. $, jeśli do transakcji dojdzie natychmiast.

Rockefeller może jednak próbować zarobić większe pieniądze. Wiadomo, że połowa pól w tej okolicy rzeczywiście obfituje w ropę. Można (za 250 tys. $) zbudować instalację pozwalającą na wydobycie. Jeśli pod polem znajdują się złoża, przychód wyniesie 2,5 mln. $. Jeśli nie, przychód wyniesie 0$. Co więcej, wykonanie odwiertu uniemożliwia sprzedaż pola (wszyscy wiedzą, że oznaczać to może wyłącznie to, że pole jest bezwartościowe)

Alternatywnie można zdecydować się na próbne odwierty połączone z badaniami geologicznymi, które kosztują 100 tys. $. Wyniki takich badań są mylne w 10%, jeśli pole jest roponośne (sensitivity = 90%), i w 30%, jeśli ropy nie ma (specificity = 70%).

Po wykonaniu badania można podjąć decyzję o budowaniu instalacji na powyższych warunkach lub sprzedaży pola. Co więcej, uzyskanie pozytywnego sygnału daje możliwość sprzedaży za wyższą kwotę, bo za 1 mln. $ (dostaje się odpowiedni certyfikat). Uzyskanie negatywnego wyniku można ukryć i sprzedać pole za 500 tys. $.

Przykład 2 – czarne złoto

25

Ustal strukturę drzewa

26

Wpisz wypłaty i koszty

27

Podaj prawdopodobieństwa

Prawdopodobieństwo warunkowe Bayes

• Prawdopodobieństwo zdarzenia pod warunkiem innego zdarzenia

• Prawdopodobieństwo całkowite zdarzenia w zależności od zajścia którejś z rozłącznych możliwości

• Prawdopodobieństwo zajścia hipotezy pod warunkiem zajścia skutku

)(

)()|(

HP

HAPHAP

)()|()()|()(

)()()(

)()(

;;,,

11

1

1

11

nn

n

n

njin

HPHAPHPHAPAP

HAPHAPAP

HAHAA

HHHHjiHH

)()|()()|(

)()|(

)(

)()|(

11

1111

nn HPHAPHPHAP

HPHAP

AP

AHPAHP

Paradox Monty Hall’a

• http://www.math.ucsd.edu/~crypto/Monty/montybg.html

Przykład z testowaniem wirusa HIV• Prawdopodobieństwo, że dana

osoba jest zakażona wirusem HIV w danej populacji jest 0,1%

• Test się myli w 1% przypadków, jeśli osoba jest zakażona (sensitivity = 99%)

• Test się myli w 5% przypadków, jeśli osoba jest niezakażona (specificity = 95%)

• Jakie jest prawdopodobieństwo, że dana osoba jest zakażona pod warunkiem, że test wskazał „positive”?

• Jakie jest prawdopodobieństwo, że dana osoba nie jest zakażona pod warunkiem, że test wskazał „negative”?

0,099%

0,001%

4,995%

94,905%

0,099%

0,001%

4,995%

94,905%

Probability tree flipping

Czarne złoto – prawdopodobieńśtwa

• Oznaczenia:– hipotezy:

• H1 – jest ropa• H2 – nie ma ropy

– zdarzenie A – pozytywny wynik testu

• Dane:– P(H1)= 50%– P(H2)= 50%– P(A|H1)= 90%– P(A|H2)= 30%– P(~A|H1)= 10%– P(~A|H2)= 70%

• Potrzebujemy:– P(A)=…– P(H1|A)=…– P(H1|~A)=…

• Obliczenia:P(A) = P(A|H1)P(H1)+P(A|H2)P(H2)==90%*50%+30%*50%=60%

P(H1|A)=P(A|H1)P(H1)/P(A)=90%*50%/60% = 75%

P(H1|~A)=P(~A|H1)P(H1)/P(~A)=10%*50%/40% = 12,5%

34

Prawdopodobieństwa warunkowe intuicyjnie

Pr(test + | wiersz) Pr(test - | wiersz) Pr. wiersza

jest ropa 90% 10% 50%

nie ma 30% 70% 50%

SUMA n.a. n.a. 100%

test + test - SUMA

jest ropa 45% 5% 50%

nie ma 15% 35% 50%

SUMA 60% 40% 100%

test + test - SUMA

Pr(jest ropa | kolumna) 75% 12,5% n.a.

Pr(nie ma | kolumna) 25% 87,5% n.a.

Pr. kolumny 60% 40% 100%

35

Podaj prawdopodobieństwa

36

Rozwiąż metodą indukcji wstecznej

37

• Optymalny wariant przewiduje prowadzenie badań i sprzedaż pola dla negatywnego wyniku oraz budowanie instalacji dla pozytywnego

• Oczekiwany zysk dla optymalnego wariantu wynosi 1,075 mln $

• Druga najlepsza opcja to natychmiastowe budowanie instalacji – oczekiwany zysk jest wówczas równy 1 mln $

Podsumowanie rozwiązania

38

• Darmowe (do celów niekomercyjnych):– InsightTree:

http://www.visionarytools.com/License.htm

• Płatne, wiele funkcji, dostępna wersja testowa:– TreeAge: http://www.treeage.com/

Narzędzia

39

40

• Drzewo decyzyjne jako model sekwencyjnego problemu decyzyjnego (to nie to samo co drzewo klasyfikacyjne z data miningu!)

• Drzewo decyzyjne ułatwia strukturyzację modelu, ale wciąż występują pułapki (jak zawsze) – trzeba zachować perspektywę decydenta

• Parametryzacja często wymaga metod bayesowskich

• Do rozwiązywania można podejść globalnie (wypisanie wariantów) albo rekurencyjnie (indukcja wsteczna) – w ramach modelu i ograniczeń stosowanych dzisiaj podejścia te są równoważne

Podsumowanie