Inteligencja ObliczeniowaReguły logiczne i ich stosowanie.

Wykład 22

Włodzisław Duch

Uniwersytet Mikołaja Kopernika

Co byłoCo było

• Neuro-fuzzy

• Feature Space Mapping - motywacje

• Funkcje transferu

Co będzieCo będzie

• Stosowanie reguł: niepewność pomiaru.

• Dokładność - prostota reguł.

• Odrzucanie i stopień zaufania do reguł.

• Od danych do systemu ekspertowego.

Stosowanie regułStosowanie regułDane: obarczone nieznanym błędem; zakładamy Gaussowski rozkład:

( ; , )x xx G G y x s

x - liczba rozmyta, z Gaussowską funkcją przynależności.

Zestaw reguł logicznych R zastosowany do liczb rozmytych: jeśli wykonać symulacje Monte Carlo da p(Ci|X).

Analityczna ocena p(C|X) oparta jest na f. kumulującej:

1; , 1 erf ( )

2 2

a

x

x

a xa x G y x s dy a x

s

2.4 / 2 xs dokładność przybliżenia f. błędu logistyczną < 0.02

Rozmywanie regułRozmywanie regułReguła Ra(x) = {xa} spełniona jest przez Gx z prawd.

( ) T ; , ( )a x x

a

p R G G y x s dy x a

F. błędu jest przybliżoną f. logistyczną; odpowiada to założeniu rozkładu błędu typu (x)(1- (x)), dla s2=1.7 przybliża f. Gaussa z dokładnością <3.5%

( ) T ; , ( ) ( )b

ab x x

a

p R G G y x s dy x a x b

Różnica dwóch sigmoid, f. przynależności typu miękkiego trapezoidu.

Wniosek: logika rozmyta z f. przynależności (x) (x-b) jest równoważna klasycznej przy założeniu Gaussowskich niepewności rozkładu.

Optymalizacja regułOptymalizacja reguł

Fuzzy: duże pola recepcyjne, ocena „z grubsza”.

Gx - niepewność pomiaru, małe pola recepcyjne.

Minimalizacja liczby błędów dla klasyfikatora regułowego: trudna, metody niegradientowe, wolno zbieżne.

Minimalizacja z uwzględnieniem niepewności:

21{ }; , | ; ( ),

2x i iX i

E X R s p C X M C X C

Optymalizacja gradientowa, działa nawet dla >1000 parametrów (opisujących kształt i położenie przedziałów dla przesłanek). Najprościej: wspólny parametr sx dla grupy cech. Możliwe inne funkcje błędu.

ZaletyZalety

1) Zbiór ciągłych prawd. zamiast 0,1 ocen;

2) Niesklasyfikowane wektory mają niezerowe prawd.

3) Dyspersje sx mogą być parametrami adaptacyjnymi.

1

2C CR R S R R

P x C P x R P x R S

Obliczanie prawdopodobieństw dla wielu przesłanek.

Dla koniunkcji przesłanek R=r1(x1) r2 (x2) .. rk (xk) jeśli ri są niezależne (ortogonalne) wystarczy iloczyn p(ri).Jeśli reguły się nakrywają nie można dodawać p bo policzymy wielokrotnie to samo. Odtworzenie symulacji Monte Carlo wymaga: (RC - reguły dla klasy C)

1( ) T ; , erf erf

2 2 2

b

ab x x

a x x

b x a xp R G G y x s dy

s s

OdrzucanieOdrzucanieProstota reguł vs. dokładność.

Zaufanie do reguł vs. wektory odrzucone.

; , | , |i j i ji j

E M F C C M TrF C C M N

Zdefiniujmy macierz rozrzutu F(Ci,Cj|M) = Nij/N

częstość przypisania klasy Cj do klasy Ci przez reguły M. Dla 2 klas:

, |i j

F FF C C M

F F

Wrażliwość reguł: Se=F++/(F+++F+)[0,1]

Specyficzność: Sp=F/(F+F) [0,1]

Se=1 klasa nigdy nie jest przypisywana do +

Sp=1 klasa + nigdy nie jest przypisywana do

Minimalizacja l. pomyłek: możliwe wektory odrzucone, węższe przedziały. Max. liczby poprawnych wektorów.

ZastosowaniaZastosowania

Szczegółowy przykład dla danych Iris.

Przykłady rzeczywistych zastosowań:

Grzyby: dane czysto symboliczne.

3 Mnichów: sztuczne dane symboliczne.

Dane Medyczne: Rak piersi - nawroty (Ljubliana)Rak piersi - złośliwość (Wisconsin)Badania przesiewowe tarczycy.

Badania psychometryczne

Dane techniczne:

NASA Shuttle

GrzybyGrzybyDane z książki, w której wyraźnie napisano: „nie ma łatwego sposobu odróżnienia jadalnych od niejadalnych i trujących.

8124 przypadki, 22 cechy symboliczne, razem 118 wartości logicznych, czyli 2118=3.1035 możliwych wektorów binarnych.

2480 brakujących wartości cechy „stalk-root” 51.8% jadalnych, 48.2% niejadalnych.

Grzyb jest jadalny jeśli:

odor = (almond anise none) spore-print-color = green 48 błędów, 99.41% dokładności

Węch - najważniejszy zmysł; Jakie receptory pozwalają odróżnić zapach anyżu i migdałów? Reguła z MLP2LN. Prosta sieć, automatyczna analiza funkcji logicznych i sprawdzania ich poprawności (program w Prologu).

Grzyby - regułyGrzyby - reguły

Reguły dla grzybów trujących

R1) odor = (almond anise none); 120 błędów, 98.52%

R2) spore-print-color = green 48 błędów, 99.41%

R3) odor = none stalk-surface-below-ring = scaly       stalk-color-above-ring = brown 8 błędów, 99.90%R4) habitat = leaves cap-color = white 0 błędów!

R1 + R2 stabilne, wychodzą nawet na 10% danych;

R3 i R4 można zamienić na:

R'3): gill-size = narrow stalk-surface-above-ring = (silky scaly)

R'4): gill-size = narrow population = clustered

Wystarczy 5 cech! 100% dokładności w testach CV.Dane całkowicie zrozumiałe.

Rak piersi - nawroty (Ljubliana)Rak piersi - nawroty (Ljubliana)Po wycięciu guza zdarzają się nawroty: czy można je przewidzieć?

286 przypadków, 201 bez nawrotów (70.3%), 85 z nawrotami (29.7%) 9 cech symbolicznych, 2 do 13 wartości: wiek (9 przedziałów), wielkość guza (12 przedziałów), liczba guzów (13 przedziałów), złośliwość (1,2,3), kwadrant lub centrum; napromieniowanie itd.

Reguła: Jeśli (l. guzów > [0,2] złośliwość = 3 To nawrót ELSE brak nawrotu ma dokładność 77% na całym zbiorze; najlepsze systemy nie dają więcej niż 78% przy bardziej złożonym opisie.

Cała wiedza zawarta w tej bazie to: Złośliwe raki z przerzutami dają nawroty. Problem: jak znaleźć jedną, stabilną regułę w kroswalidacji?

Budowa systemów regułowychBudowa systemów regułowych

Analiza psychometrycznych kwestionariuszy: jak zbudować system wspomagający diagnozy w oparciu o interpretację danych tekstowych?

System analizy danych i indukcji reguł pozwalający na wspomaganie decyzji - IDSS (Intelligent Decision Support System)

PsychometriaPsychometriaTest: kwestionariusz, odpowiedzi na pytania.MMPI (Minnesota Multiphasic Personality Inventory) - typowy test.Skanowanie formularzy.

1. Odpowiedzi na 550 pytań - czyste dane.2. Rezultaty kombinuje się liniowo z współczynnikami

ustalonymi przez psychometrów, tworząc 14 „skal”.3. Każda skala mierzy tendencje do oszukiwania, unikania

odpowiedzi, hipochondrii, depresji, paranoi, schizofrenii itp. 4. Interpretacji podlega „psychogram”, czyli histogram skal.

Interpretacja zależy od intuicji i doświadczenia psychometry.

Czy można zrobić sztucznego psychometrę?Dokładność interpretacji: < 70% zgodności pomiędzy dwoma

ekspertami?

Dane do analizy.Dane do analizy.Około 1600 przypadków dla kobiet i tyle samo dla mężczyzn.27 klas: norma, psychopatia, zespół urojeniowy, schizofrenia, paranoja, nerwica, stan maniakalny, symulacja, dyssymulacja, alkoholizm, narkomania, skłonności przestępcze, zmiany organiczne w mózgu ...

Etap tworzenia reguł: przesłanki to wartości ciągłe, 14 skal.FSM, MLP2LN, drzewo decyzji - około 2-3 reguł/klasę.

System Dane L. reguł Dokładność % Po rozmyciu %

C 4.5 ♀ 55 93.0 93.7

♂ 61 92.5 93.1

FSM ♀ 69 95.4 97.6

♂ 98 95.9 96.9

10-CV daje 82-85% z FSM i 79-84% z C4.5. Rozmycie poprawia wyniki dla FSM do 90-92%

WynikiWyniki

Prawdopodobieństwa przynależności do klas.

Analiza dopasowania reguł i szczegółowa analiza przyczyn.

Werbalne interpretacje przypadków.Prezentacja danego przypadku w relacji do pozostałych.

Koniec wykładu 22

Dobranoc !