Porównanie skuteczności metod klasycznych oraz

nieklasycznych w szacowaniu zdolności kredytowej i kondycji

finansowej przedsiebiorstw

Dariusz Kieszkowski, Marcin Wudarczyk

Plan prezentacji

● Wstęp● Dane wejściowe

– Pozyskane dane– Zestawy wskaźników

● Badania– Porównanie analizy dyskryminacyjnej i sieci

neuronowych– Porównanie różnych typów sieci

● Wnioski– Wyniki badań– Próba oceny wyników pod względem kosztów

błędów predykcji dla instytucji bankowych● Zakończenie

Wstęp

● Predykcja bankructw w kontekście:– zdolności kredytowej– kondycji finansowej

● Cele badań– Porównanie metod klasycznych (analiza

dyskryminacyjna, genetyczny dobór współczynników liniowej kombinacji) z sieciami neuronowymi

– Porównanie osiąganych wyników przez różne sieci neuronowe

Dane wejściowe

● Spółki akcyjne Warszawskiej GPW– 23 bankrutów oraz 45 niebankrutów

● Dane pochodzące z Komitetu Badań Naukowych– 23 bankrutów oraz 23 niebankrutów

● Dane amerykańskiek Komisji Papierów Wartościowych (SEC)– 58 bankrutów oraz 59 niebankrutów

Dane wejściowe Wskaźniki

● Wskaźniki Altmana – 1968– X1 -(bieżące aktywa - bieżące zobowiązania)/suma aktywów– X2 - zysk zatrzymany/suma aktywów– X3 - Zysk przed opodatkowaniem i spłatą odsetek / suma aktywów– X4 - wartość rynkowa kapitału własnego/wartość księgowa zobowiązań– X5 - przychody ze sprzedaży / suma aktywów

● Wskaźniki ogólnie stosowane (14)– płynność– rentowność (zyskowność)– zadłużenie– aktywność (obrotowość)– efektywność rynkowa

● Podstawowe pozycje raportów finansowych

Dane wejścioweWskaźniki

• Porównanie kilku systemów wczesnego ostrzegania– Altman (68r i 77r)– Springate– Baetge– Gajdki, Stoda– Hołda

  Kraj l. wsk. I rdz II rdz razem

Altman USA 5 3% 6% 9%

Springate Kanada 4     12-17%

Baetge Niemcy 3     bd

Gajdka, Stod Polska 5     bd

Hołda Polska 5     7,50%

BadaniaAnaliza dyskryminacyjna KBN

  LDA+ I rdz II rdz LDA I rdz II rdz

Altman 14,13 11,30 2,82 15,22 15,22 0,00

Springate 39,78 23,26 16,52 33,92 18,92 15,00

Baetge 5,22 2,82 2,39 32,17 32,17 0,00

Gajdka 26,96 13,26 13,70 26,74 12,39 14,35

Hołda 15,22 9,35 5,87 10,87 4,35 6,52

BadaniaAnaliza dyskryminacyjna SEC

  LDA+ I rdz II rdz LDA I rdz II rdz

Altman 45,00 23,79 21,21 44,92 24,23 20,691

Springate 40,43 24,57 15,86 42,42 22,24 20,174

Baetge 50,09 13,36 36,73 52,59 46,81 5,776

Gajdka 42,84 17,414 25,43 46,29 23,88 22,414

Hołda 41,47 26,21 15,26 43,29 12,76 30,526

BadaniaGenetyczny dobór współczynników

● Osiągnięto błąd 0,00% na danych KBN (wskaźniki Altmana)

● Optymalizacja – błąd MSE czy CFE?● Brak możliwości weryfikacji wyniku

BadaniaSieci neuronowe KBN

  MLP Kohonen

  razem I rdz II rdz razem I rdz II rdz

Altman 4,35 4,35 0,00 8,70 2,17 6,52

Springate 17,17 13,69 3,47 25,65 16,09 9,57

Baetge 3,04 3,04 0,00 2,39 0,00 2,39

Gajdka 13,91 13,26 0,65 12,83 4,35 8,48

Hołda 8,91 8,91 0,00 12,83 4,35 8,48

  Fuzzy LDA

  razem I rdz II rdz razem I rdz II rdz

Altman 8,70 4,35 4,35 14,13 11,30 2,82

Springate 12,39 10,44 2,17 33,92 18,92 15,00

Baetge 3,69 2,39 1,30 5,22 2,82 2,39

Gajdka 6,74 5,22 1,52 26,74 12,39 14,35

Hołda 7,38 2,61 4,77 10,87 4,35 6,52

BadaniaSieci neuronowe SEC

  MLP Kohonen

  razem I rdz II rdz razem I rdz II rdz

Altman 37,42 15,86 21,55 45,43 25,43 20,00

Springate 36,80 19,14 17,66 48,31 22,50 25,81

Baetge 34,40 9,22 25,17 38,19 3,62 34,57

Gajdka 34,65 15,43 19,22 51,89 22,32 29,57

Hołda 32,85 14,31 18,54 47,07 26,72 20,35

  Fuzzy LDA

  razem I rdz II rdz razem I rdz II rdz

Altman 41,64 21,55 20,09 44,92 24,23 20,691

Springate 55,78 32,76 23,02 40,43 24,57 15,86

Baetge 43,71 12,76 30,95 50,09 13,36 36,73

Gajdka 40,81 15,14 25,67 42,844 17,414 25,43

Hołda 34,01 17,34 16,67 41,47 26,21 15,26

Badaniaporównanie sieci neuronowych

● Metodyka– Badane sieci: MLP, SOM (Kohonen, gaz

neuronowy), RBF– Badany wpływ parametrów uczenia (rodzaj błędu,

wagi początkowe, ilość warstw, neuronów, współczynnik uczenia, momentum, warunki stopu

– Badanie wielokrotnych trenowań (cross validation, 100 powtórzeń)

– Kryterium ostateczne: błąd klasyfikacji

Badaniaporównanie sieci neuronowych

Sieć Dane na rok przed bankructwem

SOM RBF Źródło Wskaźniki Głębia

MLP KOH NGS KOH NGS

GEN

Polska giełda Wszystkie 2 25,38 Wszystkie 2 4,52 11,20 6,55 8,55 4,9

1 0,36 1,00 1,80 0,95 2,50 0,00 Altman 2 1,56 7,00 4,50 2,00 2,50 0,00 1 11,14 16,40 8,85 8,40 10,7 Wskaźniki z części

teoretycznej 2 6,30 14,65 11,10 9,25 8,60

KBN-2 (wskaźnki finansowe)

Dobór genetyczny 2 0,00 5,34 Wszystkie 1 6,61 10,30 9,70 12,55 8,60 0,00 KBN (zdolność

kredytowa) Dobór genetyczny 1 3,00 Wszystkie 2 3,78 27,35 26,70 23,20 19,60 KBN-3

(pozycje raportów) Dobór genetyczny 1 0,45 Altman 1 38,75 28,21

Wszystkie 1 28,87 33,33 34,92 36,22 30,96 17,09 Edgar-2 (wskaźniki)

Dobór genetyczny 1 23,02 Edgar-3 (pozycje

raportów) Wszystkie 1 29,11 27,76 38,77 22,22

Badaniaporównanie sieci neuronowych

Sieć Dane na dwa lata przed bankructwem SOM RBF

Źródło Wskaźniki Głębia MLP

KOH NGS KOH NGS Wszystkie 2 9,39 21,55 17,85 19,45 14,50

1 6,78 11,00 16,20 7,75 7,60 Altman 2 6,54 7,00 4,50 2,00 8,60 1 12,11 22,40 16,95 15,65 15,70 Wskaźniki z części

teoretycznej 2 11,78 23,55 22,05 18,10 17,45

KBN-2 (wskaźnki finansowe)

Dobór genetyczny 2 1,43 KBN (zdolność kredytowa) Wszystkie 1 9,66 19,30 13,55 18,00 16,50

Wszystkie 2 15,37 21,75 15,00 24,20 18,75 KBN-3 (pozycje raportów) Dobór genetyczny 2 5,53 Sieć Dane na trzy lata przed bankructwem

SOM RBF Źródło Wskaźniki Głębia

MLP KOH NGS KOH NGS

Wszystkie 2 15,90 31,45 24,05 27,20 19,50 1 13,54 25,00 18,00 23,90 20,30 Altman 2 13,46 20,65 21,20 19,35 18,90 1 18,45 28,75 26,85 29,70 21,85 Wskaźniki z części

teoretycznej 2 20,09 28,00 25,35 27,80 24,40

KBN-2 (wskaźnki finansowe)

Dobór genetyczny 2 8,06 KBN (zdolność

kredytowa) Wszystkie 1 16,46 23,30 22,90 22,00 22,80

KBN-3 (pozycje raportów)

Wszystkie 2 20,40 27,35 26,70 23,20 19,60

WnioskiBadania

●Najlepsze wyniki uzyskują sieci używające optymalizacji genetycznej; wyniki mogą być lepsze nawet kilka razy. ●Zgodnie z oczekiwaniami, sieci działające na starszych danych uzyskiwały gorsze wyniki●Oprócz jednego przypadku, sieci MLP górowały nad pozostałymi typami sieci; przyczyną tego mogą być zakrojone na mniejszą skalę próby dobierania optymalnych parametrów dla sieci SOM i RBF●Wśród sieci SOM i RBF, a także wśród metod nauczania nie można wskazać jednoznacznego zwycięzcy, generalnie jednak sieci RBF zachowywały się lepiej niż sieci SOM. Zwykle lepsze efekty przynosiło zastosowanie uczenia gazu neuronowego niż standardowego uczenia Kohonena●Uzycie wszystkich wskaźników ogólnych, jak również wskaźników do oceny zdolności kredytowej prowadziło do jednych z najgorszych wyników. Niespodziewanie dobrze wypadły wskaźniki opracowane przez Altmana, które były opracowane w zupełnie innych warunkach ekonomicznych i dla innego systemu księgowości.●Okazuje się, że bardzo duże znaczenie ma dobór wejść. Dodatkowe, nadmiarowe wejścia bardzo pogarszają uzyskane wyniki, co dobrze widać na przykładzie wskaźników Altmana, które uzyskały dobre wyniki same, ale w połączeniu z innymi wskaźnikami dużo gorsze.●Nie zawsze podawanie danych z dwóch lat poprawia jakość predykcji. Jednak wszystkie zestawy wskaźników optymalizowane genetycznie zawierają wskaźniki także z poprzedniego okresu.

WnioskiOcena kosztów bankowych KBN

MLP Kohonen Fuzzy LDA

Altman 3,05 1,52 3,05 7,91

Springate 9,58 11,26 7,31 13,24

Baetge 2,13 0,00 1,67 1,97

Gajdka 9,28 3,05 3,65 8,67

Hołda 6,24 3,05 1,82 3,05

WnioskiOcena kosztów bankowych SEC

MLP Kohonen Fuzzy LDA

Altman 11,10 17,80 15,09 16,96

Springate 13,40 15,75 22,93 17,20

Baetge 6,46 2,54 8,93 9,35

Gajdka 10,80 15,63 10,60 12,19

Hołda 10,02 18,70 12,14 18,34

Wnioski

● LDA znacznie gorsze niż sieci neuronowe● Systemy wczesnego ostrzegania mają

charakter preselekcji. (błąd I rodzaju)● W MLP

– BackProp i RProp najlepsze– QuickProp słabiej

● Sieci neuronowo-rozmyte– Bardzo dobre wyniki lepsze od MLP

● Sieci Kohonena – generalnie słabsze– dla zastosowań bankowych dla dobrych danych

b. skuteczne

Zakończenie

● Najważniejszym czynnikiem jakość danych

– Ilość próbek w zestawie danych KBN jest skrajnie mała – w sumie 46 przedsiębiorstw; choć uzyskane wyniki są bardzo dobre, nie ma możliwości dogłębnego ich sprawdzenia.

– Przy optymalizacji genetycznej istnieje niebezpieczeństwo, iż wejścia sieci zostały dopasowane do danych

– Dla zestawu danych ze 117 próbkami wyniki nie są zadawalające. Przyczyny: niejednorodność danych, duża rozpiętość badanych firm, dane z różnych lat, definicja bankructwa (chapter 11)

● Duża zależność od danych wejściowych– Dobór w toku analizy teoretycznej lub optymalizacji

genetycznej