Wspólne posiedzenieSekcji Optymalizacji i Sterowania

Sekcji Metod Komputerowych MechanikiKomitetu Mechaniki PAN

AGH Kraków, 16 grudnia 2009

Biologicznie inspirowane metody w rozwi ązywaniu zagadnie ń

odwrotnych

Tadeusz Burczyński

Katedra Wytrzymałości Materiałów i Metod Komputerowych MechanikiPolitechnika Śląska

Instytut Modelowania Komputerowego, Politechnika Krakowska

Współpracownicy

• prof. E.Majchrzak, prof. P.Fedeliński,

prof. A.John

• dr A.Długosz, dr G.Dziatkiewicz,

dr W.Kuś, dr P.Orantek, dr A.Skrobol,

dr M.Paruch, dr A.Poteralski,

dr M.Szczepanik

IDENTIFICATION PROBLEMS

are mathematically

ill posed

• new computational methods,

• introduction of new objective functionals,

• new regularization techniques,

•• new experimental procedures.new experimental procedures.

Identification of internal defects

voids

cracks

additional masses(incusions)

– non-destructive defect identification

Knowledge about

Boundary displacementsin elastodynamic problem

Natural frequencies

Field of stresses

Field of temperature...

Boundary displacementsin elastostatic problem

Cechy systemów biologicznychBiologiczny punkt widzenia

• Pamięć

• Myślenie populacyjne

• Zdolność do uczenia się

Myślenie biologiczne:myślenie w kategoriach populacji

(myślenie populacyjne )

Myślenie populacyjnetraktuje zmienność nie jako błąd,lecz jako rzeczywiste zjawisko, które ma waŜne konsekwencje.Zmienność indywidualna w populacji stanowi źródło róŜnorodności,która jest polem do działania mechanizmu doboru naturalnego.

Myślenie populacyjne jest nieobecne w fizyce.Gerald M.Edelman

Czy istnieje moŜliwość wprowadzenia do modelumyślenia populacyjnego?

Pamięć

Pamięć jest zasadniczą własnością biologicznych systemów adaptacyjnych

Rodzaje pamięci:

• Dziedziczna → kod genetyczny (DNA)

• Immunologiczna → limfocyty

• Neuronowa → neurony

Metody inspirowane biologicznie

• Sztuczne sieci neuronowe (SSN)

• Algorytmy ewolucyjne (AE)

• Sztuczne systemy immunologiczne (SSI)

Nieprecyzyjność informacji

W zaleŜności od tego czy informacja jest nieprecyzyjna (uzyskiwana od ludzi)

czy bardziej precyzyjna (np. pochodząca z urządzeń pomiarowych) mówimy

o duŜej lub małej ziarnistości informacji – szerokości ziarna.

Im mniejsze ziarno tym bardziej precyzyjna jest informacja.

Ziarno (granule) informacji – jednostka informacji.

Informacja ziarnista – zbiór ziaren informacji zgrup owanych na podstawie

kryterium podobieństwa, spójności lub nierozróŜnialności.

Ziarnistość informacji mo Ŝe przejawiać się w:

• czasie (temporal granulation)

• przestrzeni (space granulation)

Modele ziarnistości

• Zbiory rozmyte

• Zbiory przybliŜone

• Matematyka interwałowa

• Teoria prawdopodobieństwa

Inteligencja obliczeniowa

• Sztuczne sieci neuronowe

• Algorytmy ewolucyjne

• Sztuczne systemy immunologiczne

Obliczenia ziarniste+

Podstawowe cechy metod inspirowanych biologicznie

1. Populacyjne sformułowanie (AE i SSI) i postulat liczności (SSN)

2. Pamięć i dziedziczenie3. Uczenie się4. Równoległość obliczeniowa5. MoŜliwość rozproszenia obliczeń

Sztuczne Sieci Neuronowe - SSN

Wyrafinowana technika modelowania, zdolna do:

• odwzorowania i aproksymacji złoŜonych funkcji (zwłaszcza modeli nieliniowych),

• kontroli nad złoŜonym problememwielowymiarowości,

• łatwa w uŜyciu.

W.McCullock and W.Pitts, A logical calculus of ideas immanent in nerwous activity. Bulletin of Mathematical Biophysics, Vol. 5, 1943, pp.115-133.

Zastosowania SSN:

W zagadnieniach gdzie pojawiają sięproblemy związane z przetwarzaniem i analizą danych, ich predykcją, klasyfikacją czy sterowaniem,

np. finanse, medycyna, geologia, fizyka, mechanika

SSN same konstruują potrzebny uŜytkownikowi MODEL:

• wybór i konstrukcja wła ściwego rodzaju SSN,

• uczenie SSN na podstawie zgromadzonych danych - eksperymentalnych (automatyczne wytworzenie w pamięci SSN potrzebnej struktury danych),

• SSN sama realizuje wszystkie funkcje związane z eksploatacją utworzonego modelu

SSN + Obliczenia ziarniste

• Adaptacyjne neuro-rozmyte systemy wnioskujące (ANFIS – Adaptive Neuro-Fuzzy Inference Systems),

• Sieci Bayesowskie

Biological neuronAxon of another neuron

Dendrite

Nucleus

Body (Soma)

Synapse

Axon of another neuron

Axon

Artificial neuron

0

N

i ij jj

u w x=

=∑0

( ) ( )N

i i ij jj

y f u f w x=

= = ∑

= bias

x0=

( ) tanh( )

Bipolar function

f x xβ=

1( )

1 x

Unipolar function

f xe β−=

+

1, 0,( )

1, 0

if xf x

if x

+ >= − ≤

f – activation function

Sigmoidal functions

( )f x kx=

0 0

0

1

-1 -1

1

0

Supervised learning

0

N

i ij jj

u w x=

=∑ 0

( ) ( )N

i i ij jj

y f u f w x=

= = ∑

= bias

x0=

21( )

2 i iE y d= −

j i jij

EE x

wδ∂∇ = =

∂

( )( ) i

i i ii

df uy d

duδ = −

(x, di) - learning data

0 1 2[ , , ,..., ]TN

i

x x x x learning vector

d pattern output

= −−

x

The error function:

0 1 2[ , , ,..., ]i i i iNw w w w vector of weights= −w

minEw

where:

( 1) ( )ij ij ijw t w t w+ = + ∆

ij i jw xηδ∆ = −

( )( ) ( 1)ij i j ij ijw x w t w tηδ α∆ = − + − −

• the steepest descent method:

• the momentum method:

A Multi-Layer Perceptron (MLP)

Layer 0(Input Layer

Layer 1(Hidden Layer)

Layer 2(Output Layer)

N-K-M neural network

(1)

0

N

i ij jj

v f w x=

=

∑

(2) (2) (1)

0 0 0

K K N

k ki i ki ij ji i j

y f w v f w f w x= = =

= = ∑ ∑ ∑

(1)w (2)w

+ + + +

The aim of MLP learning:Evaluation of weights wij

(1) wij(2) in such a way that for the given

input vector x a difference between actual output signals yi andpatern signals di, for i = 1, 2, …, M, is minimal.

Various methods:

• The back propagation method,

• The quasi-Newton methods,

• Levenberg-Marquard algorithm,

• The global optimization methods (e.g. evolutionary algorithms).

The Back Propagation Method

• The objective function is formulated for single learning pair (x,d) as follows:

2

1

1( ) ( )

2

M

k kk

E y d=

= −∑w

( ) ( ) 2

1 1

1( ) ( )

2

p Mj j

k kj k

E y d= =

= −∑∑w

In the case of p learning pairs (x(j),d(j)), j=1,2,..,p, the objectivefunction is given:

( 1) ( ) ( ) ( )t t t tη+ = +w w p

( ) ( ( ))t E t= −∇p w

ij

EE gradient of E

w

∂ ∇ = − ∂

Adaptation of weights:

where η - learning coefficient

Generalization ability of ANN

The ANN trained on learning data generates expected results for input data set which belongs to the same group but does not participate in the learning process.

R

L

G

V

Illustration of data division satisfying a certain rule R:L - learning set, G – testing setV – validation set.

R L

R G

L V

⊃⊃⊃

Radial Basis Function Networks(RBFN)

+

+

+

+

+

1x

2x

Nx

1

1ϕ

2ϕ

3ϕ

Kϕ

y

0w

1w

2w

3w

Kw

Hidden Layer

INPUPS

OUTPUT

Radial basis functions:

2

2( ) ( ) exp

2i

i ii

x cx x cϕ ϕ

σ

− = − =

↑

+

+

+

+

+

+

Recurrent Neural Networks (RNNs)RNNs – ANN in which there is a feedback among layers.The Lapunow energetic function describes the excitement ofANN:

1

, 1 10

1 1( )

2

ixN N

ij i j i i i i ij i i j i ii

L w y y f y dy b yR

−

≠ = =

= − + +∑∑ ∑ ∑∫

• Hopfield RNN• Hamming RNN• BAM RNN

• Recurrent MultiLayer Perceptron• Recurrent Elman neural network• RTRN (Real Time Recurrent Network)

where: f – an activation function, Ri and bi - parameters.

RNNs as an associative memory:

RNNs based on perceptron:

Hopfield Neural Network

Hamming Neural Network

NEODARWINIZM

Algorytmy ewolucyjne

Gregor Mendel (1822-1884) Charles Darvin (1809-1882)

GENETYKA EWOLUCJA

Zasadydziedziczenia

Zasady doborunaturalnego

DNA SYNTETYCZNATEORIA EWOLUCJI

UłoŜenie i powiązanie nukleotydów w helisie DNA

Elementy DNA wchodzące w skład genu

Typowy gen składa się z krótkich odcinków kodujących, czyli eksonów, poprzegradzanych odcinkami niekodującymi, zwanych intronami.

Porównanie modeli chromosomów

0

1

1

0

1

0

1

0

1

-21

1.25

-0.2

37.2

124

0.01

1.1

0.23

0

genes

locus

genes

locus

a) b) c)

intron

ekxon

a) chromosom kodowany binarnie, b) chromosom w reprezentowany przez liczby rzeczywiste, c) chromosom naturalny.

7.0

Paradygmat ewolucyjny:

• populacyjne sformułowanie zadania

• funkcja przystosowania

• reprezentacja (kodowanie) zadania

• selekcja i operatory genetyczne (krzyŜowanie, mutacja)

• probabilistyczne reguły wyboru

MASTER

MASTER

MASTER

SEQUENTIAL EVOLUTIONARY ALGORITHM

starting population creation

evaluation of fitness function

for each chromosome

generation of the next population

(evolutionary operators and selection)

START

STOP

YES

stop conditionNO

MASTER

MASTER

MASTER

PARALLEL EVOLUTIONARY ALGORITHM

starting population creation

evaluation of fitness function

for each chromoseme

generation of the next population

(evolutionary operators and selection)

START

STOP

YES

SLAVES

SLAVE

1

SLAVE

2

SLAVE

N-1

SLAVE

N

evaluation of fitness f. for each chromosome

stop conditionNO

END

chromosom

f. przystosowania

SELEKCJA

F.PRZYSTOSOWANIA

MUTACJA

KRZYśOWANIE

MODELSYSTEMU

MES, MEB, MRS

START

Algorytmevolucyjny

EXIT ?

YesNo

Segment obliczaniafunkcji przystosowania

Parallel and distributed evolutionary algorithms

Parallel EA Distributed EA

Sub EA

Improved distributed evolutionary algorithm (one subpopulation)

Identification of holesin dynamically loaded structure

on the base of measureddisplacements in sensor points

Fitness function evaluation with use of DRBEM

Distributed Evolutionary Algorithms in Structural Optimization and Defect Identification

– measured displacements of sensor point xi in the time tj

– computed displacements of sensor point xi in the time tj

– chromosome containing design variables chi (genes)

– number of sensor points

– number of time steps

Constraints – design variables

Fitness function – identification of holes

≥ ≥ max mini i ig g g

( ) ( ) 2

ch1 1

1ˆmin ( ) , ,

2

M T

i j i ji j

J u t u t= =

≡ − ∑∑ch x x

ˆ( , )i ju tx( , )i ju tx

chMT

Distributed Evolutionary Algorithms in Structural Optimization and Defect Identification

Identification problem

( ) ( ) 2

ch1 1

1ˆmin ( ) , ,

2 = =

= − ∑∑M T

i j i ji j

J u t u tch x x

Distributed Evolutionary Algorithms in Structural Optimization and Defect Identification

Identification results

distance betweenholes 50mm

distance betweenholes 30mm

Distributed Evolutionary Algorithms in Structural Optimization and Defect Identification

number of chromosomes 10number of processors 1-4number of subpopulations 2

1

1.5

2

2.5

3

3.5

4

1 2 3 4

no. of processors

spee

dup

actual linear speedup

Speedup of computation

1

n

tspeedup

t= time need to solve problem on 1 processing unit computer1t

time need to solve problem on n-processing units computernt

Distributed Evolutionary Algorithms in Structural Optimization and Defect Identification

HYBRID APPROACHHYBRID APPROACH

STARTING POINT

EVOLUTIONARYALGORITHM

OPTIMUM

GRADIENTALGORITHM

1. Linear model:1. Linear model:

STARTING POINT

EVOLUTIONARYALGORITHM

OPTIMUM

GRADIENTALGORITHM

2. Parallel model:2. Parallel model:

GRADIENT MUTATION

where: ββ - coefficient determining increment of a step

in the search direction h=-,

GradientGradient mutationmutation

x = x = <<xx11, x, x22, ...x, ...xii, ..., ...xxNN>> xx’’ = = <<xx’’ 11, x, x’’ 22, ...x, ...xii’’ , ..., ...xx’’ NN>>

xx* = * = xxii++∆∆xxii, , ∆∆xxii = = ββhhEvery gene is mutated:Every gene is mutated:

J= −∇h

Evolutionary identification of voidsEvolutionary identification of voidsin dynamical statein dynamical state

[ ]∑∑= =

−=M

j

R

rriri tutuJ

1

2

1

)()(ˆuuii -- measured valuesmeasured values

uu ii -- computed valuescomputed values(of displa-cements)

- sensor point

kkkk ddddc αΓΨΓΣΨρΓΓΓ ΓΓΓ

****

−+−=−+ ∫ ∫∫∫ PUcpUuPu

Dual Reciprocity BEM for Dual Reciprocity BEM for elastodynamicselastodynamics::

)()(),( zfttzu kkα=..

..

p=posin(ωt)

- sensor point

Chromosome has information about coordinate and size of thevoids

Test - Identification of circular voids having u(x,t)

Test

Evolutionary Granular Computing(EGC)

The Granular Chromosome:

[ ]1 2; ;.....; ;.......;i ngranule granule granule granule=Granular Chromosome

Granule1

Granular Evolutionary Algorithm

Granule2 Granule3 Granule4 Granulen

EGC –evolutionary computing system withgranular representation of data

The models of uncertainties

• interval sets (interval numbers)

• fuzzy sets (fuzzy numbers)

• probabilistic sets (random variables)

• ...• IFEM, IBEM

• FFEM, FFEM

• SFEM, SBEM

• ...

The Identification Problem

• Measured parameters in sensors:* displacement* temperatures* eigenfreguency* ...

• Search for* defects* boundary conditions* material properties

* ......

T.Burczyński, P.Orantek, Uncertain Identification Problems in the Context of GranularComputing. Chapter in: Human-Centric Information Processing Through GranularModelling (eds. A.Bargoela and W.Pedrycz), Stadies in Computational Intelligence, Vol. 182, Springer 2009, 329-350.

If the fuzzy set A, with the membership function:

fulfilling the conditions: the fuzzy set A normal, the fuzzy set A is convex, and theµA(x) is a continuos functionthen the fuzzy set A is a fuzzy number.

]1,0[: →RAµ

x

µA(x)

1

The fuzzy sets and fuzzy numbers

α-cut of the fuzzy setA is a real set

7 x

µA(x)

1

)(;A αµα ≥∈= xx AX ∀∈[0,1]α

));(,(A X∈= xxx Aµ

]1,0[: →XAµ

The fuzzy setA in the domain X, is a set of pairs

α

Replacing the fuzzy value using the intervals

The fuzzy numbers

The evolutionary algorithm for stochastic identification

[ ] [ ]1 2 1 1 2 2; ;... ;...; ( , );( , );...; ( , );...;( , )i n i i n nm m m mσ σ σ σ= =chr g g g g

Stochastic chromosome:

1 2( ) [ ( ), ( ),..., ( ),..., ( )]i nX X X Xγ γ γ γ γ=X

X(γ) is replaced by:

A geneXi(γ) is represented by a random variable, which is a real function

Xi= Xi(γ), γ∈Γ, defined on a sample space Γ and measurable with respect to P.

Sztuczny System Immunologiczny (SSI)

• Ojcowie immunologii Ludwik Pasteur, Robert Koch,

• Perelson A., Weisbuch G., Immunology for physicits. Reviews of Modern Physics, 69, 1219-1265, 1977,

• Irene Stadnyk – 1986, zastosowanie SSI w rozpoznawaniu wzorców.

• Początek lat 90 – szersze zainteresowanie SSI

58

System Immunologiczny

System Immunologiczny

Wrodzony(Innate)

Adaptacyjny(Adaptive)

Grasica Migdałki Śledziona Szpik kostny Jelito grube i cieńkie Wyrostek robaczkowy

Układ limfatyczny

Cechy systemu immunologicznego

• Rozproszona detekcja

• Detekcja anomalii

• Adaptacyjność (uczenie się i zapamiętywanie)

• Samorganizacja

• Unikalność

60

Wrodzony układ immunologiczny

Pierwsza liniaobrony.

Bariery :

Anatomiczne(skóra)

Fizjologiczne(pH)

Fagocyty

Stany zapalne

61

Komórki układuimmunologicznego

W systemieimmunologicznymistnieje duŜa liczba

róŜnego rodzajukomórek

współpracującychze sobą.

62

Komórki układuimmunologicznego

Z punktu widzeniaalgorytmów

immunologicznychnajbardziej

interesujące sąewolucja i

zachowanie sięlimfocytów typuB

orazT.

63

Limfocyty

Dzięki ewolucji limfocytów układ ma moŜliwość:

• nauki nowych patogenów

• zapamiętywania

• adaptacji

• samoregulacji.

Binarna reprezentacja przeciwciał

1 0 0 1 0 1 0 1 0 0 0 1 1 1 antygen

1 0 1 1 0 1 0 1 1 1 0 0 1 1 B-cell (T-cell)

1 0 0 1 0 1 0 1 1 0 0 1 1 1 1 0 1 1 0 1 0 1 1 1 1 0 1 1

Poziom stymulacji

Liczba zgodnych bitów

1 0 0 1 0 1 0 1 1 0 0 1 1 1

1 0 1 1 0 1 0 1 1 1 1 0 1 1Najdłu Ŝszy wspólnypodci ąg

[0.53, 0.47] Antygen

Center = [0.7, 0.65], radius = 0.2 Limfocyt (T-cel l)

1

1

0

Centrum limfocytu

Promie ń limfocytu

Nierozpoznany antygen

Związany (rozpoznany) antygen

Rzeczywista reprezentacja przeciwciał

Przykład w 2D:

66

Ewolucjalimfocytów B

Powstają w szpiku kostnymz wykorzystaniem procesurearanŜacji bloków genów

pochodzących zespecjalnych bibliotek

genetycznych.

(Odpowiednik krzyŜowaniaw algorytmachgenetycznych)

67

Ewolucjalimfocytów B

Po przedostaniu sie do obiegu, komórki B, którepodlegają aktywacji w

czasie kontaktu z patogenami ulegają

klonowaniu oraz mutacji(hipermutacji).

Komórki nie podlegająceaktywacji wymierają.

68

Klonalna Selekcja

W wynikuklonalnejselekcji

powstają silniespecyficzne

limfocyty B –reagujące na

dany typpatogenu.

Część z nichprzekształca się

w komórkipamięciowe.

Immune system: How does it work?

a B cell and pathogenthe recognition of pathogen using B and T cellsthe proliferation of activated B cells

the proliferation of a memory cell – secondary response

pathogen absorption by a macrophage

Supresja :-interakcja pomiędzy limfocytami-eliminacja niepotrzebnych komórek

AA

A

BB

B

B

B B B

B B B

B

Klonowanie

Hipermutacja

Lepszerozwiązanie

Antygeny (dane uczące)Stymulowanakomórka B

A

Limfocyty B (rozwiązania)

Supresja

Algorytm Klonalnej Selekcji

Losowo generuj pocz ątkow ąpopulacj ę

Sprawd ź poziom stymulacjikaŜdej komórki B

Klonuj komórki B odpowiedniodo ich poziomu stymulacji

Mutuj klony

(somatyczna hipermutacja)

Usuń niepotrzebne komórki B

SUPRESJA

START

Dopóki nie jest spełniony warunek ko ńcowy

Selekcja Klonalna

SUPRESJA:

•WaŜna cechaalgorytmówimmunologicznych

• RóŜne znaczenia“u Ŝyteczno ści”limfocytów

72

Wtórna Odpowied ź UkładuImmunologicznego

KaŜde kolejnepojawienie siędanego (lubpodobnego) patogenu

powoduje szybsząreakcję układu

odpornościowego.

73

Ewolucja limfocytów TNegatywna Selekcja

Limfocyty B reagująna wszystkie struktury

komórkowe wokół.

Aby chronić przedatakiem na komórki

własne, limfocyty T sąuczone w grasicy nie

rozpoznawaćkomórek własnych.

Koniec

No

Yes

Yes

No

Faza treningu

Nie swój

(Anomalia)

Swój

(Stan Normalny)

Faza monitorowania

No

Yes

Dodaj kandydata do populacji

Generuj detektor(limofcyt T- kandydant)

Wystarczaj ącodetektorów?

Odbierz nowyprzykład do klasyfikacji

Związany przezjakikolwiek detektor?

(T-cell)?

Rozpoznajejakąkolwiek swoist ą

daną?

Algorytm Negatywnej Selekcji

75

Wiązania limfocytów T

Limfocyty B tworząwiązania bezpośrednio z komórkami patogenów.

Limfocyty T tworząwiązania z fragmentami

łańcuchówmolekularnych(MHC)

prezentowanymi napowierzchni membrany

komórkowej.

The goal of AIS

find the most dangerous pathogen<=> the global optimum of objective function

Idea of evolutionary optimisationIdea of evolutionary optimisationThe optimization methods inspired by biological mec hanismsThe optimization methods inspired by biological mec hanisms

11 4

Obj

ectiv

e fu

nctio

n va

lue pathogens

Obj

ectiv

e fu

nctio

n va

lue Individuals

EEvolutionaryvolutionary algorithmsalgorithmsAArtificialrtificial immune systemsimmune systems

The goal of AIS The goal of AIS

find the most dangerous pathogenfind the most dangerous pathogeni.ei.e. . the global optimum the global optimum of objective functionof objective function

The goal of The goal of EAEA

find the fittest find the fittest chromosomchromosomi.e. the global optimum i.e. the global optimum of objective functionof objective function

Idea of evolutionary optimisationIdea of evolutionary optimisationThe optimization methods inspired by biological mec hanismsThe optimization methods inspired by biological mec hanisms

11 5

≤ ≤min maxi i ix x x

EEvolutionaryvolutionary algorithmsalgorithmsAArtificialrtificial immune systemsimmune systems

xxii –– design design variablevariable(genes)(genes)

floating point floating point representationrepresentation

ChromosomeChromosome

floating point floating point representationrepresentation

≤ ≤min maxi i ix x x

xxii –– designdesignvariablevariable(parameters of B(parameters of B--cell receptor)cell receptor)

BB--cell receptorcell receptor

x1

x2

x3

xn

B-cell=

x1

x2

x3

xn

chrom=

Artificial immune system

Parameters of artificial immune system

• the number of memory cells

• the number of the clones

• Crowding factor

• Gaussian mutation

81

Porównanie z sieciamineuronowymi

1. SI uzupełnia system nerwowy w “postrzeganiu” otaczającegoświata –postrzeganie na poziomie molekularnym.

2. Jeden rodzaj komórki nerwowej (neuron).

3. ZłoŜoność systemu immunologicznego (wiele róŜnych typówkomórek).

4. ZłoŜoność interakcji elementów systemu immunologicznego.

Receptory Neuronalne i Lymfotyczne

83

Porównanie z sieciamineuronowymi

Podstawowa jednostka

Neuron: soma, dendryty, aksonKaŜdy neuron ma ok. 7 000połączeń synaptycznych.

Limfocyty (T, B, etc.): kaŜdy ma około 100 000 receptorów naswojej powierzchni.

Ile?

10e10 - 10e11 neuronów 10e12 samych limfocytów

Co robi?

Zapamiętane wzorce, świadomość, etc.

Rozpoznaje i niszczy wszystkoco jest obce na poziomiemolekularnym.

84

Porównanie z sieciamineuronowymi

Pamięć

Połączenia synaptyczne Komórki pamięciowe, sieciidiotypowe, ????

Lokalizacja

Pozycje neuronów stałe.Organ centralny - mózg.

Limfocyty są rozproszone w całym ciele.Brak organu centralnego.

KomunikacjaSygnały elektryczne Bezpośrednie zetknięcie się

komórek, wydzielanie cytokin,?????

85

Porównanie z algorytmamiewolucyjnymi

1. SSI posiadają mechanizmy podobne do AE, lecz mają równieŜunikalne własności.

2. W obu podejściach występuje ewolucja.

3. Elementy SI muszą działać wspólniew celu obrony organizmu.

AE KONKURENCJA (podejścia Michigan i Pittsburgh)

SSI KOOPERACJA

Mikroewolucja (II)

• Ewolucja biologiczna: selekcja naturalna wśród organizmów.

• Ewolucja ontogenetyczna(Ontogenetic evolution): naturalna selekcja w ramach jednego organizmu.

11

Numerical Numerical tetesststs

TestsTests

11

BraninBranin FunctionFunction

Goldstein Goldstein –– Price FunctionPrice Function

RastriginRastrigin FunctionFunction

GriewangkGriewangk Function Function

Tested mathematical functionsTested mathematical functions

The number of subpopulations

The number of chrom.

Simple crossover

Gaussian mutation

1 20 100% 100% 2 10 100% 100%

TestTest 11

11

(((( ))))2

22 1 1 12

5 5 1( ) 6 10 1 cos 10

4 8F x x x x x

π π ππ π ππ π ππ π π = − + − + − += − + − + − += − + − + − += − + − + − +

1 25 10, 0 15x x− ≤ ≤ ≤ ≤− ≤ ≤ ≤ ≤− ≤ ≤ ≤ ≤− ≤ ≤ ≤ ≤

(((( )))) (((( )))) (((( )))) (((( ))))min ,12.275 ,2.275 9.42478,2.475 0.397887F x F F Fπ ππ ππ ππ π= − = = == − = = == − = = == − = = =

The The BraninBranin functionfunction

TThe comparisonhe comparisonSEA DEA AIS

Average number objective function evaluations 188 155 171

The number of memory

cells

The number of the clones

Crowding factor

Gaussian mutation

2 2 0.48 10%

The optimal parameters of The optimal parameters of AISAIS

The optimal parameters of The optimal parameters of EAEA

The stop condition:The stop condition: F(xF(x) < 0.5) < 0.5

The number of subpopulations

The number of chrom.

Simple crossover

Gaussian mutation

1 20 100% 100% 3 7 100% 100%

TestTest 22

11

The GoldsteinThe Goldstein--Price functionPrice function

TThe comparisonhe comparisonSEA DEA AIS

Average number objective function evaluations 287 188 325

The number of memory

cells

The number of the clones

Crowding factor

Gaussian mutation

12 2 0.45 50%

The optimal parameters of The optimal parameters of AISAIS

The optimal parameters of The optimal parameters of EAEA(((( )))) (((( ))))(((( ))))

(((( )))) (((( ))))(((( ))))2 2 2

1 2 1 1 2 1 2 2

2 2 21 2 1 1 2 1 2 2

( ) 1 1 19 14 13 14 6 3

30 2 3 18 32 12 48 36 27

F x x x x x x x x x

x x x x x x x x

= + + + − + − + += + + + − + − + += + + + − + − + += + + + − + − + +

+ − − + − − ++ − − + − − ++ − − + − − ++ − − + − − +

2 2ix− ≤ ≤− ≤ ≤− ≤ ≤− ≤ ≤

(((( )))) (((( ))))min 0,1 3F x F= == == == =

The stop condition:The stop condition: F(xF(x) < ) < 3.13.1

The number of subpopulations

The number of chrom.

Simple crossover

Gaussian mutation

1 20 100% 100% 2 10 100% 100%

TestTest 33

11

TThe comparisonhe comparisonSEA DEA AIS

Average number objective function evaluations 9293 4659 7897

The number of memory

cells

The number of the clones

Crowding factor

Gaussian mutation

2 4 0.45 40%

The optimal parameters of The optimal parameters of AISAIS

The optimal parameters of The optimal parameters of EAEA

The The RastriginRastrigin functionfunction

(((( ))))(((( ))))2

1

( ) 10 10cos 2n

i ii

F x n x xππππ====

= + −= + −= + −= + −∑∑∑∑

(((( ))))5.12 5.12ix− ≤ ≤− ≤ ≤− ≤ ≤− ≤ ≤

for n=2for n=2

(((( )))) (((( ))))min 0,0, ,0 0F x F= == == == =…………

The stop condition:The stop condition: F(xF(x) < 0.) < 0.11

n=20

The number of subpopulations

The number of chrom.

Simple crossover

Gaussian mutation

1 10 100% 100% 2 5 100% 100%

TestTest 44

11

TThe comparisonhe comparisonSEA DEA AIS

Average number objective function evaluations 22285 13594 6019

The number of memory

cells

The number of the clones

Crowding factor

Gaussian mutation

2 2 0.45 10%

The optimal parameters of The optimal parameters of AISAIS

The optimal parameters of The optimal parameters of EAEA

2

1 1

( ) 1 cos4000

n ni i

i i

x xF x

i= == == == =

= + −= + −= + −= + −

∑∑∑∑ ∏∏∏∏600 600ix− ≤ ≤− ≤ ≤− ≤ ≤− ≤ ≤

(((( )))) (((( ))))min 0,0, ,0 0F x F= == == == =…………

for n=2for n=2

The The GriewangkGriewangkfunctionfunction

The stop condition:The stop condition: F(xF(x) < 0.) < 0.11

for n=20

Biologicznie inspirowane metody obliczeniowe

Przykłady zastosowań w zagadnieniach odwrotnych inŜynierii biomedycznej

1. Identyfikacja ewolucyjna parametrów materiałowych kości miednicznej człowieka

2. Połączenie termografii z obliczeniami ewolucyjnymi – identyfikacja tkanki rakowej w

piersi

Rozproszone algorytmy ewolucyjneRozproszone algorytmy ewolucyjnew identyfikacji ww identyfikacji włłasnoasnośści materiaci materiałłowych owych

kokośści miednicyci miednicy

A.John, P.Orantek

veryficationveryfication

GeometricalGeometricaldata data HumanHumanpelvicpelvic bonebone ESPI ESPI MethodMethod((scannerscanner, CT), CT)

NumericalNumericalmodel model ExperimentExperiment

MaterialMaterial IdentificationIdentification MeasurementMeasurementPropertiesProperties ofof materialmaterial stationstation

coefficientscoefficientsBoundaryBoundary ((InverseInverseproblem) problem) BoundaryBoundaryConditionsConditions ConditionsConditions

LoadsLoads LoadsLoads

DisplacementsDisplacements YoungYoungmodulusmodulusEE11, E, E22 DisplacementsDisplacementsStrainsStrains PoissonPoisson’’ ss ratioratio νν11, , νν22

StressesStresses MechanicalMechanicaltesttest

Model of pelvis consists of two types of bone: cortical bone and trabecular bone

Pomiary eksperymentalne przemieszczeń

ˆmin ( ) *100

ˆi i

k i i

u uF

u

−≡∑∑x

x

Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni

– funkcja przystosowania

Przemieszczenia otrzymano na podstawie pomiarów metodą ESPI

liczba punktów w których porównano wartości przemieszczeń: 50

Mapy przemieszczeń (ESPI interferometria plamkowa i tensometry)

-10

-5

0

5

10

15

20

25

225 250 275 300 325 350

obci ąŜe nie [N]

prz

em

ies

zcz

en

ie [

m]

A

B

C

D

E

F

G

H

I

AJ

BHC

DG

E

F

I

AJ

BHC

DG

E

F

ˆiu displacements measured in i-th point of the bone

iu displacements computed for i-th point of the bone

Material coefficients identification – numerical model

42601 nodes127803 degrees of freedomTetra 10 DOF elements2 materials7 load casescomputing time (MSC/Nastran 2001)~40sek on 1.4GHz Pentium Xeon

Material coefficients identification

ˆmin ( ) i ik i

F u u≡ −∑∑x

x

ˆiu displacements measured in i-th point of the bone

ˆiu displacements computed for i-th point of the bone for vector of coefficients x

Minimization of fitness function:

Design variables - genes:E1 – cortical bone Young’s modulus ν1 – cortical bone Poisson’s ratioE2 – trabecular bone Young’s modulus ν2 – trabecular bone Poisson’s ratio

load casesk

ˆmin ( ) *100

ˆi i

k i i

u uF

u

−≡∑∑x

xor

Results :

E1=4283 MPaν1=0.2E2=531 MPaν2=0.2

Evolutionary algorithm - results

Constrains :

2000<E1<8000 MPa0.2<ν1<0.4550<E2<600 MPa0.2<ν2<0.45

E1 – cortical bone Young’s modulus ν1 – cortical bone Poisson’s ratioE2 – trabecular bone Young’s modulus ν2 – trabecular bone Poisson’s ratio

107th generation(1528 f.f. evaluations)

ˆmin ( ) i ik i

F u u≡ −∑∑x

x

Material coefficients identification - numerical model with 2 regions

Results :

E1= 15826 MPaν1=0.44E2=50 MPaν2=0.2E3= 2828 MPaν3=0.2E4=574 MPaν4=0.2

Evolutionary algorithm - results

Constrains :2000<E1<18000 MPa0.2<ν1<0.4550<E2<600 MPa0.2<ν2<0.452000<E3<8000 MPa0.2<ν3<0.4550<E4<600 MPa0.2<ν4<0.45

E1 E3– cortical bone Young’s modulus ν1 ν3– cortical bone Poisson’s ratioE2 E4– trabecular bone Young’s modulus ν2 ν4– trabecular bone Poisson’s ratio

228th generation(3526 f.f. evaluations)

ˆmin ( ) *100

ˆi i

k i i

u uF

u

−≡∑∑x

x

Rozkład gęstości (modułów Younga) dla układu opisany jest za pomocą hiperpowierzchni

( ) ( ), , , , , tE x y z x y zρ → ∈Ω

( ), , ,W x y z ( ) 3, ,x y z H∈

Kształt hiperpowierzchni jest kontrolowany za pomocągenów dj, j=1,…,N, które tworzą chromosom

1 2, ,..., ,...,j Nch d d d d=

Geny chromosomu są wartościami funkcji dla węzłów interpolacyjnych ,

( ), ,W x y z( ), ,

jx y z

( ), ,j jd W x y z =

, j=1,2,…,N.

Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni

Hiperpowierzchnia jest wyraŜona za pomocą:

( )1

1 1 1

27

( , , )

d

W x y z X Y Z

d

− − −

= Φ ⊗ ⊗ ÷

gdzie: Φ ⊗ ⊗2 2 2

2 2 2 2 2 2 2 2 2 2 2 2

2 2 2 2 2 2 2 2 2 2 2 2 2 2 2

=[1,x,x ] [1,y,y ] [1,z,z ]=

[1,z,z ,y,yz,yz ,y ,y z,y z ,x,xz,xz ,xy,xyz,xyz ,xy ,xy z,xy z ,

x ,x z,x z ,x y,x yz,x yz ,x y ,x y z,x y z ]

natomiast X, Y i Z są macierzami:

1 0 0

1 1 1

1 2 4

= = =

X Y Z

Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni

Rozmieszczenie punktów kontrolnych (węzłów interpolacyjnych)

A=2

B=2

C=2

Na geny nałoŜone są następujące ograniczenia:

min maxj j jd d d≤ ≤

Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni

Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni

Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni

– wynik kość korowa

Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni

– wynik kość gąbczasta

I

Algorytmy ewolucyjne w termografiiAlgorytmy ewolucyjne w termografii

E.Majchrzak, M.Paruch

The body surface temperature depends on:

- metabolism

- blood perfusion

- thermophysical tissue parameters

- convection

Kamera termowizyjna B20 HS jest wyposaŜona w odłączany pulpit zdalnego sterowania z 4 calowym kolorowym monitorem LCD. Ten pulpit moŜe jest przymocowany do kamery lub po rozwinięciu spiralnego kabla wykorzystany do jej zdalnego sterowania przez zdublowane przyciski sterujące.

Termogramy kończynyMała perfuzja w palcach. Ich temperatura (ok.. 7C) jest znacznie mniejsza od temperatury tkanki zdrowej.Martwica w palcach, głownie w palcu duŜym.

Termogramy pacjentki z przewlekłym stanem zapalnym Ŝuchwy leczonej hiperbarią tlenową

I

Healthy tissue

The tumor diagnostic with use of body surface temperatures (Res Ltd. – RTM-01)

9 sensor points, accuracy 0.1 C

Tumor in left breast

Healthy tissue

3-D FE Model

Inverse problem

Fitness function:

2

1

ˆ( ) ( ) ( ) ( )n

ii

J T y T y y y d yδ=Γ

= − − Γ ∑∫

where:

ΤΤΤΤ - measured skin surface temperature

ΤΤΤΤ - temperature obtained using numerical model

n - number of sensor points

Direct problem

Geometrical model:Mathematical model:

Pennes equation:

( ) ( )2

:

λ 0

e

e e pe e me

x

T x k T x Q

∈ Ω

∇ − + =

Boundary conditions:

( ) ( )[ ]( )

( ) ( )( ) ( )

1 1

2 1

1 2

1 2

: α

:

:

ot

b

c

x q x T x T

x T x T

T x T xx

q x q x

∈Γ = −∈Γ =

=∈Γ = −

λ – thermal condutivity,

k – perfusion coefficient,

Qm – metabolism heat generation

( ) ( ) ( ) ( )

( ) ( )

( )

1

1

1

*11 1

0 1

*11

0 1

1

*1 1

11 1

ξ ξ ξ, dλ

ξ, dλ

ξ, dλ λ

c

c

c

l

ll

l

ll

l

ll

kB T q x V x

kT x Z x

Q kZ x

∞

= Γ ∪Γ

∞

= Γ ∪Γ

−∞

= Γ ∪Γ

+ Γ =

Γ −

Γ

∑ ∫

∑ ∫

∑ ∫

( ) ( ) ( ) ( )

( ) ( )

( )

*22 2

0 2

*22

0 2

1

*2 2

12 2

ξ ξ ξ, dλ

ξ, dλ

ξ, dλ λ

c

c

c

l

ll

l

ll

l

ll

kB T q x V x

kT x Z x

Q kZ x

∞

= Γ

∞

= Γ

−∞

= Γ

+ Γ =

Γ −

Γ

∑ ∫

∑ ∫

∑ ∫

Domain Ω2 (tumor)

BEM

Domain Ω1

Boundary temperature:Tb = 37 [°C]

α = 10 [W/m2K]Tot = 25 [°C]

Healthy tissue

Thermal conductivity:λ1 = 0.5 [W/mK]

Metabolism heat generation:Qm1 = 420 [W/m3]

Perfusion coefficient:k1 = 1998.1 [W/m3K]

Geometry:0.14×0.10×0.06 [m]

Tumor

Thermal conductivity :λ2 = 0.75 [W/mK]

Metabolism heat generation:Qm2 = 4200 [W/m3]

Perfusion coefficient:k2 = 7992.4 [W/m3K]

Geometry:R1 = 0.044, R2 = 0.034, R3 = 0.02 [m]x1 = 0.03, x2 = 0.015, x3 = 0.035 [m]α= 30, β = 15, γ = 20 [°]

Thermal analysis of biological tissue

Numerical simulation for 3D model

Healthy tissue : Tumor in the breast :

Inverse problem – EA – results

Design variable

Actualvalue

The firstgeneration

Error %The bestgeneration

Error %

[m] 0.03 -0.0218 172.66 0.0296 1.33

[m] 0.015 -0.0281 287.33 0.0164 9.33

[m] 0.035 0.0082 76.57 0.0310 11.43

[m] 0.044 0.0090 79.54 0.0402 8.64

[m] 0.034 0.0042 87.64 0.0398 17.06

[m] 0.02 0.0072 64.00 0.0210 5.00

[°] 30 87.83 192.76 30.05 0.16

[°] 15 62.28 315.20 13.21 11.93

[°] 20 78.29 291.45 21.31 6.55

1Sx

2Sx

3Sx

1R

2R

3Rα

βγ

number of chromosome 50

number of generation 300

probability of uniform mutation 40%

probability of nonuniform mutation 30%

probability of arithmetic crossover 40%

probability of clonning 10%

Coupling of evolutionary algorithmand artificial neural network in

defect identification

Intelligent Computational System

Introduction - the fitness function

( ) ( ) 2

1

ˆ( )S

i ii

F ch w u x u x=

= ⋅ − ∑ˆ( )iu x - the measured displacements at

sensor point xi (i = 1,2, ... ,n)( )iu x - the computed displacements at

sensor point xi (i = 1,2, ... ,n)ch - the chromosome

elastostatic problem

( ) ( ) 2

1 1

ˆ( ) , ,S L

i j i ji j

F ch w u x t u x t= =

= ⋅ − ∑∑ˆ( , )i ju x t - the measured displacements at

sensor point xi (i = 1,2, ... ,n) in time step tj( , )i ju x t - the computed displacements at sensor point xi (i = 1,2, ... ,n) in time step tj

elastodynamic problem

( )2

1

ˆ( )F

w j jj

F ch ω ω=

= ⋅ −∑ˆ ( )ixω - the measured natural frequencies

( )ixω - the computed natural frequencies

eigenvalue problem

Introduction – evolutionary algorithm + BEM

great possibility of finding a global solution

identify kind, positionand number of defects

the knowledge about gradient is not necessary

the boundary-value problem has to be solved for each chromosome

very long time of computation

the time strongly dependson the geometry of the body

COMPUTATION OF THE FITNESS FUNCTION NEEDS TO BE IMPROVED

Introduction – how to speed up

?

Introduction – evolutionary algorithm + BEM

Computational inteligence system

Gaussian functionsGaussian function

21( ; , ) exp

2

x tf x y σ

σ

− = −

t=0.0, σ=1.0;

Pseudo-gaussian function

2

2

2

2

exp

exp

1 ( )( ; , , ) ( ; , )

2

1 ( ) ( ; , )

2

L PL

P

x tf x y U x t

x tU x t

σ

σ

σ σ −

−

−= ⋅ −∞

−+ ⋅ ∞

where1 for a x<b

( ; , )0 otherwise

U x a b≤

=

t=0.0; σL=1.0, σP=2.0

Fuzzy inference system

Membership functions: – gaussian– pseudo-gaussian

Fuzzyfication:)()()()( 2211 nAnAAA xxxx µµµµ …=

µA(x) – membership function of the conclusion part of the rule A,µAi(xi) – the degree of true of each input for each rule premise.

Composition - centroid of area method:

( )

( )∑

∑

=

== M

llA

M

llAl

x

xcy

1)(

1)(

µ

µ

cl – the centre of fuzzy set of the ruleA(l),µA

(l) (x) – the membership function computed in inference step,l=1,2,…,M - the number of the rule

Fuzzy inference system

)()()()( 2211 nAnAAA xxxx µµµµ …=

( )

( )∑ ∏

∑ ∏

= =

= =

=M

l

N

iil

iA

M

l

N

iil

iAl

x

xcxf

1 1)(

1 1)(

)(µ

µ

( )

( )∑

∑

=

== M

llA

M

llAl

x

xcy

1)(

1)(

µ

µ

( )

1 1

( )

1 1

( )

NMl

l il i

NMl

il i

W

f x

µ

µ

= =

= =

=∑ ∏

∑∏

2( )( )

( )( ) exp

ll i i

ii li

x cxµ

σ

− = −

( )2( )

( )( )

2( )

( )

exp

exp

( ; , )

+ ( ; , )

ll i i

i liL

li i

liP

x tx U x t

x tU x t

µσ

σ

−

−

− = ⋅ −∞

− ⋅ ∞

Membership functions:

Fuzzy inference system

Radial basis function neural network

( ) ( )2

21

1exp

2

Nij

ij ij=

− Ψ = −

∑jx t

xσσσσ

( )01

( )K

i ii

f x W W x=

= + Ψ∑

Identification problem - chromosome

max max max1 1 1, , ,, , , , , , , ,i i i D D Dch X Y R X Y R X Y R = … …

Position and size of defect

( ) ⇒<∀= min0 RRR ii genes Xi, Yi, Ri are inactive

max max max1 1 1, , ,, , , ,0, , , ,i i D D Dch X Y R X Y X Y R = … …

this defect does not exist

the number of active sets is the number of defects

Numerical example- results

Numerical example

Horizontal and vertical displacements in elastodynamic

D = 1 or D = 2

Kind: void or crack

D,

unknown:

Xi,

Yi

kind

Dmax = 2

Ri,

Identification problem - chromosome

[ ]1 1 11 12 1 2 2 21 22 2, , , , , , , , ,ch X Y R R X Y R Rα α=

first defect

If R11>R1_min and R21>R1_min then there are two circular voids

second defect

If R11>R1_min and R21<R1_minor R11<R1_min and R21>R1_min then there is one circular void

If R11<R1_min and R21<R1_minand R12>R2_min or R22>R2_min then there is a crack

Numerical example- results

Identification time- example

Identification time of the EA connected with BEM:• 11 min. 40 sec. for the plate with one defect (Dmax= 2, D = 1) – Fig. a)• 22 min. 25 sec. for the plate with two defects (Dmax= 2, D = 1) – Fig. b)

Identification time of the EA connected with FIS:• 18 sec. in both cases

Idetifying on the basis of three eigenfrequencies and three boundary displacements

Inteligencja obliczeniowa• nowe techniki obliczeniowe w nauce i technice, za pomocą których moŜna modelować, analizowaćlub optymalizować złoŜone zjawiska i układy, dla których bardziej precyzyjne narzędzia naukowe stosowane w przeszłości były niezdolne dać tanie i pełne (zupełne) rozwiązanie,

• tym róŜnią od konwencjonalnych obliczeń ostrych (hard computing), Ŝe są odporne na brak precyzji, nieokresloność, częsciową (niepełną) prawdę i przybliŜenie.

• w rezultacie rolę modelu w obliczeniach inteligentnych spełnia w jakimś sensie system biologiczny.

• przypominają bardziej ludzkie rozumienie niŜ tradycyjne techniki, które są w znacznym stopniu oparte na konwencjonalnych systemachlogicznych.

Wnioski

• Sztuczne sieci neuronowe• Algorytmy ewolucyjne• Sztuczne systemy immunologicznewykorzystują metafory biologiczne w ”inteligencji obliczeniowej”.

Tradycyjne inŜynierskie podejście w rozwiązywaniu problemów:(i) Analiza konkretnego problemu,(ii) Sformułowanie rygorystycznych załoŜeń,(iii)Sukcesywne ich realizowanie

Charakterystyka „inteligencji obliczeniowej”:(i) Elastyczność,(ii) Wysoka odporność na niewielkie zaburzenia występujące

w realizacji bądź własnościach róŜnych komponentów konstruowanego systemu.