Biologicznie inspirowane metody w rozwi ązywaniu zagadnie ń...
Transcript of Biologicznie inspirowane metody w rozwi ązywaniu zagadnie ń...
Wspólne posiedzenieSekcji Optymalizacji i Sterowania
Sekcji Metod Komputerowych MechanikiKomitetu Mechaniki PAN
AGH Kraków, 16 grudnia 2009
Biologicznie inspirowane metody w rozwi ązywaniu zagadnie ń
odwrotnych
Tadeusz Burczyński
Katedra Wytrzymałości Materiałów i Metod Komputerowych MechanikiPolitechnika Śląska
Instytut Modelowania Komputerowego, Politechnika Krakowska
Współpracownicy
• prof. E.Majchrzak, prof. P.Fedeliński,
prof. A.John
• dr A.Długosz, dr G.Dziatkiewicz,
dr W.Kuś, dr P.Orantek, dr A.Skrobol,
dr M.Paruch, dr A.Poteralski,
dr M.Szczepanik
IDENTIFICATION PROBLEMS
are mathematically
ill posed
• new computational methods,
• introduction of new objective functionals,
• new regularization techniques,
•• new experimental procedures.new experimental procedures.
Identification of internal defects
voids
cracks
additional masses(incusions)
– non-destructive defect identification
Knowledge about
Boundary displacementsin elastodynamic problem
Natural frequencies
Field of stresses
Field of temperature...
Boundary displacementsin elastostatic problem
Cechy systemów biologicznychBiologiczny punkt widzenia
• Pamięć
• Myślenie populacyjne
• Zdolność do uczenia się
Myślenie biologiczne:myślenie w kategoriach populacji
(myślenie populacyjne )
Myślenie populacyjnetraktuje zmienność nie jako błąd,lecz jako rzeczywiste zjawisko, które ma waŜne konsekwencje.Zmienność indywidualna w populacji stanowi źródło róŜnorodności,która jest polem do działania mechanizmu doboru naturalnego.
Myślenie populacyjne jest nieobecne w fizyce.Gerald M.Edelman
Czy istnieje moŜliwość wprowadzenia do modelumyślenia populacyjnego?
Pamięć
Pamięć jest zasadniczą własnością biologicznych systemów adaptacyjnych
Rodzaje pamięci:
• Dziedziczna → kod genetyczny (DNA)
• Immunologiczna → limfocyty
• Neuronowa → neurony
Metody inspirowane biologicznie
• Sztuczne sieci neuronowe (SSN)
• Algorytmy ewolucyjne (AE)
• Sztuczne systemy immunologiczne (SSI)
Nieprecyzyjność informacji
W zaleŜności od tego czy informacja jest nieprecyzyjna (uzyskiwana od ludzi)
czy bardziej precyzyjna (np. pochodząca z urządzeń pomiarowych) mówimy
o duŜej lub małej ziarnistości informacji – szerokości ziarna.
Im mniejsze ziarno tym bardziej precyzyjna jest informacja.
Ziarno (granule) informacji – jednostka informacji.
Informacja ziarnista – zbiór ziaren informacji zgrup owanych na podstawie
kryterium podobieństwa, spójności lub nierozróŜnialności.
Ziarnistość informacji mo Ŝe przejawiać się w:
• czasie (temporal granulation)
• przestrzeni (space granulation)
Modele ziarnistości
• Zbiory rozmyte
• Zbiory przybliŜone
• Matematyka interwałowa
• Teoria prawdopodobieństwa
Inteligencja obliczeniowa
• Sztuczne sieci neuronowe
• Algorytmy ewolucyjne
• Sztuczne systemy immunologiczne
Obliczenia ziarniste+
Podstawowe cechy metod inspirowanych biologicznie
1. Populacyjne sformułowanie (AE i SSI) i postulat liczności (SSN)
2. Pamięć i dziedziczenie3. Uczenie się4. Równoległość obliczeniowa5. MoŜliwość rozproszenia obliczeń
Sztuczne Sieci Neuronowe - SSN
Wyrafinowana technika modelowania, zdolna do:
• odwzorowania i aproksymacji złoŜonych funkcji (zwłaszcza modeli nieliniowych),
• kontroli nad złoŜonym problememwielowymiarowości,
• łatwa w uŜyciu.
W.McCullock and W.Pitts, A logical calculus of ideas immanent in nerwous activity. Bulletin of Mathematical Biophysics, Vol. 5, 1943, pp.115-133.
Zastosowania SSN:
W zagadnieniach gdzie pojawiają sięproblemy związane z przetwarzaniem i analizą danych, ich predykcją, klasyfikacją czy sterowaniem,
np. finanse, medycyna, geologia, fizyka, mechanika
SSN same konstruują potrzebny uŜytkownikowi MODEL:
• wybór i konstrukcja wła ściwego rodzaju SSN,
• uczenie SSN na podstawie zgromadzonych danych - eksperymentalnych (automatyczne wytworzenie w pamięci SSN potrzebnej struktury danych),
• SSN sama realizuje wszystkie funkcje związane z eksploatacją utworzonego modelu
SSN + Obliczenia ziarniste
• Adaptacyjne neuro-rozmyte systemy wnioskujące (ANFIS – Adaptive Neuro-Fuzzy Inference Systems),
• Sieci Bayesowskie
Biological neuronAxon of another neuron
Dendrite
Nucleus
Body (Soma)
Synapse
Axon of another neuron
Axon
Artificial neuron
0
N
i ij jj
u w x=
=∑0
( ) ( )N
i i ij jj
y f u f w x=
= = ∑
= bias
x0=
( ) tanh( )
Bipolar function
f x xβ=
1( )
1 x
Unipolar function
f xe β−=
+
1, 0,( )
1, 0
if xf x
if x
+ >= − ≤
f – activation function
Sigmoidal functions
( )f x kx=
0 0
0
1
-1 -1
1
0
Supervised learning
0
N
i ij jj
u w x=
=∑ 0
( ) ( )N
i i ij jj
y f u f w x=
= = ∑
= bias
x0=
21( )
2 i iE y d= −
j i jij
EE x
wδ∂∇ = =
∂
( )( ) i
i i ii
df uy d
duδ = −
(x, di) - learning data
0 1 2[ , , ,..., ]TN
i
x x x x learning vector
d pattern output
= −−
x
The error function:
0 1 2[ , , ,..., ]i i i iNw w w w vector of weights= −w
minEw
where:
( 1) ( )ij ij ijw t w t w+ = + ∆
ij i jw xηδ∆ = −
( )( ) ( 1)ij i j ij ijw x w t w tηδ α∆ = − + − −
• the steepest descent method:
• the momentum method:
A Multi-Layer Perceptron (MLP)
Layer 0(Input Layer
Layer 1(Hidden Layer)
Layer 2(Output Layer)
N-K-M neural network
(1)
0
N
i ij jj
v f w x=
=
∑
(2) (2) (1)
0 0 0
K K N
k ki i ki ij ji i j
y f w v f w f w x= = =
= = ∑ ∑ ∑
(1)w (2)w
+ + + +
The aim of MLP learning:Evaluation of weights wij
(1) wij(2) in such a way that for the given
input vector x a difference between actual output signals yi andpatern signals di, for i = 1, 2, …, M, is minimal.
Various methods:
• The back propagation method,
• The quasi-Newton methods,
• Levenberg-Marquard algorithm,
• The global optimization methods (e.g. evolutionary algorithms).
The Back Propagation Method
• The objective function is formulated for single learning pair (x,d) as follows:
2
1
1( ) ( )
2
M
k kk
E y d=
= −∑w
( ) ( ) 2
1 1
1( ) ( )
2
p Mj j
k kj k
E y d= =
= −∑∑w
In the case of p learning pairs (x(j),d(j)), j=1,2,..,p, the objectivefunction is given:
( 1) ( ) ( ) ( )t t t tη+ = +w w p
( ) ( ( ))t E t= −∇p w
ij
EE gradient of E
w
∂ ∇ = − ∂
Adaptation of weights:
where η - learning coefficient
Generalization ability of ANN
The ANN trained on learning data generates expected results for input data set which belongs to the same group but does not participate in the learning process.
R
L
G
V
Illustration of data division satisfying a certain rule R:L - learning set, G – testing setV – validation set.
R L
R G
L V
⊃⊃⊃
Radial Basis Function Networks(RBFN)
+
+
+
+
+
1x
2x
Nx
1
1ϕ
2ϕ
3ϕ
Kϕ
y
0w
1w
2w
3w
Kw
Hidden Layer
INPUPS
OUTPUT
Radial basis functions:
2
2( ) ( ) exp
2i
i ii
x cx x cϕ ϕ
σ
− = − =
↑
+
+
+
+
+
+
Recurrent Neural Networks (RNNs)RNNs – ANN in which there is a feedback among layers.The Lapunow energetic function describes the excitement ofANN:
1
, 1 10
1 1( )
2
ixN N
ij i j i i i i ij i i j i ii
L w y y f y dy b yR
−
≠ = =
= − + +∑∑ ∑ ∑∫
• Hopfield RNN• Hamming RNN• BAM RNN
• Recurrent MultiLayer Perceptron• Recurrent Elman neural network• RTRN (Real Time Recurrent Network)
where: f – an activation function, Ri and bi - parameters.
RNNs as an associative memory:
RNNs based on perceptron:
Hopfield Neural Network
Hamming Neural Network
NEODARWINIZM
Algorytmy ewolucyjne
Gregor Mendel (1822-1884) Charles Darvin (1809-1882)
GENETYKA EWOLUCJA
Zasadydziedziczenia
Zasady doborunaturalnego
DNA SYNTETYCZNATEORIA EWOLUCJI
UłoŜenie i powiązanie nukleotydów w helisie DNA
Elementy DNA wchodzące w skład genu
Typowy gen składa się z krótkich odcinków kodujących, czyli eksonów, poprzegradzanych odcinkami niekodującymi, zwanych intronami.
Porównanie modeli chromosomów
0
1
1
0
1
0
1
0
1
-21
1.25
-0.2
37.2
124
0.01
1.1
0.23
0
genes
locus
genes
locus
a) b) c)
intron
ekxon
a) chromosom kodowany binarnie, b) chromosom w reprezentowany przez liczby rzeczywiste, c) chromosom naturalny.
7.0
Paradygmat ewolucyjny:
• populacyjne sformułowanie zadania
• funkcja przystosowania
• reprezentacja (kodowanie) zadania
• selekcja i operatory genetyczne (krzyŜowanie, mutacja)
• probabilistyczne reguły wyboru
MASTER
MASTER
MASTER
SEQUENTIAL EVOLUTIONARY ALGORITHM
starting population creation
evaluation of fitness function
for each chromosome
generation of the next population
(evolutionary operators and selection)
START
STOP
YES
stop conditionNO
MASTER
MASTER
MASTER
PARALLEL EVOLUTIONARY ALGORITHM
starting population creation
evaluation of fitness function
for each chromoseme
generation of the next population
(evolutionary operators and selection)
START
STOP
YES
SLAVES
SLAVE
1
SLAVE
2
SLAVE
N-1
SLAVE
N
evaluation of fitness f. for each chromosome
stop conditionNO
END
chromosom
f. przystosowania
SELEKCJA
F.PRZYSTOSOWANIA
MUTACJA
KRZYśOWANIE
MODELSYSTEMU
MES, MEB, MRS
START
Algorytmevolucyjny
EXIT ?
YesNo
Segment obliczaniafunkcji przystosowania
Parallel and distributed evolutionary algorithms
Parallel EA Distributed EA
Sub EA
Improved distributed evolutionary algorithm (one subpopulation)
Identification of holesin dynamically loaded structure
on the base of measureddisplacements in sensor points
Fitness function evaluation with use of DRBEM
Distributed Evolutionary Algorithms in Structural Optimization and Defect Identification
– measured displacements of sensor point xi in the time tj
– computed displacements of sensor point xi in the time tj
– chromosome containing design variables chi (genes)
– number of sensor points
– number of time steps
Constraints – design variables
Fitness function – identification of holes
≥ ≥ max mini i ig g g
( ) ( ) 2
ch1 1
1ˆmin ( ) , ,
2
M T
i j i ji j
J u t u t= =
≡ − ∑∑ch x x
ˆ( , )i ju tx( , )i ju tx
chMT
Distributed Evolutionary Algorithms in Structural Optimization and Defect Identification
Identification problem
( ) ( ) 2
ch1 1
1ˆmin ( ) , ,
2 = =
= − ∑∑M T
i j i ji j
J u t u tch x x
Distributed Evolutionary Algorithms in Structural Optimization and Defect Identification
Identification results
distance betweenholes 50mm
distance betweenholes 30mm
Distributed Evolutionary Algorithms in Structural Optimization and Defect Identification
number of chromosomes 10number of processors 1-4number of subpopulations 2
1
1.5
2
2.5
3
3.5
4
1 2 3 4
no. of processors
spee
dup
actual linear speedup
Speedup of computation
1
n
tspeedup
t= time need to solve problem on 1 processing unit computer1t
time need to solve problem on n-processing units computernt
Distributed Evolutionary Algorithms in Structural Optimization and Defect Identification
HYBRID APPROACHHYBRID APPROACH
STARTING POINT
EVOLUTIONARYALGORITHM
OPTIMUM
GRADIENTALGORITHM
1. Linear model:1. Linear model:
STARTING POINT
EVOLUTIONARYALGORITHM
OPTIMUM
GRADIENTALGORITHM
2. Parallel model:2. Parallel model:
GRADIENT MUTATION
where: ββ - coefficient determining increment of a step
in the search direction h=-,
GradientGradient mutationmutation
x = x = <<xx11, x, x22, ...x, ...xii, ..., ...xxNN>> xx’’ = = <<xx’’ 11, x, x’’ 22, ...x, ...xii’’ , ..., ...xx’’ NN>>
xx* = * = xxii++∆∆xxii, , ∆∆xxii = = ββhhEvery gene is mutated:Every gene is mutated:
J= −∇h
Evolutionary identification of voidsEvolutionary identification of voidsin dynamical statein dynamical state
[ ]∑∑= =
−=M
j
R
rriri tutuJ
1
2
1
)()(ˆuuii -- measured valuesmeasured values
uu ii -- computed valuescomputed values(of displa-cements)
- sensor point
kkkk ddddc αΓΨΓΣΨρΓΓΓ ΓΓΓ
****
−+−=−+ ∫ ∫∫∫ PUcpUuPu
Dual Reciprocity BEM for Dual Reciprocity BEM for elastodynamicselastodynamics::
)()(),( zfttzu kkα=..
..
p=posin(ωt)
- sensor point
Chromosome has information about coordinate and size of thevoids
Test - Identification of circular voids having u(x,t)
Test
Evolutionary Granular Computing(EGC)
The Granular Chromosome:
[ ]1 2; ;.....; ;.......;i ngranule granule granule granule=Granular Chromosome
Granule1
Granular Evolutionary Algorithm
Granule2 Granule3 Granule4 Granulen
EGC –evolutionary computing system withgranular representation of data
The models of uncertainties
• interval sets (interval numbers)
• fuzzy sets (fuzzy numbers)
• probabilistic sets (random variables)
• ...• IFEM, IBEM
• FFEM, FFEM
• SFEM, SBEM
• ...
The Identification Problem
• Measured parameters in sensors:* displacement* temperatures* eigenfreguency* ...
• Search for* defects* boundary conditions* material properties
* ......
T.Burczyński, P.Orantek, Uncertain Identification Problems in the Context of GranularComputing. Chapter in: Human-Centric Information Processing Through GranularModelling (eds. A.Bargoela and W.Pedrycz), Stadies in Computational Intelligence, Vol. 182, Springer 2009, 329-350.
If the fuzzy set A, with the membership function:
fulfilling the conditions: the fuzzy set A normal, the fuzzy set A is convex, and theµA(x) is a continuos functionthen the fuzzy set A is a fuzzy number.
]1,0[: →RAµ
x
µA(x)
1
The fuzzy sets and fuzzy numbers
α-cut of the fuzzy setA is a real set
7 x
µA(x)
1
)(;A αµα ≥∈= xx AX ∀∈[0,1]α
));(,(A X∈= xxx Aµ
]1,0[: →XAµ
The fuzzy setA in the domain X, is a set of pairs
α
Replacing the fuzzy value using the intervals
The fuzzy numbers
The evolutionary algorithm for stochastic identification
[ ] [ ]1 2 1 1 2 2; ;... ;...; ( , );( , );...; ( , );...;( , )i n i i n nm m m mσ σ σ σ= =chr g g g g
Stochastic chromosome:
1 2( ) [ ( ), ( ),..., ( ),..., ( )]i nX X X Xγ γ γ γ γ=X
X(γ) is replaced by:
A geneXi(γ) is represented by a random variable, which is a real function
Xi= Xi(γ), γ∈Γ, defined on a sample space Γ and measurable with respect to P.
Sztuczny System Immunologiczny (SSI)
• Ojcowie immunologii Ludwik Pasteur, Robert Koch,
• Perelson A., Weisbuch G., Immunology for physicits. Reviews of Modern Physics, 69, 1219-1265, 1977,
• Irene Stadnyk – 1986, zastosowanie SSI w rozpoznawaniu wzorców.
• Początek lat 90 – szersze zainteresowanie SSI
58
System Immunologiczny
System Immunologiczny
Wrodzony(Innate)
Adaptacyjny(Adaptive)
Grasica Migdałki Śledziona Szpik kostny Jelito grube i cieńkie Wyrostek robaczkowy
Układ limfatyczny
Cechy systemu immunologicznego
• Rozproszona detekcja
• Detekcja anomalii
• Adaptacyjność (uczenie się i zapamiętywanie)
• Samorganizacja
• Unikalność
60
Wrodzony układ immunologiczny
Pierwsza liniaobrony.
Bariery :
Anatomiczne(skóra)
Fizjologiczne(pH)
Fagocyty
Stany zapalne
61
Komórki układuimmunologicznego
W systemieimmunologicznymistnieje duŜa liczba
róŜnego rodzajukomórek
współpracującychze sobą.
62
Komórki układuimmunologicznego
Z punktu widzeniaalgorytmów
immunologicznychnajbardziej
interesujące sąewolucja i
zachowanie sięlimfocytów typuB
orazT.
63
Limfocyty
Dzięki ewolucji limfocytów układ ma moŜliwość:
• nauki nowych patogenów
• zapamiętywania
• adaptacji
• samoregulacji.
Binarna reprezentacja przeciwciał
1 0 0 1 0 1 0 1 0 0 0 1 1 1 antygen
1 0 1 1 0 1 0 1 1 1 0 0 1 1 B-cell (T-cell)
1 0 0 1 0 1 0 1 1 0 0 1 1 1 1 0 1 1 0 1 0 1 1 1 1 0 1 1
Poziom stymulacji
Liczba zgodnych bitów
1 0 0 1 0 1 0 1 1 0 0 1 1 1
1 0 1 1 0 1 0 1 1 1 1 0 1 1Najdłu Ŝszy wspólnypodci ąg
[0.53, 0.47] Antygen
Center = [0.7, 0.65], radius = 0.2 Limfocyt (T-cel l)
1
1
0
Centrum limfocytu
Promie ń limfocytu
Nierozpoznany antygen
Związany (rozpoznany) antygen
Rzeczywista reprezentacja przeciwciał
Przykład w 2D:
66
Ewolucjalimfocytów B
Powstają w szpiku kostnymz wykorzystaniem procesurearanŜacji bloków genów
pochodzących zespecjalnych bibliotek
genetycznych.
(Odpowiednik krzyŜowaniaw algorytmachgenetycznych)
67
Ewolucjalimfocytów B
Po przedostaniu sie do obiegu, komórki B, którepodlegają aktywacji w
czasie kontaktu z patogenami ulegają
klonowaniu oraz mutacji(hipermutacji).
Komórki nie podlegająceaktywacji wymierają.
68
Klonalna Selekcja
W wynikuklonalnejselekcji
powstają silniespecyficzne
limfocyty B –reagujące na
dany typpatogenu.
Część z nichprzekształca się
w komórkipamięciowe.
Immune system: How does it work?
a B cell and pathogenthe recognition of pathogen using B and T cellsthe proliferation of activated B cells
the proliferation of a memory cell – secondary response
pathogen absorption by a macrophage
Supresja :-interakcja pomiędzy limfocytami-eliminacja niepotrzebnych komórek
AA
A
BB
B
B
B B B
B B B
B
Klonowanie
Hipermutacja
Lepszerozwiązanie
Antygeny (dane uczące)Stymulowanakomórka B
A
Limfocyty B (rozwiązania)
Supresja
Algorytm Klonalnej Selekcji
Losowo generuj pocz ątkow ąpopulacj ę
Sprawd ź poziom stymulacjikaŜdej komórki B
Klonuj komórki B odpowiedniodo ich poziomu stymulacji
Mutuj klony
(somatyczna hipermutacja)
Usuń niepotrzebne komórki B
SUPRESJA
START
Dopóki nie jest spełniony warunek ko ńcowy
Selekcja Klonalna
SUPRESJA:
•WaŜna cechaalgorytmówimmunologicznych
• RóŜne znaczenia“u Ŝyteczno ści”limfocytów
72
Wtórna Odpowied ź UkładuImmunologicznego
KaŜde kolejnepojawienie siędanego (lubpodobnego) patogenu
powoduje szybsząreakcję układu
odpornościowego.
73
Ewolucja limfocytów TNegatywna Selekcja
Limfocyty B reagująna wszystkie struktury
komórkowe wokół.
Aby chronić przedatakiem na komórki
własne, limfocyty T sąuczone w grasicy nie
rozpoznawaćkomórek własnych.
Koniec
No
Yes
Yes
No
Faza treningu
Nie swój
(Anomalia)
Swój
(Stan Normalny)
Faza monitorowania
No
Yes
Dodaj kandydata do populacji
Generuj detektor(limofcyt T- kandydant)
Wystarczaj ącodetektorów?
Odbierz nowyprzykład do klasyfikacji
Związany przezjakikolwiek detektor?
(T-cell)?
Rozpoznajejakąkolwiek swoist ą
daną?
Algorytm Negatywnej Selekcji
75
Wiązania limfocytów T
Limfocyty B tworząwiązania bezpośrednio z komórkami patogenów.
Limfocyty T tworząwiązania z fragmentami
łańcuchówmolekularnych(MHC)
prezentowanymi napowierzchni membrany
komórkowej.
The goal of AIS
find the most dangerous pathogen<=> the global optimum of objective function
Idea of evolutionary optimisationIdea of evolutionary optimisationThe optimization methods inspired by biological mec hanismsThe optimization methods inspired by biological mec hanisms
11 4
Obj
ectiv
e fu
nctio
n va
lue pathogens
Obj
ectiv
e fu
nctio
n va
lue Individuals
EEvolutionaryvolutionary algorithmsalgorithmsAArtificialrtificial immune systemsimmune systems
The goal of AIS The goal of AIS
find the most dangerous pathogenfind the most dangerous pathogeni.ei.e. . the global optimum the global optimum of objective functionof objective function
The goal of The goal of EAEA
find the fittest find the fittest chromosomchromosomi.e. the global optimum i.e. the global optimum of objective functionof objective function
Idea of evolutionary optimisationIdea of evolutionary optimisationThe optimization methods inspired by biological mec hanismsThe optimization methods inspired by biological mec hanisms
11 5
≤ ≤min maxi i ix x x
EEvolutionaryvolutionary algorithmsalgorithmsAArtificialrtificial immune systemsimmune systems
xxii –– design design variablevariable(genes)(genes)
floating point floating point representationrepresentation
ChromosomeChromosome
floating point floating point representationrepresentation
≤ ≤min maxi i ix x x
xxii –– designdesignvariablevariable(parameters of B(parameters of B--cell receptor)cell receptor)
BB--cell receptorcell receptor
x1
x2
x3
xn
B-cell=
x1
x2
x3
xn
chrom=
Artificial immune system
Parameters of artificial immune system
• the number of memory cells
• the number of the clones
• Crowding factor
• Gaussian mutation
81
Porównanie z sieciamineuronowymi
1. SI uzupełnia system nerwowy w “postrzeganiu” otaczającegoświata –postrzeganie na poziomie molekularnym.
2. Jeden rodzaj komórki nerwowej (neuron).
3. ZłoŜoność systemu immunologicznego (wiele róŜnych typówkomórek).
4. ZłoŜoność interakcji elementów systemu immunologicznego.
Receptory Neuronalne i Lymfotyczne
83
Porównanie z sieciamineuronowymi
Podstawowa jednostka
Neuron: soma, dendryty, aksonKaŜdy neuron ma ok. 7 000połączeń synaptycznych.
Limfocyty (T, B, etc.): kaŜdy ma około 100 000 receptorów naswojej powierzchni.
Ile?
10e10 - 10e11 neuronów 10e12 samych limfocytów
Co robi?
Zapamiętane wzorce, świadomość, etc.
Rozpoznaje i niszczy wszystkoco jest obce na poziomiemolekularnym.
84
Porównanie z sieciamineuronowymi
Pamięć
Połączenia synaptyczne Komórki pamięciowe, sieciidiotypowe, ????
Lokalizacja
Pozycje neuronów stałe.Organ centralny - mózg.
Limfocyty są rozproszone w całym ciele.Brak organu centralnego.
KomunikacjaSygnały elektryczne Bezpośrednie zetknięcie się
komórek, wydzielanie cytokin,?????
85
Porównanie z algorytmamiewolucyjnymi
1. SSI posiadają mechanizmy podobne do AE, lecz mają równieŜunikalne własności.
2. W obu podejściach występuje ewolucja.
3. Elementy SI muszą działać wspólniew celu obrony organizmu.
AE KONKURENCJA (podejścia Michigan i Pittsburgh)
SSI KOOPERACJA
Mikroewolucja (II)
• Ewolucja biologiczna: selekcja naturalna wśród organizmów.
• Ewolucja ontogenetyczna(Ontogenetic evolution): naturalna selekcja w ramach jednego organizmu.
11
Numerical Numerical tetesststs
TestsTests
11
BraninBranin FunctionFunction
Goldstein Goldstein –– Price FunctionPrice Function
RastriginRastrigin FunctionFunction
GriewangkGriewangk Function Function
Tested mathematical functionsTested mathematical functions
The number of subpopulations
The number of chrom.
Simple crossover
Gaussian mutation
1 20 100% 100% 2 10 100% 100%
TestTest 11
11
(((( ))))2
22 1 1 12
5 5 1( ) 6 10 1 cos 10
4 8F x x x x x
π π ππ π ππ π ππ π π = − + − + − += − + − + − += − + − + − += − + − + − +
1 25 10, 0 15x x− ≤ ≤ ≤ ≤− ≤ ≤ ≤ ≤− ≤ ≤ ≤ ≤− ≤ ≤ ≤ ≤
(((( )))) (((( )))) (((( )))) (((( ))))min ,12.275 ,2.275 9.42478,2.475 0.397887F x F F Fπ ππ ππ ππ π= − = = == − = = == − = = == − = = =
The The BraninBranin functionfunction
TThe comparisonhe comparisonSEA DEA AIS
Average number objective function evaluations 188 155 171
The number of memory
cells
The number of the clones
Crowding factor
Gaussian mutation
2 2 0.48 10%
The optimal parameters of The optimal parameters of AISAIS
The optimal parameters of The optimal parameters of EAEA
The stop condition:The stop condition: F(xF(x) < 0.5) < 0.5
The number of subpopulations
The number of chrom.
Simple crossover
Gaussian mutation
1 20 100% 100% 3 7 100% 100%
TestTest 22
11
The GoldsteinThe Goldstein--Price functionPrice function
TThe comparisonhe comparisonSEA DEA AIS
Average number objective function evaluations 287 188 325
The number of memory
cells
The number of the clones
Crowding factor
Gaussian mutation
12 2 0.45 50%
The optimal parameters of The optimal parameters of AISAIS
The optimal parameters of The optimal parameters of EAEA(((( )))) (((( ))))(((( ))))
(((( )))) (((( ))))(((( ))))2 2 2
1 2 1 1 2 1 2 2
2 2 21 2 1 1 2 1 2 2
( ) 1 1 19 14 13 14 6 3
30 2 3 18 32 12 48 36 27
F x x x x x x x x x
x x x x x x x x
= + + + − + − + += + + + − + − + += + + + − + − + += + + + − + − + +
+ − − + − − ++ − − + − − ++ − − + − − ++ − − + − − +
2 2ix− ≤ ≤− ≤ ≤− ≤ ≤− ≤ ≤
(((( )))) (((( ))))min 0,1 3F x F= == == == =
The stop condition:The stop condition: F(xF(x) < ) < 3.13.1
The number of subpopulations
The number of chrom.
Simple crossover
Gaussian mutation
1 20 100% 100% 2 10 100% 100%
TestTest 33
11
TThe comparisonhe comparisonSEA DEA AIS
Average number objective function evaluations 9293 4659 7897
The number of memory
cells
The number of the clones
Crowding factor
Gaussian mutation
2 4 0.45 40%
The optimal parameters of The optimal parameters of AISAIS
The optimal parameters of The optimal parameters of EAEA
The The RastriginRastrigin functionfunction
(((( ))))(((( ))))2
1
( ) 10 10cos 2n
i ii
F x n x xππππ====
= + −= + −= + −= + −∑∑∑∑
(((( ))))5.12 5.12ix− ≤ ≤− ≤ ≤− ≤ ≤− ≤ ≤
for n=2for n=2
(((( )))) (((( ))))min 0,0, ,0 0F x F= == == == =…………
The stop condition:The stop condition: F(xF(x) < 0.) < 0.11
n=20
The number of subpopulations
The number of chrom.
Simple crossover
Gaussian mutation
1 10 100% 100% 2 5 100% 100%
TestTest 44
11
TThe comparisonhe comparisonSEA DEA AIS
Average number objective function evaluations 22285 13594 6019
The number of memory
cells
The number of the clones
Crowding factor
Gaussian mutation
2 2 0.45 10%
The optimal parameters of The optimal parameters of AISAIS
The optimal parameters of The optimal parameters of EAEA
2
1 1
( ) 1 cos4000
n ni i
i i
x xF x
i= == == == =
= + −= + −= + −= + −
∑∑∑∑ ∏∏∏∏600 600ix− ≤ ≤− ≤ ≤− ≤ ≤− ≤ ≤
(((( )))) (((( ))))min 0,0, ,0 0F x F= == == == =…………
for n=2for n=2
The The GriewangkGriewangkfunctionfunction
The stop condition:The stop condition: F(xF(x) < 0.) < 0.11
for n=20
Biologicznie inspirowane metody obliczeniowe
Przykłady zastosowań w zagadnieniach odwrotnych inŜynierii biomedycznej
1. Identyfikacja ewolucyjna parametrów materiałowych kości miednicznej człowieka
2. Połączenie termografii z obliczeniami ewolucyjnymi – identyfikacja tkanki rakowej w
piersi
Rozproszone algorytmy ewolucyjneRozproszone algorytmy ewolucyjnew identyfikacji ww identyfikacji włłasnoasnośści materiaci materiałłowych owych
kokośści miednicyci miednicy
A.John, P.Orantek
veryficationveryfication
GeometricalGeometricaldata data HumanHumanpelvicpelvic bonebone ESPI ESPI MethodMethod((scannerscanner, CT), CT)
NumericalNumericalmodel model ExperimentExperiment
MaterialMaterial IdentificationIdentification MeasurementMeasurementPropertiesProperties ofof materialmaterial stationstation
coefficientscoefficientsBoundaryBoundary ((InverseInverseproblem) problem) BoundaryBoundaryConditionsConditions ConditionsConditions
LoadsLoads LoadsLoads
DisplacementsDisplacements YoungYoungmodulusmodulusEE11, E, E22 DisplacementsDisplacementsStrainsStrains PoissonPoisson’’ ss ratioratio νν11, , νν22
StressesStresses MechanicalMechanicaltesttest
Model of pelvis consists of two types of bone: cortical bone and trabecular bone
Pomiary eksperymentalne przemieszczeń
ˆmin ( ) *100
ˆi i
k i i
u uF
u
−≡∑∑x
x
Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni
– funkcja przystosowania
Przemieszczenia otrzymano na podstawie pomiarów metodą ESPI
liczba punktów w których porównano wartości przemieszczeń: 50
Mapy przemieszczeń (ESPI interferometria plamkowa i tensometry)
-10
-5
0
5
10
15
20
25
225 250 275 300 325 350
obci ąŜe nie [N]
prz
em
ies
zcz
en
ie [
m]
A
B
C
D
E
F
G
H
I
AJ
BHC
DG
E
F
I
AJ
BHC
DG
E
F
ˆiu displacements measured in i-th point of the bone
iu displacements computed for i-th point of the bone
Material coefficients identification – numerical model
42601 nodes127803 degrees of freedomTetra 10 DOF elements2 materials7 load casescomputing time (MSC/Nastran 2001)~40sek on 1.4GHz Pentium Xeon
Material coefficients identification
ˆmin ( ) i ik i
F u u≡ −∑∑x
x
ˆiu displacements measured in i-th point of the bone
ˆiu displacements computed for i-th point of the bone for vector of coefficients x
Minimization of fitness function:
Design variables - genes:E1 – cortical bone Young’s modulus ν1 – cortical bone Poisson’s ratioE2 – trabecular bone Young’s modulus ν2 – trabecular bone Poisson’s ratio
load casesk
ˆmin ( ) *100
ˆi i
k i i
u uF
u
−≡∑∑x
xor
Results :
E1=4283 MPaν1=0.2E2=531 MPaν2=0.2
Evolutionary algorithm - results
Constrains :
2000<E1<8000 MPa0.2<ν1<0.4550<E2<600 MPa0.2<ν2<0.45
E1 – cortical bone Young’s modulus ν1 – cortical bone Poisson’s ratioE2 – trabecular bone Young’s modulus ν2 – trabecular bone Poisson’s ratio
107th generation(1528 f.f. evaluations)
ˆmin ( ) i ik i
F u u≡ −∑∑x
x
Material coefficients identification - numerical model with 2 regions
Results :
E1= 15826 MPaν1=0.44E2=50 MPaν2=0.2E3= 2828 MPaν3=0.2E4=574 MPaν4=0.2
Evolutionary algorithm - results
Constrains :2000<E1<18000 MPa0.2<ν1<0.4550<E2<600 MPa0.2<ν2<0.452000<E3<8000 MPa0.2<ν3<0.4550<E4<600 MPa0.2<ν4<0.45
E1 E3– cortical bone Young’s modulus ν1 ν3– cortical bone Poisson’s ratioE2 E4– trabecular bone Young’s modulus ν2 ν4– trabecular bone Poisson’s ratio
228th generation(3526 f.f. evaluations)
ˆmin ( ) *100
ˆi i
k i i
u uF
u
−≡∑∑x
x
Rozkład gęstości (modułów Younga) dla układu opisany jest za pomocą hiperpowierzchni
( ) ( ), , , , , tE x y z x y zρ → ∈Ω
( ), , ,W x y z ( ) 3, ,x y z H∈
Kształt hiperpowierzchni jest kontrolowany za pomocągenów dj, j=1,…,N, które tworzą chromosom
1 2, ,..., ,...,j Nch d d d d=
Geny chromosomu są wartościami funkcji dla węzłów interpolacyjnych ,
( ), ,W x y z( ), ,
jx y z
( ), ,j jd W x y z =
, j=1,2,…,N.
Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni
Hiperpowierzchnia jest wyraŜona za pomocą:
( )1
1 1 1
27
( , , )
d
W x y z X Y Z
d
− − −
= Φ ⊗ ⊗ ÷
gdzie: Φ ⊗ ⊗2 2 2
2 2 2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
=[1,x,x ] [1,y,y ] [1,z,z ]=
[1,z,z ,y,yz,yz ,y ,y z,y z ,x,xz,xz ,xy,xyz,xyz ,xy ,xy z,xy z ,
x ,x z,x z ,x y,x yz,x yz ,x y ,x y z,x y z ]
natomiast X, Y i Z są macierzami:
1 0 0
1 1 1
1 2 4
= = =
X Y Z
Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni
Rozmieszczenie punktów kontrolnych (węzłów interpolacyjnych)
A=2
B=2
C=2
Na geny nałoŜone są następujące ograniczenia:
min maxj j jd d d≤ ≤
Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni
Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni
Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni
– wynik kość korowa
Identyfikacja parametrów materiałowych z wykorzystaniem hiperpowierzchni
– wynik kość gąbczasta
I
Algorytmy ewolucyjne w termografiiAlgorytmy ewolucyjne w termografii
E.Majchrzak, M.Paruch
The body surface temperature depends on:
- metabolism
- blood perfusion
- thermophysical tissue parameters
- convection
Kamera termowizyjna B20 HS jest wyposaŜona w odłączany pulpit zdalnego sterowania z 4 calowym kolorowym monitorem LCD. Ten pulpit moŜe jest przymocowany do kamery lub po rozwinięciu spiralnego kabla wykorzystany do jej zdalnego sterowania przez zdublowane przyciski sterujące.
Termogramy kończynyMała perfuzja w palcach. Ich temperatura (ok.. 7C) jest znacznie mniejsza od temperatury tkanki zdrowej.Martwica w palcach, głownie w palcu duŜym.
Termogramy pacjentki z przewlekłym stanem zapalnym Ŝuchwy leczonej hiperbarią tlenową
I
Healthy tissue
The tumor diagnostic with use of body surface temperatures (Res Ltd. – RTM-01)
9 sensor points, accuracy 0.1 C
Tumor in left breast
Healthy tissue
3-D FE Model
Inverse problem
Fitness function:
2
1
ˆ( ) ( ) ( ) ( )n
ii
J T y T y y y d yδ=Γ
= − − Γ ∑∫
where:
ΤΤΤΤ - measured skin surface temperature
ΤΤΤΤ - temperature obtained using numerical model
n - number of sensor points
Direct problem
Geometrical model:Mathematical model:
Pennes equation:
( ) ( )2
:
λ 0
e
e e pe e me
x
T x k T x Q
∈ Ω
∇ − + =
Boundary conditions:
( ) ( )[ ]( )
( ) ( )( ) ( )
1 1
2 1
1 2
1 2
: α
:
:
ot
b
c
x q x T x T
x T x T
T x T xx
q x q x
∈Γ = −∈Γ =
=∈Γ = −
λ – thermal condutivity,
k – perfusion coefficient,
Qm – metabolism heat generation
( ) ( ) ( ) ( )
( ) ( )
( )
1
1
1
*11 1
0 1
*11
0 1
1
*1 1
11 1
ξ ξ ξ, dλ
ξ, dλ
ξ, dλ λ
c
c
c
l
ll
l
ll
l
ll
kB T q x V x
kT x Z x
Q kZ x
∞
= Γ ∪Γ
∞
= Γ ∪Γ
−∞
= Γ ∪Γ
+ Γ =
Γ −
Γ
∑ ∫
∑ ∫
∑ ∫
( ) ( ) ( ) ( )
( ) ( )
( )
*22 2
0 2
*22
0 2
1
*2 2
12 2
ξ ξ ξ, dλ
ξ, dλ
ξ, dλ λ
c
c
c
l
ll
l
ll
l
ll
kB T q x V x
kT x Z x
Q kZ x
∞
= Γ
∞
= Γ
−∞
= Γ
+ Γ =
Γ −
Γ
∑ ∫
∑ ∫
∑ ∫
Domain Ω2 (tumor)
BEM
Domain Ω1
Boundary temperature:Tb = 37 [°C]
α = 10 [W/m2K]Tot = 25 [°C]
Healthy tissue
Thermal conductivity:λ1 = 0.5 [W/mK]
Metabolism heat generation:Qm1 = 420 [W/m3]
Perfusion coefficient:k1 = 1998.1 [W/m3K]
Geometry:0.14×0.10×0.06 [m]
Tumor
Thermal conductivity :λ2 = 0.75 [W/mK]
Metabolism heat generation:Qm2 = 4200 [W/m3]
Perfusion coefficient:k2 = 7992.4 [W/m3K]
Geometry:R1 = 0.044, R2 = 0.034, R3 = 0.02 [m]x1 = 0.03, x2 = 0.015, x3 = 0.035 [m]α= 30, β = 15, γ = 20 [°]
Thermal analysis of biological tissue
Numerical simulation for 3D model
Healthy tissue : Tumor in the breast :
Inverse problem – EA – results
Design variable
Actualvalue
The firstgeneration
Error %The bestgeneration
Error %
[m] 0.03 -0.0218 172.66 0.0296 1.33
[m] 0.015 -0.0281 287.33 0.0164 9.33
[m] 0.035 0.0082 76.57 0.0310 11.43
[m] 0.044 0.0090 79.54 0.0402 8.64
[m] 0.034 0.0042 87.64 0.0398 17.06
[m] 0.02 0.0072 64.00 0.0210 5.00
[°] 30 87.83 192.76 30.05 0.16
[°] 15 62.28 315.20 13.21 11.93
[°] 20 78.29 291.45 21.31 6.55
1Sx
2Sx
3Sx
1R
2R
3Rα
βγ
number of chromosome 50
number of generation 300
probability of uniform mutation 40%
probability of nonuniform mutation 30%
probability of arithmetic crossover 40%
probability of clonning 10%
Coupling of evolutionary algorithmand artificial neural network in
defect identification
Intelligent Computational System
Introduction - the fitness function
( ) ( ) 2
1
ˆ( )S
i ii
F ch w u x u x=
= ⋅ − ∑ˆ( )iu x - the measured displacements at
sensor point xi (i = 1,2, ... ,n)( )iu x - the computed displacements at
sensor point xi (i = 1,2, ... ,n)ch - the chromosome
elastostatic problem
( ) ( ) 2
1 1
ˆ( ) , ,S L
i j i ji j
F ch w u x t u x t= =
= ⋅ − ∑∑ˆ( , )i ju x t - the measured displacements at
sensor point xi (i = 1,2, ... ,n) in time step tj( , )i ju x t - the computed displacements at sensor point xi (i = 1,2, ... ,n) in time step tj
elastodynamic problem
( )2
1
ˆ( )F
w j jj
F ch ω ω=
= ⋅ −∑ˆ ( )ixω - the measured natural frequencies
( )ixω - the computed natural frequencies
eigenvalue problem
Introduction – evolutionary algorithm + BEM
great possibility of finding a global solution
identify kind, positionand number of defects
the knowledge about gradient is not necessary
the boundary-value problem has to be solved for each chromosome
very long time of computation
the time strongly dependson the geometry of the body
COMPUTATION OF THE FITNESS FUNCTION NEEDS TO BE IMPROVED
Introduction – how to speed up
?
Introduction – evolutionary algorithm + BEM
Computational inteligence system
Gaussian functionsGaussian function
21( ; , ) exp
2
x tf x y σ
σ
− = −
t=0.0, σ=1.0;
Pseudo-gaussian function
2
2
2
2
exp
exp
1 ( )( ; , , ) ( ; , )
2
1 ( ) ( ; , )
2
L PL
P
x tf x y U x t
x tU x t
σ
σ
σ σ −
−
−= ⋅ −∞
−+ ⋅ ∞
where1 for a x<b
( ; , )0 otherwise
U x a b≤
=
t=0.0; σL=1.0, σP=2.0
Fuzzy inference system
Membership functions: – gaussian– pseudo-gaussian
Fuzzyfication:)()()()( 2211 nAnAAA xxxx µµµµ …=
µA(x) – membership function of the conclusion part of the rule A,µAi(xi) – the degree of true of each input for each rule premise.
Composition - centroid of area method:
( )
( )∑
∑
=
== M
llA
M
llAl
x
xcy
1)(
1)(
µ
µ
cl – the centre of fuzzy set of the ruleA(l),µA
(l) (x) – the membership function computed in inference step,l=1,2,…,M - the number of the rule
Fuzzy inference system
)()()()( 2211 nAnAAA xxxx µµµµ …=
( )
( )∑ ∏
∑ ∏
= =
= =
=M
l
N
iil
iA
M
l
N
iil
iAl
x
xcxf
1 1)(
1 1)(
)(µ
µ
( )
( )∑
∑
=
== M
llA
M
llAl
x
xcy
1)(
1)(
µ
µ
( )
1 1
( )
1 1
( )
NMl
l il i
NMl
il i
W
f x
µ
µ
= =
= =
=∑ ∏
∑∏
2( )( )
( )( ) exp
ll i i
ii li
x cxµ
σ
− = −
( )2( )
( )( )
2( )
( )
exp
exp
( ; , )
+ ( ; , )
ll i i
i liL
li i
liP
x tx U x t
x tU x t
µσ
σ
−
−
− = ⋅ −∞
− ⋅ ∞
Membership functions:
Fuzzy inference system
Radial basis function neural network
( ) ( )2
21
1exp
2
Nij
ij ij=
− Ψ = −
∑jx t
xσσσσ
( )01
( )K
i ii
f x W W x=
= + Ψ∑
Identification problem - chromosome
max max max1 1 1, , ,, , , , , , , ,i i i D D Dch X Y R X Y R X Y R = … …
Position and size of defect
( ) ⇒<∀= min0 RRR ii genes Xi, Yi, Ri are inactive
max max max1 1 1, , ,, , , ,0, , , ,i i D D Dch X Y R X Y X Y R = … …
this defect does not exist
the number of active sets is the number of defects
Numerical example- results
Numerical example
Horizontal and vertical displacements in elastodynamic
D = 1 or D = 2
Kind: void or crack
D,
unknown:
Xi,
Yi
kind
Dmax = 2
Ri,
Identification problem - chromosome
[ ]1 1 11 12 1 2 2 21 22 2, , , , , , , , ,ch X Y R R X Y R Rα α=
first defect
If R11>R1_min and R21>R1_min then there are two circular voids
second defect
If R11>R1_min and R21<R1_minor R11<R1_min and R21>R1_min then there is one circular void
If R11<R1_min and R21<R1_minand R12>R2_min or R22>R2_min then there is a crack
Numerical example- results
Identification time- example
Identification time of the EA connected with BEM:• 11 min. 40 sec. for the plate with one defect (Dmax= 2, D = 1) – Fig. a)• 22 min. 25 sec. for the plate with two defects (Dmax= 2, D = 1) – Fig. b)
Identification time of the EA connected with FIS:• 18 sec. in both cases
Idetifying on the basis of three eigenfrequencies and three boundary displacements
Inteligencja obliczeniowa• nowe techniki obliczeniowe w nauce i technice, za pomocą których moŜna modelować, analizowaćlub optymalizować złoŜone zjawiska i układy, dla których bardziej precyzyjne narzędzia naukowe stosowane w przeszłości były niezdolne dać tanie i pełne (zupełne) rozwiązanie,
• tym róŜnią od konwencjonalnych obliczeń ostrych (hard computing), Ŝe są odporne na brak precyzji, nieokresloność, częsciową (niepełną) prawdę i przybliŜenie.
• w rezultacie rolę modelu w obliczeniach inteligentnych spełnia w jakimś sensie system biologiczny.
• przypominają bardziej ludzkie rozumienie niŜ tradycyjne techniki, które są w znacznym stopniu oparte na konwencjonalnych systemachlogicznych.
Wnioski
• Sztuczne sieci neuronowe• Algorytmy ewolucyjne• Sztuczne systemy immunologicznewykorzystują metafory biologiczne w ”inteligencji obliczeniowej”.
Tradycyjne inŜynierskie podejście w rozwiązywaniu problemów:(i) Analiza konkretnego problemu,(ii) Sformułowanie rygorystycznych załoŜeń,(iii)Sukcesywne ich realizowanie
Charakterystyka „inteligencji obliczeniowej”:(i) Elastyczność,(ii) Wysoka odporność na niewielkie zaburzenia występujące
w realizacji bądź własnościach róŜnych komponentów konstruowanego systemu.