Dr hab. ini. Robert Koprowski, prof. uS Instytui Inzynierii Biomedycznej Uniwersytel Slqski ul. B^dzinska 39 41-200 Sosnowiec

Sosnowiec 17.07.2020 r.

RECENZJArozprawy doktorskiej mgr inz. Alicji Kwasniewskiej

w zwi^zku z post^powaniem w sprawie nadania w/w stopnia doktora nauk in^nieryjno-technicznych w dyscyplinie in^nieria

biomedyczna.

Niniejsza ocena zostala opracowana na podstawie pisma Prorektora ds. nauki Polilechniki

Gdariskiej prof dr hab. ini. Stawomira Milewskiego, z dnia 25.06.2020 r.

1. Znaczenie podietei tematyki

Metody analizy i przetwarzania obrazow medycznych coraz bardziej dojrzale i

zarowno od strony naukowej, jak tei zastosowah w praktyce lekarskiej. Pomimo tego wcigi

musz^ bye profilowane do diagnostyki okre^lonej jednostki chorobowej, przyjmuj^c zaloione

kryteria wykluczenia paejentow. Dodatkowo obrazowanie w swietle podezerwonym wymaga

zastosowania innych metod analizy nii w przypadku iwiatla widzialnego, do wykrywania

tych samych elementow na obrazie np. konturow czy obiektow. Ta zloionos(J problematyki

niejednokrotnie wymaga zastosowania metod

uezenia gl^bokiego

I poznane

uezenia maszynowego. Zastosowanie metodwielu przypadkach jest jedynym wyjsciem pozwalaj^cym na

otrzymanie zadowalaj^cej czulosci i specyficznoSci zar6wno w diagnostyce medyeznej, jak

tci analizie

w

sceny. Dla kaidej z wybranych metod przetwarzania obrazow niezmiemie

wainym Jest analiza czulosci na zmiany osobnicze paejentow czy spos6b przeprowadzania

pomiaru przez technika. Te, wspomniane powyiej elementy, zostaly przedstawione

w niniejszej rozprawie.

1RPU/lU31/2e2e N DaU: 2020-07-23

J

2. Struktura rozprawv

Rozprawa doktorska Pani mgr ini. Alicji Kwa^niewskiej, pt. "Metody analizy obrazow

termograficznych z wykorzystaniem technik uczenia gi^bokiego dla potrzeb zdalnej

diagnosiyki medycznej" (ang. "Thermal Images Analysis Methods using Deep Learning

Techniques for the Needs of Remote Medical Diagnostics"), obejmuje 189 stron podzielonych

na 8 rozdzialow, spis rysunkow, spis tabel, dwa dodatki, spis skrotdw i oznaczeh, spis

literatury, oraz streszczenie wj^zyku polskim i angielskim. Praca zostala napisana w j^zyku

angielskim, pod kierunkiem naukowym dr hab. in;^. Jacka Rumihskiego, prof. PG. Struktura

rozprawy jest prawidlowa.

Pierwszy rozdzial dotyczy wprowadzenia Czytelnika w metody sztucznej inteligencji

w medycynie. Autorka wspomina w nim o wspolczesnym zastosowaniu metod sztucznej

inteligencji oraz przedstawia tezy rozprawy.

Rozdzial drugi dotyczy omowienia typowych metod analizy i przetwarzania obrazow

ze szczegolnym uwzgl^dnieniem detekcji kraw^dzi, progowania czy teZ metod klasteryzacji.

Autorka wprowadza algorytmy stosowane do wykrywania obiektow, ze szczegolnym

uwzgl^dnieniem analizy lermicznej obrazow twarzy. Prezentowane metody obejmujq techniki

stosowane do definiowania cech dzialajqcych jako deskryptory obiektow, a nast^pnie znane

metody przetwarzania obrazu i uczenia maszynowego, i wreszcie nowsze metody AI.

W rozdziale trzecim Doktorantka przedstawia metody akwizycji danych

termowizyjnych oraz znane sposoby polepszenia ich jakoki. W opisie akwizycji obrazow

w szczegolny spos6b uwzgl^dniono roZne scenariusze zdalnej diagnostyki medycznej.

Czwarty rozdzial zostal po^wi^cony analizie wykrywania rysow twarzy ze

szczegolnym uwzgl^dnieniem poloienia nosa i oczu. W rozdziale tym przedstawiono

porownanie obrazow termowizyjnych z obrazami wykonywanymi w swietle widzialnym.

Dodatkowo przeanalizowano wplyw indywidualnych ustawieh kamery wzgl^dem pacjenta na

otrzymywane wyniki. W rozdziale tym porownano iei czas analizy dla ro^ych konfiguracji

sieci dla wybranego typu procesora.

W kolejnym piqtym rozdziale przedstawiono zagadnienie zwi^kszania rozdzielczosci

obrazu. W spos6b szczegolny zwrocono uwag^ na splotowq siec neuronowa i jej

zastosowanie do obrazow termowizyjnych. Przedstawione modele sieci zostaly

przeanalizowane od strony mo^liwo^ci ich wykorzystania do zidentyfikowania blokow

2

i struktur obrazu, ktore mogtyby byd potencjalnie przydatne do termicznego przetwarzania

obrazu. Dodatkowo, w tym rozdziale Autorka proponuje i omawia wlasnoki nowej

zaproponowanej sieci DNN (Deep Neural Network) ktora zostala zaprojektowana do poprawy

jakosci obrazu termowizyjnego.

W rozdziale szdstym omowiono zaproponowane nowe i zmodyfikowane znane

wyprofilowanego dla obrazow termowizyjnych.

Przeprowadzone pomiary potwierdzily, te kluczowe znaczenie dla poprawy dokladnosci

obrazu ma przyj^ta metoda wykrywania twarzy. W rozdziale tym udowodniono, ie

zaproponowane wysokorozdzielcze metody analizy obrazu pozwalaj^ na zwi^kszenie

dokladnosci dopasowania kolejnych obrazdw (loU) o co najmniej 15% w porownaniu

z metodami klasycznymi stosowanymi do obrazow oryginalnych. Dodatkowo.

rozdziale zaproponowano mo^liwo^ci zastosowania wprowadzonej sieci dla irmych aplikacji

pracujgcych w zakresie medycznych systemow diagnostycznych.

W rozdziale siddmym i osmym odpowiednio przedstawiono kierunki dalszych badan

oraz podsumowanie rozprawy.

metody uczenia gl^bokiego,

w tym

Rozprawy konczy bibliografia zawieraj^ca 275 pozycji (w pi^tnastu z nich

Dokioranlka jest wspdlautorem) oraz streszczenie wj?zyku polskim i angielskim.

W rozprawie zamieszczono te^ spis label, zawieraj^cy 22 tabele oraz spis rysunkow,

zawieraj^cy 68 podpisdw.

Do rozprawy dol^czono teZ dwa dodatki. Pierwszy z nich dotyczy osi^gni^c

Doktorantki i zawiera spis publikacji obejmuj^cy 23 pozycje, dane dw6ch projekt6w oraz

wykaz c> lowah. Drugi dodatek to rysunek zaproponowanej architektury CNN.

3. Cel pracv i teza rozprawy

Dwie tezy rozprawy zostaly przedstawione przez Autork? w pierwszym rozdziale

(podrozdzial 1.4, str. 21), ktore brzmi^: "Architecture of Deep Neural Network designed for

classification of visible light images can be modified in such a way that distribution of

extracted features will be recreated enabling detection of facial areas from low resolution

thermal data" oraz "Proposed architecture of Deep Convolutional Neural Networks allows for

increasing resolution of thermal images leading to improvement of facial areas detection

3

accuracy". Te dwie tezy pracy zostaJy postawione w sposob prawidiowy. Zarowno tezy pracy,

jak tez cele pracy, odpowiadaj^ zakresowi i tematyce rozprawy oraz okreslaj^ zakres

przeprowadzonych badan. Autorka w tre^ci rozprawy w rozdziale czwartym udowodnila

pierwszij tez?. W rozdziale piqtym i szostym udowodniono drugq tez? i tym samym

potwierdzono nowy wklad w inzynieri? biomedyczn^ a zwlaszcza metody przetwarzania

i analizy obrazow termowizyjnych.

4. Metodvka badan

Badania zostaly przeprowadzone na grupie 26 zdrowych ochotnikach w wieku ok. 26 lat, dla

ktdrych zarejestrowano 60 sekundowe sekwencje obrazdw termowizyjnych twarzy. Autorka

stworzyla na tej podstawie baz? danych odpowiednio reorganizuj^c dane w ramach biei^cych

potrzeb i przeprowadzanych kolejnych testdw modyfikowanych sieci. Badania w tym zakresie

zostaly poprzedzone analizy wplywu ustawieh pacjenta wzgl?dem kamery oraz metody

polepszania rozdzielczosci obrazu, stosuj^c mi?dzy innymi dekonwolucj? obrazu.

Kluczowym rozpoznawanym elementem byly oczy i nos pacjenta. W tym zakresie

Doktorantka prawidlowo dobrala zestaw testow. Na uwag? zasluguje teZ analiza wplywu

cyklu oddechowego, bicia serca czy zmian rozdzielczosci obrazu na otrzymywane wyniki

(niezwykle przydatny od strony praktycznej jest wykres przedstawiony na rys. 6.8 i 6.9

dotycz^cy rozpoznawania twarzy i wplywu na niego rozdzielczosci obrazu). Autorka

rozwi^zala zatem postawiony problem i uzyla do tego wlaSciwych metod dowodz^c, Ze

posiada umiej?tnosci zwi^zane z metodyk^ i metodologi^ prowadzenia badan naukowych w

zakresie obrazowania w inZynierii biomedycznej.

Pomimo tego ponadprzeci?tnego wkladu w inZynieri? biomedyczn^, Autorka nie

ustrzegla si? od drobnych usterek merytorycznych i W?d6w redakcyjnych. Chcialbym, Zeby

Doktoranta odniosla si? do tych pierwszych podczas publicznej obrony.

Usterki/pytania merytoryczne do dyskusji:

1. Jedn^ z wielu zalet niniejszej rozprawy jest analiza wplywu umieszczenia (zmian

polozenia) pacjenta na scenic na otrzymywane wyniki. Interesujqcym bylyby wyniki

analizy dokladnosci rozpoznawania nosa i oczu pacjenta dla transformacji

afinicznych. Przykladowo w jaki spos6b wplywa obrot obrazu o 1° czy 2° na

otrzymywane wyniki?

4

2. Czy byly weryfikowane r6^ne scenariusze akwizycji obrazow przeprowadzone dla

ro^nych operatorow? Czy stworzona metoda jest w stanie dopasowac si? do

indywidualnych cech operatora kamery, np. specyfiki w ktorej ustawia pacjenta?

3. Jaki jest wynik porownania obrazow termowizyjnych z obrazami wykonywanymi

w swietle widzialnym w kontekscie trudno^ci ich analizy? Czy wykrywanie

giowy, cyklu oddechowego jest latwiejsze/trudniejsze dla obrazdw termowizyjnych?

Jezeli tak to dlaczego? Bye moie pomocna bylaby tutaj tabela porownawcza.

4. Czy S4 jakies kryteria wykluczenia analizowanych paejentow, np. paejent z gor^ezk^

lub bolem gtowy b?dzie prawidJowo rozpoznany?

5. W wielu miejscach pracy brakuje wskazania rozdzielczosci obrazu zwlaszcza

nosa, ust.

na rys.5.11, 5.12, 6.5, 6.6, Jaka byta metoda zmiany rozmiaru/rozdzielczo^ci obrazu podezas

umieszczania go w tekscie rozprawy?

6. W jaki sposob wptywajgc zmian? rozktadu temperatury twarzy np. poprzez

pocieranie w obszarze nosa, wplywa si? na skutecznosci rozpoznawania os6b?na

7. W jaki spos6b zaproponowana metoda zwi?kszenia rozdzielczosci

termowizyjnych wplywa na zmiany warloSci poszczegolnych pikseli?obrazow

Bl?dy redakcyjne:

1. W spisie treSci brakuje pozycji bibliografia.

2. W tresci pracy "x" powinien zosla6 zamieniony na symbol iloczynu kartezjahskiego

3. W mojej ocenie wlasciwszym byloby umieszczenie w dodatku tylko tych prac Doktorantki, kt6re nie zostaly cytowane i umieszczone w bibliografii. W obecnej

formic wide prac Doktorantki jest powielonych.

4. W kilku miejscach pracy i tez w tytule podrozdzialu pojawia si? sformulowanie

"thermal domain". Wlasciwszym byloby odniesienie si? do dlugosci fali.

5. Obrazy twarzy pacjenta po lewej stronie na rysunku 5.14 nie wnosz^ nowej wiedzy

i powinny by6 usuni?te lub skonsolidowane, podobnie rys 5.10.

6. Na wi?kszoSci rysunkdw z obrazami termowizyjnymi brakuje palety barw. Z rysunku

3.6 (str. 50) mozna przypuszczac, Ze paleta barw jest liniowa, a bialy to odpowiednik

piksela o najwyZszej temperaturze. Czy jednak dla wszystkich prezentowanych

■ rozprawie obrazow termowizyjnych paleta barw obejmowala pdny zakres

temperatur wyst?puj^cych na obrazie? Czy, byd moZe, jej zakres temperatur byl staly?w

5

7. Podpis pod rys. 2.1 sugeruje, tt obraz powinien by6 kolorowy, tymczasem jest

w poziomach szaro^ci.

8. W calej pracy znalazlem kilka drobnych bl^ddw interpunkcyjnych i pomylek

edytorskich. Na przyklad str. 130 "[?]", wzor 6.1

w tabeli 6.8 itp.

Wskazane drobne bl^dy merytoryczne i redakcyjne w Zaden sposob nie umniejszaj^

duzego w kladu Doktorantki w inZynieri^ biomedyczn^. Stanowi^ jedynie wskazanie pewnych

obszarow do dyskusji, ktore tez mog^ posluZyc Doklorantce jako pewne wskaz6wki w dalszej

aktywnosci naukowej.

jest dziataniem splotu, symbole

5. Podsumowanie i wnioski koAcowe

Po szczegolowej analizie calej rozprawy stwierdzam, Ze Pani mgr inZ. Alicja Kwasniewska

wykazala si? duZ^ wiedz^ z zakresu analizy i przetwarzania obrazow termowizyjnych, a takze

opanowanicm i sprawnym poslugiwaniem si? warsztatem badawczym w zakresie metod

sztucznej inteligencji. Rozprawa doktorska mgr inZ. Alicji Kwasniewskiej pt. "Metody

analizy obrazow termograficznych z wykorzystaniem technik uczenia gl?bokiego dla potrzeb

zdalnej diagnostyki medycznej” (ang. "Thermal Images Analysis Methods using Deep

Learning I'echniques for the Needs of Remote Medical Diagnostics"), jest oryginalnym,

interesujqco przedstawionym, uzasadnionym i tworczym wkladem w dyscyplin? inZynieria

biomedyczna. Niniejsza rozprawa doktorska zawiera poprawnie sformulowany i rozwiqzany

problem badawczy oraz posiada bardzo duzy aspekt praktyczny, stanowi zatem oryginalne

rozwiqzanie problemu naukowego. Zgodnie zpowyZszym stwierdzam, Ze mgr inZ. Alicja

Kwasniewska spelnia wymogi formalne, oktorych mowa w art. 18 ustawy 595 z dnia 14

marca 2003 r. o stopniach naukowych i tytule naukowym oraz o stopniach i tytule w zakresie

sztuki oraz ustawy z dnia 3 lipca 2018 r., Przepisy wprowadzaj^ce ustaw? - Prawo

o szkolnictwie wyZszym i nauce (Dz. U. dnia 30 sierpnia 2018 r., poz. 1669) w sprawie

kryteriow oceny osiqgni?c osoby ubiegaj^cej si? o nadanie stopnia doktora. W zwi^zku

z powyzsz) m, wnioskuj? o dopuszczenie mgr inZ. Alicji Kwasniewskiej do dalszych etapow

przewodu doktorskiego.

Poniewaz przedstawiona rozprawa wyraznie wykracza poza typowy poziom przyj?ty

dla rozpraw doktorskich w dyscyplinie inZynieria biomedyczna, wnioskuj? o jej wyr6Znienie.