WYK Ł AD ISYP: Zagadnienia techniki klastrowej...

55
POLITECHNIKA WARSZAWSKA Wydzial Elektroniki i Technik Informacyjnych Instytut Systemów Elektronicznych WYKLAD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP Jacek Zysik

Transcript of WYK Ł AD ISYP: Zagadnienia techniki klastrowej...

Page 1: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

POLITECHNIKA WARSZAWSKA

Wydział Elektroniki i Technik InformacyjnychInstytut Systemów Elektronicznych

WYKŁAD ISYP:

Zagadnienia techniki klastrowej wykorzystywanej

w pracowni PERG/ELHEP

Jacek Zysik

Page 2: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Plan wykładu:

• Wprowadzenie

• Wiadomości wstępne: definicje, zasady działania

• Przykładowy projekt klastra komputerowego

• Wyniki oraz wnioski z przeprowadzonych testów na stworzonym systemie

• Wykorzystanie klastra w doświadzczeniach fizycznych

• Projekt i założenia klastra w pracowni PERG/ELHEP

• Systemy zarządzania klastrami obliczeniowymi –wstęp,definicje, założenia

• Projekt wykonanego sytemu zarządzania

• Zakończenie

Page 3: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wprowadzenie:

• Dynamiczny rozwój nauki i przemysłu –rosnące zapotrzebowanie na moc obliczeniową

• Postęp w produkcji typowych podzespołów komputerowych: CPU, RAM, szyny danych –rosnąca przepustowość i szybkość

• Superkomputery, czyli specjalizowane układy o wielkiej mocy obliczeniowej, budowane pod kątem określonych zadań

Page 4: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wprowadzenie:

Najszybszym takim układem na świecie (czerwiec, 2006) jest BlueGene/L - eServer Blue Gene Solutionfirmy IBM i amerykańskiego Departamentu Energii. Charakteryzuje się on mocą blisko 280 TFlops. Najszybszą maszyną tego typu w Polsce będzie superkomputer, który powstanie w Centrum Informatycznym Trójmiejskiej Akademickiej Sieci Komputerowej. Zaprojektowane urządzenie będzie charakteryzowało się mocą obliczeniową równą 25TFlops (25 bilionów operacji zmiennoprzecinkowych na sekundę). Będzie to jeden z największych superkomputerów w Europie.

Page 5: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wprowadzenie:

• Przykładem takich maszyn sąnp. PRIMEPOWER HPC2500 z National Aerospace Laboratory of Japan, wykorzystywany do prac nad badaniem oporów aerodynamicznych, lub superkomputer w Institute for Biomolecular Design, University of Alberta, w Kanadzie, który zostałspecjalnie skonstruowany do udziału w projekcie symulacji zjawisk zachodzących w komórce człowieka: „Cell Simulation”

Page 6: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wprowadzenie:

Wykorzystywanie superkomputerów, oprócz wszystkich swoich zalet, posiada jednak również pewne niedoskonałości. Jedną z nich jest niemożliwośćprzeprowadzenia uaktualnień sprzętu wraz z postępem technologicznym. Charakteryzują się także znaczącymi kosztami, zarówno w zakupie jak i w eksploatacji.

Są to mankamenty istotne, zwłaszcza biorąc pod uwagęnadzwyczajny postęp, jaki w ostatnich latach dokonał sięw technologiach procesorów, pamięci, magistral, sieci, a także samego oprogramowania i który to stworzyłmożliwość łączenia grup niedrogich komputerów osobistych oraz stacji roboczych, w układy mogące z powodzeniem rywalizować swą mocą obliczeniową z wieloma superkomputerami, w klastry.

Page 7: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wprowadzenie:Superkomputer Klaster

Nazwa Moc obliczeniowa Nazwa Moc obliczeniowa

eServer Blue Gene 280 TFlop PowerEdge 1850 38,7 TFlop

eServer pSeries 75,7 TFlop Sun Fire X4600 38,1 TFlop

SGI Altix 51,8 TFlop JS20 Cluster 27,9 TFlop

eServer Blue Gene 37,3 TFlop Intel Tiger4 19,9 TFlop

Cray XT3 36,1 TFlop Apple XServe 16,1 TFlop

Earth-Simulator 35,8 TFlop BladeCenter JS21 15,0 TFlop

Cray XT3 20,5 TFlop ASCI Q 13,8 TFlop

Tabela 1: Porównanie mocy obliczeniowych superkomputerów i klastrów obliczeniowych z pierwszej piętnastki listy TOP500 ( czerwiec, 2006)

Page 8: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wprowadzenie:

Możliwość inwestycji w maszyny powszechnie dostępne i tanie zauważyły wielkie ośrodki obliczeniowe, takie jak National Center for Supercomputing Applications (NCSA), Cornell Theory Center czy Europejskie Centrum BadańJądrowych (CERN) w Genewie, które to przewodzą zwrotowi w kierunku rozwiązańopartych na typowych elementach, platformach i połączeniach

Page 9: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wprowadzenie:

Badania i eksperymenty prowadzone w szwajcarskim ośrodku naukowym, związane są z opracowywaniem wielkich ilości danych i ich analizie. Np. w doświadczeniach Fizyki Wielkich Energii polegają one na rejestracji i obróbce wyników otrzymanych w trakcie zderzenia rozpędzonych cząstek elementarnych. W tym celu zbudowany został akcelerator Large Elektron Positron (LEP) o długości blisko 27km. W celu rejestracji wyników zderzeńrozpędzonych cząstek wykorzystuje się zestawy detektorów o wielkości 10x10x10m, obsługiwanych przez kilkuset osobowe zespoły fizyków. Każdy z tych detektorów rejestruje olbrzymie ilości danych z prędkością od 150MB/s do blisko 1,5GB/s. Daje to liczbę blisko kilkudziesięciu petabajtóww skali roku. W celu opracowania tak wielkich ilości informacji, niezbędna jest wielka moc obliczeniowa, jaką potrafią dostarczyć urządzenia klastrowe. Rozwiązanie bazujące na wykorzystaniu w tym celu standardowych maszyn

PC jest już powszechnie przyjęte w CERN.

Page 10: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wprowadzenie:

29 z 50 maszyn HP Kayak XA-s Dual PII należących do klastra NA49 w ośrodku badawczym CERN w Genewie

Page 11: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wprowadzenie:

Istotnym potwierdzeniem tej tendencji jest fakt, iż na aktualnej liście TOP500 która to zawiera najwydajniejsze superkomputery na świecie, widnieje aż 296 systemów uznawanych za klastry. Czyni je to najpowszechniejszymi urządzeniami stosowanymi do wysokonakładowych i czasochłonnych obliczeń

Udział systemów klastrowych na li ście TOP500

0

50

100

150

200

250

300

350

1997 1999 2001 2003

Rok ogłoszenia

Licz

ba s

yste

mów

Systemyklastrowe

Page 12: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wiadomości wstępne:

Klaster obliczeniowy (ang. computing cluster)jest to grupa, co najmniej dwóch komputerów lub stacji roboczych, komunikujących się ze sobąza pomocą możliwie najszybszych łączy, tworzących w rezultacie jeden, logiczny system obliczeniowy. Jednak w przeciwieństwie do typowych komputerów osobistych, węzły klastranie muszą posiadać ani monitorów, ani kart graficznych, ani klawiatur, mogą nawet nie miećstacji dysków. Ich zaletą jest w zamian to, iżmają: szybkie procesory, dużo pamięci oraz bardzo szybkie karty sieciowe.

Page 13: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wiadomości wstępne:

Chociaż w pewnym przybliżeniu architektura klastrów pecetowych jest podobna do aktualnych superkomputerów, to

jednak różni się tym, że wykorzystuje tylko

szeroko stosowane i dostępne podzespoły, w

przeciwieństwie do dedykowanych

elementów supermaszyn.

Page 14: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wiadomości wstępne:

Wymagane cechy klastrów obliczeniowych :

• Niezawodność (ang. reliability) - określa dopuszczalny czas przestoju i bezawaryjnej pracy. Niezawodność w systemach klastrowych podnosi konfiguracja węzłów. Są one odizolowane od siebie, zatem uszkodzenie jednego z nich eliminuje ryzyko wystąpienia awarii w innym węźle.

• Przezroczystość (ang. transparency) - użytkownik nie jest w stanie stwierdzić czy pracuje na klastrze czy na pojedynczym komputerze. Często złożoność operacji przeprowadzanych w systemie jest przed nim ukryta. Użytkownik nie zdaje sobie sprawy, jak skompilowany jest dany system i ilu innych użytkowników jednocześnie z niego korzysta. Jedynie inżynierowie i programiści są w stanie zauważyć i wykorzystać fakt pracy na maszynie klastrowej.

Page 15: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wiadomości wstępne:

• Równoważenie obciążenia (ang. load balansing) - ciągłe monitorowanie obciążenia procesora, zajętości pamięci operacyjnej czy wykorzystania sieci pozwala określić stopień obciążenia poszczególnych węzłów i całego systemu. Dane te umożliwiają podjęcie decyzji o przydziale zadań węzłom oraz określenie „wąskich gardeł”. Technologia ta dba o to, aby wraz z rosnącym obciążeniem, system klastrowy rozdzielał obciążenie pośród wszystkie węzły w równym stopniu. Każda instalacja klastrowa musi posiadać mechanizm zapewniający pełne wykorzystanie dostępnej mocy obliczeniowej.

• Skalowalność (ang. scalability) - to zdolność systemu do szybkiej i niezawodnej rozbudowy w momencie wystąpienia takiej potrzeby. Wiąże się to z tym, że wymagania użytkowników mogą wzrastać na przestrzeni czasu. Najlepiej, aby rozbudowa taka nie powodowała przerwania pracy systemu i aby wzrost wydajności był liniowo proporcjonalny do przyrostu mocy obliczeniowej wynikającej z dodania nowego węzła w systemie klastrowym.

Page 16: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wiadomości wstępne:

Podział systemów klastrowych:- Klastry do przetwarzania rozproszonego - słłłłużążążążą do masowego przetwarzania danych jednego rodzaju (np. danych naukowych lub procesów wizualizacji). Wymagająąąą specjalnie przygotowanych programów tworzonych przy użżżżyciu wyspecjalizowanych bibliotek programistycznych, takich jak:

- Message Passing Interface (MPI) - Parallel Virtual Machine (PVM).

Przykładem takiego klastra jest Beowulf

- Klastry serwerowe – przeznaczone są do utrzymywania bardzo obciążonych usług sieciowych (np. serwerów WWW) lub prostych zadań obliczeniowych. Ich główne zadania polega na równoważnym dystrybuowaniu obciążenia między poszczególne serwery-węzły klastra. W skład tej grupy wchodzi min. MOSIX oraz LVS

Page 17: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wiadomości wstępne:

Klastry HA (High Availability - duża dostępność) -nie zwiększają one wydajności serwisów, a mająjedynie eliminować tzw. SPOF (Single Point Of Failure) - pojedynczy punkt awarii - w razie uszkodzenia jednego z serwerów jego zadania są w sposób niewidoczny dla użytkowników przejmowane przez inny węzeł klastra.

Przykładem takiego klastra jest oprogramowanie Red Hat High Availability Server oraz oprogramowanie opracowywane w ramach projektu Linux HA (High Availability)

Page 18: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wiadomości wstępne:

Stosowane protokoły sieciowe do połączeń międzywęzłowych:

GigaEthernet – następca standardu Ethernet 10 Mbit i 100 Mbit. Najpowszechniej stosowany ze względu na koszty i łatwość obsługi. Charakteryzujący się dostępnością oraz dobrymi parametrami.

· ATM – charakteryzuje się większą prędkością i mniejszym opóźnieniem w porównaniu z Ethernetem dzięki stosowaniu mniejszych pakietów o różnej długości

· SCI – zalety zbliżone do GigaEthernetu. Dodatkowo możliwe jest tworzenie za jego pomocą systemów o pamięci dzielonej pomiędzy węzłami wchodzącymi w skład klastra.

· Myrinet – sieć oparta na standardzie otwartym. Szeroko stosowana w profesjonalnych systemach klastrowych, dzięki wysokowydajności oraz bardzo szerokiej przepustowości.

Page 19: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wiadomości wstępne:

Charakterystyka systemu MOSIX :

Oprogramowanie MOSIX to bezpłatne rozszerzenie jądra Linuxa, które umożliwia budowę klastra obliczeniowego na podstawie tanich komputerów PC. W ten sposób można łączyć wiele słabych maszyn, które samodzielnie nie byłyby już użyteczne. Powstało i jest rozwijane na Uniwersytecie Hebrajskim w Jerozolimie. Pierwotnie projekt był rozwijany w systemie BSD UNIX, ale obecnie jedyną platformą systemową jest Linux (i to jedynie platforma x86).

Page 20: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wiadomości wstępne:

Architektura MOSIX-a składa się zdwóch modułów wewnętrznych:

- mechanizmu migracji (przenoszenia) procesów z wywłaszczaniem (PPM),

- algorytmu odpowiadającego za mechanizm adaptacyjnego, (czyli reagującego na panujące w danej chwili warunki) mechanizmu współdzielenia zasobów.

Page 21: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wiadomości wstępne:

Oba moduły współdziałają przy przenoszeniu procesów między węzłami klastra w taki sposób, aby zmniejszyć średnie obciążenie węzłów. Każdy węzeł jest właścicielem procesu (programu), który został na nim uruchomiony lokalnie, a serwerem dla procesów, które się przemieściły z innych węzłów klastra.MOSIX został zaimplementowany jako moduł jądra Linuxa, dzięki czemu jest "przezroczysty" dla działających programów. Moduł jądra działa jak zarządca zadań, decydując, jakie działanie powinno być przeniesione do innego węzła. Cały ten proces odbywa się automatycznie i w sposób niewidoczny dla samego programu. To dlatego MOSIX jest często nazywany klastrem "fork and forget".

Page 22: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wiadomości wstępne:

Oprogramowanie stosowane w systemach klastrowych:

MPI jest interfejsem opartym na bibliotekach dla obliczeń rozproszonych, ustandaryzowanym przez IEEE w 1992r. Obecnie rozwijanych jest paręimplementacji MPI, lecz wydaje się że najbardziej efektywne oraz popularne pośród nich to: LAM oraz MPICH.

Jego zaletą jest fakt iż nie ma konieczności korzystania z konkretnych kompilatorów

Opcje MPI:• niezależne i równoległe wykonywanie programów• każdy procesor ma prywatna pamięć i przestrzeń adresową

LAM/MPI jest standardem przemysłowym.Przykładowe funkcje LAM: recon, lamboot, lamhalt, lamnodes, lamexec

Page 23: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Oprogramowanie:

MATLAB ( MATrix LABoratory ) - początkowo program ten był przeznaczony do numerycznych obliczeń macierzowych. Obecnie potrafi znacznie więcej, cechuje go duża liczba funkcji bibliotecznych oraz duże możliwości rozbudowy przez użytkownika za pomocą pisania własnych funkcji. Posiada on swój język programowania, co umożliwia pisanie w pełni funkcjonalnych programów działających w środowisku Matlaka. Do wykorzystania w systemie sąmożliwe zarówno biblioteki MPI jak też specjalnie dedykowane rozwiązania: MPI for Matlab oraz Distributed Computing Toolbox for Matlab

Page 24: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Oprogramowanie:

Zastosowanie DCT umożliwia efektywne wykorzystanie dostępnych zasobów klastra, określenie specyficznych obliczeńktóre mają byćprzeprowadzone na konkretnych węzłach oraz odpowiednie kolejkowanie zadań.

Page 25: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Oprogramowanie:

Scilab jest darmowym pakietem naukowym stworzonym w 1990 roku przez francuskie INRIA (francuski narodowy instytut badań w dziedzinie komputerów) oraz ENPC (najstarszą szkołę inżynierską na świecie). Od maja 2003roku rozwijany przez utworzone specjalnie Scilab Consortium. Od 1994 rozprowadzany bezpłatnie przez Internet. Scilabzostał stworzony do badań matematycznych i posiada w sobie setki funkcji matematycznych, którymi możemy operowaćzarówno na liczbach, jak i na bardziej zaawansowanych strukturach jak wektory czy macierze. Potrafi także współdziałać z programami napisanymi w innych językach. Scilab posiada także swój interpretator oraz język programowania wysokiego rzędu.

Page 26: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Projekt klastra komputerowego:

• Projekt i realizacja klastraobliczeniowego opartego na PC x86

• Sprawdzenie możliwości systemu MOSIX oraz jego wymagań sprzętowych i konfiguracyjnych, pod kątem zastosowania w nowoutworzonym klastrzew laboratorium PERG

Page 27: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Koncepcja stworzonego systemu

Page 28: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Hardware i software użyty w projekcie

• HARDWARE:

– 14 maszyn PC x86: Celeron, Pentium, AMD

– 10 Mbit Ethernet hub

• SOFTWARE:

- OS: Linux Debian Woody 3.0 kernel 2.4.28

- MOSIX 1.12.1 management system

- SCILAB oraz skrypty systemowe

Page 29: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

64 MBPentium 133 MHz14

64 MBPentium MMX 133 MHz13

64 MBPentium-S 133 Mhz12

64 MBPentium-S 150 MHz 11

64 MBPentium-S 200 MHz10

98 MBPentium-S 200 MHz9

32 MBAMD-K6 250 MHz8

98 MBPentium MMX 166 MHz7

32 MBPentium MMX 166 MHz6

64 MBPentium MMX 166 MHz5

64 MBPentium MMX 166 MHz4

256 MBPentium II MMX 350 Mhz 3

256 MBCeleron MMX 300Mhz2

192 MBPentium III 500Mhz1

RAMProcesorLp.

Page 30: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Faza testów

1. Podział maszyn na grupy pod względem mocy

obliczeniowej:

G4 – do 25 MFlops, G7 – od 25MFlops do 100Mflops

G3 – powyżej 100 MFlops

2. Przeprowadzenie 2 etapów testowania:

• obliczenia matematyczne z wykorzystaniem SCILAB

( odwracanie macierzy )

• praca z wykorzystaniem algorytmu A.Kalickiego na obrazach uzyskanych podczas doświadczeń z DESY

Page 31: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Faza testów

11. Połączenie grup obliczeniowych: najmocniejszej i najsłabszej

10. Porównanie osiągów mieszanych grup maszyn5. Porównanie wyników osiąganych przez układy mieszane

9. Porównanie osiągów wszystkich trzech grup obliczeniowych4. Dołączenie do maszyn szybkich jednej jednostki wolnej

8. Badanie osiągów maszyn wchodzących w skład średniej grupy obliczeniowej

3. Dołączenie do maszyn wolnych jednej jednostki szybkiej

7. Badanie osiągów maszyn wchodzących w skład najsłabszej grupy obliczeniowej

2. Badanie wydajności utworzonych grup obliczeniowych

6. Badanie osiągów maszyn wchodzących w skład najmocniejszej grup obliczeniowej

1. Badanie osiągów poszczególnych maszyn wchodzących w skład systemu

ETAP IIETAP I

Faza testów Modelowego Klastra obliczeniowego

Page 32: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Przykładowe wyniki testów

Wyniki bada ń dołączenia ROOTNODE do grupy G7

00:00

00:28

00:57

01:26

01:55

02:24

02:52

03:21

03:50

04:19

1 2 3 4 5 6 7 8 9 10

Liczba wykonywanych zada ńZ

mie

rzon

y cz

as

Grupa G7 ROOTNODE G7 + ROOTNODE

Uśrednione czasy oblicze ń dla maszyn z grup G3,G4 i G7

0

5

10

15

20

25

30

35

40

1 2 3 4 5 6 7 8 9 10

Liczba zada ń

Śre

dni c

zas

oblic

zeń

[min

]

G3

G7

G4

Test nr 1: Test nr 3:

Page 33: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Przykładowe wyniki testów

Zależność liczby procesów od pami ęci RAM

0

1

2

3

4

5

1 2 3 4 5 6 7 8 9 10 11 12

Liczba zada ń do wykonania

Licz

ba p

roce

sów

pr

zyzn

anyc

h no

dom

NODE4 + ROOTNODE NODE11 + ROOTNODE

NODE9 + ROOTNODE

Przydział procesów dla badanych w ęzłów w układach UKŁAD1 i UKŁAD4

0

1

2

3

4

5

1 2 3 4 5 6 7 8 9 10 11 12

Liczba zada ń

Licz

ba

przy

dzie

lony

ch

proc

esów

NODE4 + ROOTNODE NODE14 + ROOTNODE

Test nr 5: Test nr 6:

Page 34: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wnioski z przeprowadzonych testów

- szybkie połączenia sieciowe pomiędzy węzłami - zabezpieczenie optymalnej ilości dostępnej

pamięci RAM w stosunku do charakteru wykonywanych zadań

- łączenie maszyn o zbliżonych możliwościach obliczeniowych

- stosowanie większej ilości maszyn zwiększa możliwości systemu

- zachowanie kompromisu pomiędzy licznościąjednostek a ich możliwościami

Page 35: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Testy w projekcie A.Kalickiego - OBCA

Optical Bubble Conting Algorithm

Neutron bubble detector

Neutron bubbles detector, detected edges, straight lines eliminated

Page 36: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Wyniki testów OBCA

Page 37: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Projekt klastra PERG/ELHEP:

Page 38: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP
Page 39: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Specyfikacja Dużego KlastraGłówny serwer klastra – 2x Intel Pentium IV 3GHz

Klaster zrealizowano poprzez połączenie 52 węzłów obliczeniowych w oddzielnej, zabezpieczonej domenie klastrowej. Wszystkie komputery wykorzystująarchitekturze Intel Pentium IV 3 GHz wraz z 2GB RAM.Każda stacja posiada własny dysk twardy o

pojemności 200GB. Domena klastrowa jest zrealizowana w standardzie 802.3ab w oparciu o okablowanie UTP Kat. 5e. Jako urządzenia sieciowe są wykorzystywane przełączniki zarządzane 3COM

Page 40: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Specyfikacja Dużego Klastra

Węzeł główny stanowi serwerowa maszyna dwuprocesorowa posiadająca dwie jednostki Intel Pentium IV 3 GHz w technologii HT, 2 GB RAM oraz dysk twardy SCSI o pojemności 70GB. Główny węzełpracuje jako maszyna dostępowa. Umożliwia logowanie lokalne zarówno z pracowni ELHEP oraz logowanie zdalnie za pośrednictwem protokołu SSH. Spełnia dla pozostałych węzłów rolę serwera usług DHCP, TFTP, NFS oraz NAT.

Page 41: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

System zarządzania klastrem - wstęp

Systemem zarząąąądzająąąącym klastrem obliczeniowym, należy nazwać takie środowisko użytkownika, które zapewnia :

· - Możliwość wykorzystania wszystkich programów klienckichoferowanych w klastrze komputerowym,

· - Obsługę zwyczajnych użytkowników i administratorów,

· - Kontrolę wykorzystania zasobów wchodzących w skład klastra,

· - Dostęp do wszelkich informacji na temat pracy w środowisku,

· - Dostęp do informacji na temat dostępnej infrastruktury sprzętowej i sieciowej,

· - Komunikację z innymi użytkownikami systemu oraz interakcyjnośćdziałań.

Page 42: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Oprogramowanie wspierające zarządzanie klastrem:

• PBS ( Portable Batch System)

Jest szeroko używanym systemem dla rozmieszczenia równoległych zadań użytkownika na całych równoległych zasobach klastra i zapewnia wymagane administracyjne narzędzia dla profesjonalnego nadzoru. Dostępne są zarówno darmowa (OpenPBS) jak i komercyjna wersja systemu (PBS Pro ), zapewniając zaufanie użytkowników i administratorów.

� • TORQUE Resource Manager. System do zarządzania zasobami obliczeniowymi klastra TORQUE bazuje na

oprogramowaniu *PBS (Portable Batch System) i jest rozwijany jako projekt Opensource, gdzie dostępność kodu źródłowego jest darmowa.

Page 43: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Oprogramowanie wspierające zarządzanieklastrem:

� • MAUI Cluster Scheduler.

MAUI jest częścią TORQUE odpowiadającą za zarządzanie zleconymi zadaniami w kolejkach, przydzielanie priorytetów, przekazywanie do uruchomienia, etc.

Jest to zaawansowany scheduler, zamiennik standardowego systemu kolejkowania wbudowanego w Torque'a. Mocno zoptymalizowany i konfigurowalny, posiada zaawansowane polityki przydziału zasobów i możliwość definiowania własnych, co zapewnia bardziej precyzyjne i efektywne zarządzanie przydzielanymi zasobami.

Dla użytkownika klastra –MAUI jest przeźroczysty, co oznacza że nie wpływa na sposób wysyłania i definiowania zadań. Stosowanie tych narzędzi jest opcjonalne i zależy od potrzeb i wymagań użytkownika.

Page 44: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Oprogramowanie monitorujące zasoby klastra komputerowego:

� • Ganglia Monitoring System

Ganglia jest skalowalnym rozprowadzanym systememmonitoringu dla wysoko wydajnych systemów komputerowych jak klastry i Gridy. Aplikacja została opracowana w Berkeley, lecz obecnie jest używana przez wiele ośrodków badawczych i naukowych do monitorowania zasobów sprzętowych wchodzących w skład systemówklastrowych. Wykorzystuje struktury i algorytmy, które mająminimalny wpływ na obciążenie węzłów pracujących w systemie.

Page 45: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Rodzaje programów zdalnego dostępu do zasobów:

• RealVNC – oprogramowanie utworzone przez AT&T w Cambridge. VNC (Virtual Network Computing) oznacza system przekazywania obrazu z wirtualnego, bądź fizycznego środowiska graficznego. Prosty pakiet serwer+klient jest dostępny pod najpopularniejsze systemy operacyjne z trybem graficznym jak: Linux, Windows, BSD, MacOS, OS/2, Solaris, Amiga, SCO i wiele innych. Klienty VNC sądostępne nawet dla urządzeń typu PDA i niektórych telefonów komórkowych.Pośród najbardziej popularnych implementacji rozwiązańVNC można wymienić: TightVNC, UltraVNC, TridiaVNClub MetaVNC.

Page 46: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Rodzaje programów zdalnego dostępu do zasobów:

• NoMachine NX – oprogramowanie rozwijane przez Gian Filippo Pinzaro. NX – jest to technologia umożliwiająca zdalną pracę na graficznym pulpicie. Została oparta o istniejący protokół X11, przykładając jednak znacznie większą wagę do kompresji danych przepływających między maszynami i uwzględniając charakterystykę współczesnych programów. W efekcie NX jest bardzo wydajny i działa skutecznie nawet przez łącza modemowe (czyli o przepustowości do 56,6 kb/s). Działając w roli pośrednika oprogramowanie NX tuneluje zdalne sesje RDP (Windows Terminal Server) oraz VNC (wszystkie systemy operacyjne) i pozwala im uzyskiwać równie dużą wydajność.

Page 47: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

System zarządzania:

ManagementSystem

Page 48: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Założenia systemu zarządzania:

• Umiejscowiony na głównym węźle klastra:

- oparty na serwerze www z szyfracją SSL

• Wymagane uwierzytelnienie w systemie

• Strona Web dla każdej akcji

• Wykorzystanie skryptów PHP

• Współpraca z systemem operacyjnym

• Implementacja instrumentów zarządzających: ganglia, openMosix monitor, resources monitors

• Implementacja systemu kolejkowania dla zadańwykonywanych na klastrze.

Page 49: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Zadania systemu zarządzania:

Dla użytkowników:- umożliwia komunikację z klastrem z

wykorzystaniem przeglądarki internetowej;- łatwy sposób logowania do systemu- wspieranie korzystania z aplikacji: MPI Tools,

MATLAB- kontakt z administratorem

Dla administratorów:- łatwy sposób konfiguracji PC- łatwy sposób konfiguracji dostępu dla

użytkowników- łatwy sposób monitoringu zasobów klastra

Page 50: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Stan prac:

Uwierzytelnienie:

ADMINISTRATOR

NORMAL USER

Różne poziomy dost ępu

Page 51: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Stan prac:

Page 52: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Stan prac:

Page 53: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Stan prac:

Page 54: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Stan prac:

Page 55: WYK Ł AD ISYP: Zagadnienia techniki klastrowej ...perg.ise.pw.edu.pl/isyp/sites/all/isyp/techniki...WYK Ł AD ISYP: Zagadnienia techniki klastrowej wykorzystywanej w pracowni PERG/ELHEP

Stan prac: