Polska Infrastruktura Polska Infrastruktura Informatycznego Wspomagania Nauki Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczejw Europejskiej Przestrzeni Badawczej

Aktualne postępy i osiągnięcia Aktualne postępy i osiągnięcia Polskiej Inicjatywy Gridowej Polskiej Inicjatywy Gridowej w ramach Projektu PL-Gridw ramach Projektu PL-Grid

Jacek Kitowski i Łukasz DutkaACK CYFRONET AGH, Kraków, Polska

Instytut Informatyki AGH-UST

we współpracy

z Partnerami Projektu PL-Grid

I Konferencja i3: internet - infrastruktury - innowacjePoznań, 4-6 listopada, 2009

PodziękowaniaPodziękowania ACK Cyfronet AGH

Kazimierz Wiatr Michał Turała Marian Bubak Tomasz Szepieniec Marcin Radecki Mariusz Sterzel Karol Krawentek Agnieszka Szymańska Andrzej Oziębło Tadeusz Szymocha Alex Kusznir Zofia Mosurska Teresa Ozga Aleksandra Mazur

ICM Piotr Bała Maciej Filocha

PCSS Norbert Meyer Krzysztof Kurowski Mirosław Kupczyk

WCSS Józef Janyszek Bartłomiej Balcerek Paweł Dziekoński

TASK Mścisław Nakonieczny Jarosław Rybicki Rafał Tylman

2

Narodowa Inicjatywa Gridowa w Polsce Motywacja Uzasadnienie i Podstawy Stan Zaawansowania

Projekt PL-Grid – Rezultaty Podsumowanie

Plan wystąpieniaPlan wystąpienia

Podejście e-Science do badań naukowych

Działania integracyjne zachodzące w świecie

Oczekiwania ze strony Środowisk NaukowychOczekiwania ze strony Środowisk Naukowych

E-Science: wspólne badania naukowe wspierane przez zaawansowane, rozproszone obliczenia – rozszerzenie paradygmatu Nauk Obliczeniowych Wielodyscyplinarne i międzynarodowe Wymagające postępów w zakresie informatyki i nauk obliczeniowych

Cel: aby umożliwić badania naukowe wyższej jakości we wszystkich dziedzinach Nauka na poziomie systemowym: uwzględnienie wielu zjawisk,

elementy komunikują się ze sobą i są od siebie zależne, eksperymenty in silico Aby generować, interpretować i analizować obszerne

zasoby danych• Pochodzące z eksperymentów, obserwacji

i symulacji • Przy wykorzystaniu zarządzania jakością,

wysokiej niezawodności i dokumentowania Aby tworzyć i badać modele symulacyjne

• Obliczenia i dane wieloskalowe• Wiarygodne, ekonomicznie uzasadnione,

o istotnym znaczeniu Aby umożliwić dynamiczną, rozproszoną współpracę

środowisk naukowych• Przez współdzielenie wiedzy i zasobów• Z wykorzystaniem bezpieczeństwa, wiarygodności, zarządzania i elastyczności

M. Atkinson, e-Science (...), Grid2006 & 2-nd Int.Conf.e-Social Science 2006, National e-Science Centre UK

I. Foster, System Level Science and System Level Models, Snowmass, August 1-2, 2007

Konsorcjum składa się z pięciu polskich centrów obliczeniowych, reprezentujących środowiska naukowe

Uczestnictwo w Międzynarodowych i Krajowych Projektach i we współpracy• ~35 międzynarodowych projektów FP5, FP6, FP7 dotyczących Gridów (50% wspólnych)• ~15 polskich projektów (50% wspólnych)

Istniejące potrzeby polskich środowisk naukowych• ~75% publikacji w pięciu środowiskach

Nowoczesne zasoby obliczeniowe• Lista Top500

Europejskie/światowe działania integracyjne• EGEE I-III, EGI_DS, EGI, e-IRG, PRACE, DEISA, OMII,

Eksperci w F3 EU: „Research Infrastructure”, Projekty Infrastrukturalne

Narodowa Szerokopasmowa Infrastruktura Sieciowa dla wspomagania nauki

• (dzięki Narodowemu Projektowi Ponier)

Porozumienie podpisane w styczniu 2007

Konsorcjum PL-GridKonsorcjum PL-Grid

Projekt PL-GridProjekt PL-Grid

Motywacja Podejście E-Science do badań naukowych Działająca inicjatywa EGI we współpracy z NGIs

Projekt PL-Grid (2009-2012) Wystąpienie o dofinansowanie w ramach Programu Operacyjnego

Innowacyjna Gospodarka, Działanie 2.3 (we wrześniu 2008) Decyzja o przyznaniu finansowania – 2 marca 2009 (w ramach Europejskich Funduszy

Strukturalnych)

Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej

European Grid Initiative (EGI) National Grid Initiative (NGI) PL-Grid

Odpowiedź na potrzeby polskich naukowców i bieżących aktywności gridowychw Polsce, w innych krajach europejskich i na całym świecie

Infrastruktura gridowa (usługi gridowe) PL-GridA

plik

acja

Apl

ikac

ja

Apl

ikac

ja

Apl

ikac

ja

Klastry Komputery dużej mocy Repozytoria danych

Krajowa sieć komputerowa PIONIER

Grid Dziedzino

wy

Zaawansowane Platformy Usługowe

Grid Dziedzino

wy

Grid Dziedzino

wy

Grid Dziedzino

wy

W ramach Polskiego Gridu tworzona jest wspólna bazowa infrastruktura – podobnie do rozwiązań zastosowanych w innych krajach.

Dziedzinowe systemy gridowe – włącznie z usługami i narzędziami zorientowanymi na specyficzne typy aplikacji – będą konstruowane na tej infrastrukturze.

Dziedzinowe systemy gridowe mogą być później rozwijane i zarządzane w ramach odrębnych projektów.

Efektywne wykorzystanie dostępnych środków finansowych. Stworzenie infrastruktury gridowej w pełni kompatybilnej i interoperabilnej z gridem europejskim i

światowym. Plany umożliwienia obliczeń HPC i klastrowych.

Założenia ProjektuZałożenia Projektu

Elementy i FunkcjonalnośćElementy i Funkcjonalność Oprogramowanie PL-Grid będzie obejmować:

narzędzia użytkownika • portale, systemy zarządzania i monitorowania

aplikacji, systemy wizualizacji wyników i inne zgodne z używanym w Projekcie oprogramowaniem niższych warstw;

biblioteki programistyczne; systemy wirtualnych organizacji:

• podsystemy certyfikatów i kont, rozliczanie wykorzystania zasobów, podsystem bezpieczeństwa;

systemy zarządzania danymi: • katalogi metadanych, zarządzanie replikami,

transfer plików; systemy zarządzania zasobami:

• zarządzanie zadaniami, monitorowanie aplikacji, usług gridowych i infrastruktury, zarządzanie licencjami, zarządzanie lokalnymi zasobami.

W obrębie Projektu będą funkcjonować 3 rodzaje infrastruktury: produkcyjna, badawcza, deweloperska/testowa.

Warstwa dostępowa Warstwa dostępowa tworzenia aplikacjitworzenia aplikacji

UsługiUsługigridowegridowe

ZasobyZasobygridowegridowe

System wirtualnych organizacji i

bezpieczeństwa

Podstawowe usługi gridowe

LCG/gLite(EGEE)

UNICORE(DEISA)

Inne systemy gridowe

Rozproszone repozytoria

danych

Krajowasieć

komputerowa

Rozproszone zasoby

obliczeniowe

UżytkownicyUżytkownicy

Portale gridowe, narzędzia programistyczne

Projekt PL-Grid jest podzielony na kilka zadań

Planowana realizacja celówPlanowana realizacja celów

Główne wskaźniki projektu: • Moc obliczeniowa: 215 Tflops • Pamięć dyskowa: 2500 TB

Centrum Operacyjne: ZadaniaCentrum Operacyjne: Zadania

Zespół EGI

Middleware EGI

testowy

Middleware EGI

produkcyjny

Koordynacja działań operacyjnych Zarządzanie i rozliczanie

wykorzystania zasobów Współpraca z EGI i DEISA

(obliczenia HPC i klastrowe) Analiza wymagań użytkowników

dotyczących działania infrastruktury

Uruchomienie infrastruktury: Produkcyjnej Deweloperskiej Badawczej

Do rozważenia w przyszłości: Chmury obliczeniowe Chmury danych Chmury wewnętrzne i

zewnętrzne Aspekty wirtualizacji

Centrum Operacyjne: RezultatyCentrum Operacyjne: Rezultaty

PL-Grid VO (vo.plgrid.pl) w pełni działająca Wirtualne zasoby produkcyjne dla użytkowników

PL-Grid w 4 centrach (Gdańsk, Kraków, Poznań, Wrocław)

Gotowe narzędzia do monitorowania infrastruktury (wykrywania problemów) - oparte na Nagios i EGEE SAM

Gotowe grupy wsparcia, narzędzia i procedury działań zgodne z EGEE/EGI - mające na celu osiągnięcie wysokiej dostępności zasobów

Baza wiedzy dla problemów dotyczących działania infrastruktury

Narzędzie śledzenia błędów – planowane do uruchomienia w listopadzie 2009

Tymczasowa procedura rejestracji użytkowników Portal rejestracji użytkowników w przygotowaniu

(pierwszy prototyp planowany do uruchomienia w w końcu października 2009)

Rozliczanie wykorzystania zasobów zintegrowane z EGEE

PCSS

Cyfronet

WCSS

Centrum Operacyjne: PlanyCentrum Operacyjne: Plany

Rejestracja Użytkowników– dostęp dla każdej osoby zarejestrowanej jako pracownik naukowy – www.opi.org.pl– portal przygotowywany (uruchomienie planowane w końcu października 2009)– dostęp do zasobów w oparciu o

• granty – przydzielanie praw do wykorzystania X CPUhours i TB przestrzeni dyskowej• usługi dostępowe – sposób na dostęp do zasobów w konkretnym centrum

obliczeniowym

Infrastruktura Badawcza PL-Grid – “zasoby na żądanie” – umożliwia zgłaszanie żądań dotyczących użycia maszyn do różnych celów:

– aby zainstalować grid middleware dla celów testowych– dla programistów – aby zbudować środowisko testowe– dla przeprowadzenia jakichkolwiek innych badań naukowych wymagających zasobów

gridowych– procedury są w trakcie tworzenia

Umożliwienie dostępu do zasobów UNICORE– niewielka liczba maszyn dedykowanych dla UNICORE’a– integracja UNICORE’a i gLite’a – przy wykorzystaniu tych samych zasobów

Rozwój oprogramowania i narzędzi: RezultatyRozwój oprogramowania i narzędzi: Rezultaty

Programiści badawczy: 20+ Główne zespoły badawcze: 8 Zaangażowane centra

obliczeniowe: 5 Dedykowane maszyny fizyczne i

wirtualne: 30+ Testowane infrastruktury:

EGEE, DEISA Nowe infrastruktury i rozszerzenia:

QosCosGrid, GridSpace Obecne aplikacje będące w fazie

integracji i procedur testowych: 10+

Obecne narzędzia użytkownika będące w fazie integracji i procedur testowych: 5+

Aktywna komunikacja z nowymi społecznościami użytkowników w Polsce: www.plgrid.pl/ankieta

Rozwój oprogramowania i narzędzi: PlanyRozwój oprogramowania i narzędzi: Plany Bliższa współpraca ze społecznościami użytkowników i programistów reprezentujących

różne dziedziny naukowe (w oparciu o wyniki uzyskane przy pomocy naszej ankiety) Adaptacja technik wirtualizacji polepszających użyteczność, odporność na

uszkodzenia, tworzenie punktów kontrolnych i zarządzanie klastrami Webowe GUI oparte na Liferay i Vine Toolkit, umożliwiające dostęp do istniejących i

rozszerzonych usług e-Infrastruktury Testy wydajnościowe różnych wielko-skalowych między-klastrowych aplikacji

równoległych przy użyciu ko-alokacji i zaawansowanych technik rezerwacji Dalsza analiza rozwiązań dotyczących zarządzania gridem, monitorowania i

bezpieczeństwa Wspólne repozytorium oprogramowania i zasady wdrażania Przykładowe usługi, narzędzia i aplikacje dostępne jako wirtualne skrzynki z różnymi

konfiguracjami Główne punkty kontrolne i oś czasu:

IX 09VI 09 IX 10 IV 11 I 12

Jesteśmy tutaj

Wsparcie użytkownika i szkolenia: Rezultaty i PlanyWsparcie użytkownika i szkolenia: Rezultaty i Plany Główne zadanie:

Uruchomienie usługi „helpdesk”, przeprowadzanie szkoleń dla użytkowników i realizacja wsparcia dla użytkowników

Pomoc przy efektywnym wykorzystaniu istniejącej infrastruktury, włącznie z wyborem aplikacji odpowiednich dla problemów użytkowników oraz uruchamianiem obliczeń na gridzie

PL-Grid jest infrastrukturą zorientowaną na użytkownika; zespoły wsparcia i szkoleń będą ściśle współpracowały z użytkownikami

Obecnie: Zespół wsparcia użytkowników został utworzony Rozpoczęło się już wewnętrzne szkolenie dla zespołu wsparcia Wybrano licencjonowane aplikacje, wymagane przez użytkowników, celem

instalacji na infrastrukturze PL-Grid Przeprowadzone zostało pierwsze szkolenie dla użytkowników.

Plany: Cykle szkoleń dla początkujących i zaawansowanych użytkowników gridu

Warstwa Bezpieczeństwa Warstwa Bezpieczeństwa PL-GridPL-Grid:: Rezultaty Rezultaty

Zdefiniowane wytyczne dotyczące bezpieczeństwa dla planowanej architektury

Zdefiniowana polityka bezpieczeństwa dla instalacji lokalnych elementów infrastruktury

Przegląd systemów zgłaszających incydenty, celem wybrania najbardziej odpowiedniego GGUS - Global Grid User Support RTIR - Request Tracking for Incident Response DIHS - Distributed Incident Handling System

Architektura i prototyp systemu do bezpośredniego mapowania użytkowników i rozpowszechniania danych uwierzytelniających użytkownika.

Warstwa Bezpieczeństwa Warstwa Bezpieczeństwa PL-GridPL-Grid:: Plany Plany

Ustanowienie NGI-wide CERT Zastosowanie polityk bezpieczeństwa do lokalnych instalacji infrastruktury Stworzenie i wdrożenie systemu monitorującego zgodność polityki

bezpieczeństwa lokalnych instalacji infrastruktury sprawdzającego czy oprogramowanie (jądro, usługi) są aktualne sprawdzającego porty nasłuchowe, reguły systemów bezpieczeństwa monitorującego listy suid/sgid i integralność

Stworzenie rozproszonego systemu korelacji alarmów zbudowanego ponad czujnikami sieciowymi i komputera-hosta.

Podsumowanie: DziałaniaPodsumowanie: Działania Krótkoterminowe

Utworzenie PL-Grid VO przy użyciu lokalnych zasobów Partnerów oraz zasobów EGEE

Zapewnienie środków dla pokrycia kosztów działania Zapewnienie środków dla podtrzymania bieżącej współpracy międzynarodowej

Długoterminowe – realizowane w sposób ciągły Wdrożenie oprogramowania i narzędzi Wsparcie użytkownika i szkolenia Dostarczenie, utrzymanie i rozbudowa koniecznej infrastruktury Rozwój i implementacja nowych paradygmatów obliczeniowych i integracja

środowisk• Obliczenia typu HPC i rozproszone (HPCaaS, IaaS, SaaS….)• Cloud Computing (wewnętrzne-zewnętrzne, chmury obliczeniowe, chmury

danych)• paradygmat SOA, wykorzystanie wiedzy … • „Internet Przyszłości” w sposób zdefiniowany przez EC w Programie

Roboczym

http://plgrid.plhttp://plgrid.pl