Wroc awskie Centrum Sieciowo-Superkomputerowe · podstawy programowania (Python) kurs Python system...

44
Wroclawskie Centrum Sieciowo-Superkomputerowe Mateusz Tykierko WCSS 26 czerwca 2012 Mateusz Tykierko (WCSS) 26 czerwca 2012 1 / 23

Transcript of Wroc awskie Centrum Sieciowo-Superkomputerowe · podstawy programowania (Python) kurs Python system...

Wrocławskie Centrum Sieciowo-Superkomputerowe

Mateusz Tykierko

WCSS

26 czerwca 2012

Mateusz Tykierko (WCSS) 26 czerwca 2012 1 / 23

Wstęp

Wrocławskie Centrum Sieciowo-SuperkomputeroweJednostka działająca na rzecz środowiskowa naukowego Wrocławia.Powstała w 1995 r. jako jednostka Politechniki Wrocławskiej.

Zadania:

utrzymanie Wrocławskiej Akademickiej Sieci Komputerowej (WASK),

udostępnienie dużej (rzędu TFLOPS-ów) mocy obliczeniowej dlanaukowców,

udostępnienie usług sieciowych (poczta elektroniczna, serwery www,bazy danych (ldap,sql), serwery wirtualne, serwery dedykowane,centrum certyfikacji Pionier PKI, audyty bezpieczeństwa,. . . ),

Mateusz Tykierko (WCSS) 26 czerwca 2012 2 / 23

WASK

WASK — Wrocławska Akademicka Sieć Komputerowa.

łączy wrocławskie instytucje i uczelnie zapewniając im dostęp dokrajowej sieci PIONIER i europejskiej GEANT2

23 węzły i ponad 120 km tras światłowodowych

podłączone ponad 500 sieci lokalnych

szkielet sieci 10Gbit i obsługą MPLS

2 połączenie 10Gbit z siecią PIONIER do Zielonej Góry i Opola

Mateusz Tykierko (WCSS) 26 czerwca 2012 3 / 23

Konsorcjum Pionier

Jest formalnym porozumieniem zawartym pomiędzy wiodącymijednostkami MAN i KDM. Celem Konsorcjum jest budowa OgólnopolskiejSieci Optycznej oraz rozwijanie w oparciu o tę Sieć oraz infrastrukturęinformatyczną należącą do Jednostek Wiodących, działalności służącejrealizacji celów statutowych Jednostek Wiodących i na rzecz rozwojuSpołeczeństwa Informacyjnego.

Członkowie konsorcjum:AMSK, BIAMAN, BYDMAN, CI TASK, CYFRONET, CzestMAN, IChBPAN PCSS, ICM UW, KIELMAN, LODMAN, LubMAN, MAN Opole,MAN RADOM, MSK KosMAN, MSK PulMAN, NASK, RCI OEiZ MSKOLMAN, RMSK, ŚASK, UCI UMK, WCSS, ZielMAN

Mateusz Tykierko (WCSS) 26 czerwca 2012 4 / 23

Mateusz Tykierko (WCSS) 26 czerwca 2012 5 / 23

Mateusz Tykierko (WCSS) 26 czerwca 2012 6 / 23

Szkolenia na żądanie

dla początkujących użytkowników WCSS

indywidualne konsultacje

dla początkujących użytkowników infrastruktury PL-Grid

kurs Fortran95

podstawy programowania (Python)

kurs Python

system linux, bash

kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”

Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23

Szkolenia na żądanie

dla początkujących użytkowników WCSS

indywidualne konsultacje

dla początkujących użytkowników infrastruktury PL-Grid

kurs Fortran95

podstawy programowania (Python)

kurs Python

system linux, bash

kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”

Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23

Szkolenia na żądanie

dla początkujących użytkowników WCSS

indywidualne konsultacje

dla początkujących użytkowników infrastruktury PL-Grid

kurs Fortran95

podstawy programowania (Python)

kurs Python

system linux, bash

kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”

Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23

Szkolenia na żądanie

dla początkujących użytkowników WCSS

indywidualne konsultacje

dla początkujących użytkowników infrastruktury PL-Grid

kurs Fortran95

podstawy programowania (Python)

kurs Python

system linux, bash

kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”

Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23

Szkolenia na żądanie

dla początkujących użytkowników WCSS

indywidualne konsultacje

dla początkujących użytkowników infrastruktury PL-Grid

kurs Fortran95

podstawy programowania (Python)

kurs Python

system linux, bash

kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”

Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23

Szkolenia na żądanie

dla początkujących użytkowników WCSS

indywidualne konsultacje

dla początkujących użytkowników infrastruktury PL-Grid

kurs Fortran95

podstawy programowania (Python)

kurs Python

system linux, bash

kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”

Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23

Szkolenia na żądanie

dla początkujących użytkowników WCSS

indywidualne konsultacje

dla początkujących użytkowników infrastruktury PL-Grid

kurs Fortran95

podstawy programowania (Python)

kurs Python

system linux, bash

kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”

Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23

Szkolenia na żądanie

dla początkujących użytkowników WCSS

indywidualne konsultacje

dla początkujących użytkowników infrastruktury PL-Grid

kurs Fortran95

podstawy programowania (Python)

kurs Python

system linux, bash

kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”

Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23

TOP 500

Kroki milowe KDM:

1995 listopad 482/500

2008 czerwiec 318/500

2010 listopad 372/500

2011 czerwiec ...

Mateusz Tykierko (WCSS) 26 czerwca 2012 8 / 23

TOP 500

Kroki milowe KDM:

1995 listopad 482/500

2008 czerwiec 318/500

2010 listopad 372/500

2011 czerwiec ...

Mateusz Tykierko (WCSS) 26 czerwca 2012 8 / 23

TOP 500

Kroki milowe KDM:

1995 listopad 482/500

2008 czerwiec 318/500

2010 listopad 372/500

2011 czerwiec ...

Mateusz Tykierko (WCSS) 26 czerwca 2012 8 / 23

TOP 500

Kroki milowe KDM:

1995 listopad 482/500

2008 czerwiec 318/500

2010 listopad 372/500

2011 czerwiec ...

Mateusz Tykierko (WCSS) 26 czerwca 2012 8 / 23

TOP 500

Kroki milowe KDM:

1995 listopad 482/500

2008 czerwiec 318/500

2010 listopad 372/500

2011 czerwiec ...

Mateusz Tykierko (WCSS) 26 czerwca 2012 8 / 23

194/500

Mateusz Tykierko (WCSS) 26 czerwca 2012 9 / 23

Realizowane projekty

NewMan

Platon

KMD2

PL-Grid

PL-Grid+

EGI

PRACE

Mateusz Tykierko (WCSS) 26 czerwca 2012 10 / 23

Komputery Dużej Mocy

ZadaniaUdostępniane naukowcom (oraz studentom) w celu prowadzenia badań.

Obliczenia z dziedzin:

chemii obliczeniowej,

fizyki,

matematyki,

akustyki,

geofizyki,

automatyki i robotyki,

innych

Mateusz Tykierko (WCSS) 26 czerwca 2012 11 / 23

Supernova

moc obliczeniowa: 67,54 TFLOPSliczba węzłów: 732

procesory: Intel Xeon Quad i 56xxliczba rdzeni: 6800

f taktowania zegara: 2.4-2.66 GHzilość RAM: 12,5 TB

pamięci dyskowe : 247 TBsieć międzywęzłowa: Infiniband 20Gb/s i 40Gb/s

system operacyjny: Scientific Linux

Mateusz Tykierko (WCSS) 26 czerwca 2012 12 / 23

Budowa

Mateusz Tykierko (WCSS) 26 czerwca 2012 13 / 23

Budowa

Mateusz Tykierko (WCSS) 26 czerwca 2012 14 / 23

BudowaWspółdzielone zasoby dyskowe

lustre(scratch):Infiniband0.4 - 12GBps(*)1TB

nfs(home):Gigabit Ethernet50 - 100MBps20/30GB

nfs(archiwum):Gigabit Ethernet50 - 100MBps2.5PB

Mateusz Tykierko (WCSS) 26 czerwca 2012 15 / 23

Najczęściej używane oprogramowanie

chemiczneGaussian oraz Gamess

Accelrys

ADF

MOLCAS oraz MOLPRO

inżynierskieAbaqus

MSC Software (Adams,Marc,. . . )

ProENGINEER

Meep

matematyczneMatlab

RMateusz Tykierko (WCSS) 26 czerwca 2012 16 / 23

Obliczenia równoległa/klastrowe - narzędzia

MPI (MVAPICH2, OpenMPI . . . )

OpenMP

Kompilatory (Intel, Sgi, Portland), biblioteki (Global Arrays, Lapack,MKL)

Systemy kolejkowe (PBSpro)

Sieć InfiniBand - RDMA

Lustre - współdzielony system plików

Mateusz Tykierko (WCSS) 26 czerwca 2012 17 / 23

Kto może zostać użytkownikiem?

O grant obliczeniowy WCSS mogą ubiegać się:

kierownicy projektów badawczych,

samodzielni pracownicy naukowi,

młodsi pracownicy naukowi, przy poparciu bezpośredniego opiekunanaukowego lub dyrektora instytucji.

Do każdego grantu zakładane są indywidualne konta użytkowników.

Mateusz Tykierko (WCSS) 26 czerwca 2012 18 / 23

Ile to kosztuje?

“Obliczenia wykonano na komputerach Wrocławskiego CentrumSieciowo-Superkomputerowego (http://www.wcss.wroc.pl), grantobliczeniowy Nr ... ”

“Calculations have been carried out in Wroclaw Centre for Networkingand Supercomputing (http://www.wcss.wroc.pl), grant No. ...“

Szczegóły na stroniehttp://www.kdm.wcss.wroc.pl/wiki/Jak zostać użytkownikiem KDM

Mateusz Tykierko (WCSS) 26 czerwca 2012 19 / 23

Projekt PL-Grid

Grid to:

pomysł na połączenie rozproszonych zasobów administrowanychlokalnie

widzianych przez użytkownika jako jedna wirtualna maszyna

umożliwiająca dostęp do zasobów z każdego punktu na świecie

Zasoby są dzielone wśród użytkowników zrzeszonych w ramachwirtualnych organizacji determinujących automatycznie rodzaj zasobów iwarunki pod jakimi możliwy jest dostęp do nich

Zapewnienie Polskiej społeczności naukowej dostępu do narodowejplatformy obliczeniowej opartej na sieci klastrów.

Utrzymanie infrastruktury, tak aby była kompatybilna z istniejącymiGridami (europejskim oraz światowym).

Rozwój wyspecjalizowanych systemów Gridowych w tym serwisów inarzędzi umożliwiających działanie specyficznym typom aplikacji.

http://www.plgrid.plMateusz Tykierko (WCSS) 26 czerwca 2012 20 / 23

Projekt PL-Grid

Grid to:

pomysł na połączenie rozproszonych zasobów administrowanychlokalnie

widzianych przez użytkownika jako jedna wirtualna maszyna

umożliwiająca dostęp do zasobów z każdego punktu na świecie

Zasoby są dzielone wśród użytkowników zrzeszonych w ramachwirtualnych organizacji determinujących automatycznie rodzaj zasobów iwarunki pod jakimi możliwy jest dostęp do nich

Zapewnienie Polskiej społeczności naukowej dostępu do narodowejplatformy obliczeniowej opartej na sieci klastrów.

Utrzymanie infrastruktury, tak aby była kompatybilna z istniejącymiGridami (europejskim oraz światowym).

Rozwój wyspecjalizowanych systemów Gridowych w tym serwisów inarzędzi umożliwiających działanie specyficznym typom aplikacji.

http://www.plgrid.plMateusz Tykierko (WCSS) 26 czerwca 2012 20 / 23

Projekt PL-Grid

Grid to:

pomysł na połączenie rozproszonych zasobów administrowanychlokalnie

widzianych przez użytkownika jako jedna wirtualna maszyna

umożliwiająca dostęp do zasobów z każdego punktu na świecie

Zasoby są dzielone wśród użytkowników zrzeszonych w ramachwirtualnych organizacji determinujących automatycznie rodzaj zasobów iwarunki pod jakimi możliwy jest dostęp do nich

Zapewnienie Polskiej społeczności naukowej dostępu do narodowejplatformy obliczeniowej opartej na sieci klastrów.

Utrzymanie infrastruktury, tak aby była kompatybilna z istniejącymiGridami (europejskim oraz światowym).

Rozwój wyspecjalizowanych systemów Gridowych w tym serwisów inarzędzi umożliwiających działanie specyficznym typom aplikacji.

http://www.plgrid.plMateusz Tykierko (WCSS) 26 czerwca 2012 20 / 23

Projekt PL-Grid

Grid to:

pomysł na połączenie rozproszonych zasobów administrowanychlokalnie

widzianych przez użytkownika jako jedna wirtualna maszyna

umożliwiająca dostęp do zasobów z każdego punktu na świecie

Zasoby są dzielone wśród użytkowników zrzeszonych w ramachwirtualnych organizacji determinujących automatycznie rodzaj zasobów iwarunki pod jakimi możliwy jest dostęp do nich

Zapewnienie Polskiej społeczności naukowej dostępu do narodowejplatformy obliczeniowej opartej na sieci klastrów.

Utrzymanie infrastruktury, tak aby była kompatybilna z istniejącymiGridami (europejskim oraz światowym).

Rozwój wyspecjalizowanych systemów Gridowych w tym serwisów inarzędzi umożliwiających działanie specyficznym typom aplikacji.

http://www.plgrid.plMateusz Tykierko (WCSS) 26 czerwca 2012 20 / 23

PL-GRID - dla użytkowników

pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid

Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23

PL-GRID - dla użytkowników

pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid

Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23

PL-GRID - dla użytkowników

pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid

Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23

PL-GRID - dla użytkowników

pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid

Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23

PL-GRID - dla użytkowników

pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid

Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23

PL-GRID - dla użytkowników

pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid

Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23

PL-GRID - dla użytkowników

pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid

Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23

PL-GRID - dla użytkowników

pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid

Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23

EGI1 - European Grid Infrastructure

1http://rtm.hep.ph.ic.ac.uk/webstart.phpMateusz Tykierko (WCSS) 26 czerwca 2012 22 / 23

PRACE - Partnership for Advanced Computing in Europe

Projekty PRACE realizowane są przez wiodące jednostki badawcze isuperkomputerowe z 21 krajów Europy, w tym z Polski: PCSS, WCSS,Cyfronet, ICM i TASK.Działalność PRACE

ustanowienie i rozwijanie europejskiej infrastruktury badawczejPRACE RI (Research Infrastructure)dostarczenie naukowcom i inżynierom w Europie dostępu doinfrastruktury i usługi HPC o wydajności obliczeniowej rzęduPetaFlop/s (Tier-0 oraz Tier-1)zapewnienie wsparcia zespołom naukowym w zakresie poprawywydajności i skalowalności aplikacji naukowych

Działania WCSSpoprawa skalowalności i wydajności aplikacji dzięki zastosowaniunowych technik programowania (OpenCL, CUDA)badanie wydajności obliczeniowej i energetycznej prototypówsprzętowych (architektury hybrydowe, GPU)

Mateusz Tykierko (WCSS) 26 czerwca 2012 23 / 23