Wroc awskie Centrum Sieciowo-Superkomputerowe · podstawy programowania (Python) kurs Python system...
Transcript of Wroc awskie Centrum Sieciowo-Superkomputerowe · podstawy programowania (Python) kurs Python system...
Wrocławskie Centrum Sieciowo-Superkomputerowe
Mateusz Tykierko
WCSS
26 czerwca 2012
Mateusz Tykierko (WCSS) 26 czerwca 2012 1 / 23
Wstęp
Wrocławskie Centrum Sieciowo-SuperkomputeroweJednostka działająca na rzecz środowiskowa naukowego Wrocławia.Powstała w 1995 r. jako jednostka Politechniki Wrocławskiej.
Zadania:
utrzymanie Wrocławskiej Akademickiej Sieci Komputerowej (WASK),
udostępnienie dużej (rzędu TFLOPS-ów) mocy obliczeniowej dlanaukowców,
udostępnienie usług sieciowych (poczta elektroniczna, serwery www,bazy danych (ldap,sql), serwery wirtualne, serwery dedykowane,centrum certyfikacji Pionier PKI, audyty bezpieczeństwa,. . . ),
Mateusz Tykierko (WCSS) 26 czerwca 2012 2 / 23
WASK
WASK — Wrocławska Akademicka Sieć Komputerowa.
łączy wrocławskie instytucje i uczelnie zapewniając im dostęp dokrajowej sieci PIONIER i europejskiej GEANT2
23 węzły i ponad 120 km tras światłowodowych
podłączone ponad 500 sieci lokalnych
szkielet sieci 10Gbit i obsługą MPLS
2 połączenie 10Gbit z siecią PIONIER do Zielonej Góry i Opola
Mateusz Tykierko (WCSS) 26 czerwca 2012 3 / 23
Konsorcjum Pionier
Jest formalnym porozumieniem zawartym pomiędzy wiodącymijednostkami MAN i KDM. Celem Konsorcjum jest budowa OgólnopolskiejSieci Optycznej oraz rozwijanie w oparciu o tę Sieć oraz infrastrukturęinformatyczną należącą do Jednostek Wiodących, działalności służącejrealizacji celów statutowych Jednostek Wiodących i na rzecz rozwojuSpołeczeństwa Informacyjnego.
Członkowie konsorcjum:AMSK, BIAMAN, BYDMAN, CI TASK, CYFRONET, CzestMAN, IChBPAN PCSS, ICM UW, KIELMAN, LODMAN, LubMAN, MAN Opole,MAN RADOM, MSK KosMAN, MSK PulMAN, NASK, RCI OEiZ MSKOLMAN, RMSK, ŚASK, UCI UMK, WCSS, ZielMAN
Mateusz Tykierko (WCSS) 26 czerwca 2012 4 / 23
Szkolenia na żądanie
dla początkujących użytkowników WCSS
indywidualne konsultacje
dla początkujących użytkowników infrastruktury PL-Grid
kurs Fortran95
podstawy programowania (Python)
kurs Python
system linux, bash
kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”
Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23
Szkolenia na żądanie
dla początkujących użytkowników WCSS
indywidualne konsultacje
dla początkujących użytkowników infrastruktury PL-Grid
kurs Fortran95
podstawy programowania (Python)
kurs Python
system linux, bash
kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”
Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23
Szkolenia na żądanie
dla początkujących użytkowników WCSS
indywidualne konsultacje
dla początkujących użytkowników infrastruktury PL-Grid
kurs Fortran95
podstawy programowania (Python)
kurs Python
system linux, bash
kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”
Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23
Szkolenia na żądanie
dla początkujących użytkowników WCSS
indywidualne konsultacje
dla początkujących użytkowników infrastruktury PL-Grid
kurs Fortran95
podstawy programowania (Python)
kurs Python
system linux, bash
kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”
Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23
Szkolenia na żądanie
dla początkujących użytkowników WCSS
indywidualne konsultacje
dla początkujących użytkowników infrastruktury PL-Grid
kurs Fortran95
podstawy programowania (Python)
kurs Python
system linux, bash
kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”
Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23
Szkolenia na żądanie
dla początkujących użytkowników WCSS
indywidualne konsultacje
dla początkujących użytkowników infrastruktury PL-Grid
kurs Fortran95
podstawy programowania (Python)
kurs Python
system linux, bash
kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”
Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23
Szkolenia na żądanie
dla początkujących użytkowników WCSS
indywidualne konsultacje
dla początkujących użytkowników infrastruktury PL-Grid
kurs Fortran95
podstawy programowania (Python)
kurs Python
system linux, bash
kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”
Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23
Szkolenia na żądanie
dla początkujących użytkowników WCSS
indywidualne konsultacje
dla początkujących użytkowników infrastruktury PL-Grid
kurs Fortran95
podstawy programowania (Python)
kurs Python
system linux, bash
kurs w ramach studium doktoranckiego PWr ”Wydajne wykonywanieobliczeń naukowych”
Mateusz Tykierko (WCSS) 26 czerwca 2012 7 / 23
TOP 500
Kroki milowe KDM:
1995 listopad 482/500
2008 czerwiec 318/500
2010 listopad 372/500
2011 czerwiec ...
Mateusz Tykierko (WCSS) 26 czerwca 2012 8 / 23
TOP 500
Kroki milowe KDM:
1995 listopad 482/500
2008 czerwiec 318/500
2010 listopad 372/500
2011 czerwiec ...
Mateusz Tykierko (WCSS) 26 czerwca 2012 8 / 23
TOP 500
Kroki milowe KDM:
1995 listopad 482/500
2008 czerwiec 318/500
2010 listopad 372/500
2011 czerwiec ...
Mateusz Tykierko (WCSS) 26 czerwca 2012 8 / 23
TOP 500
Kroki milowe KDM:
1995 listopad 482/500
2008 czerwiec 318/500
2010 listopad 372/500
2011 czerwiec ...
Mateusz Tykierko (WCSS) 26 czerwca 2012 8 / 23
TOP 500
Kroki milowe KDM:
1995 listopad 482/500
2008 czerwiec 318/500
2010 listopad 372/500
2011 czerwiec ...
Mateusz Tykierko (WCSS) 26 czerwca 2012 8 / 23
Realizowane projekty
NewMan
Platon
KMD2
PL-Grid
PL-Grid+
EGI
PRACE
Mateusz Tykierko (WCSS) 26 czerwca 2012 10 / 23
Komputery Dużej Mocy
ZadaniaUdostępniane naukowcom (oraz studentom) w celu prowadzenia badań.
Obliczenia z dziedzin:
chemii obliczeniowej,
fizyki,
matematyki,
akustyki,
geofizyki,
automatyki i robotyki,
innych
Mateusz Tykierko (WCSS) 26 czerwca 2012 11 / 23
Supernova
moc obliczeniowa: 67,54 TFLOPSliczba węzłów: 732
procesory: Intel Xeon Quad i 56xxliczba rdzeni: 6800
f taktowania zegara: 2.4-2.66 GHzilość RAM: 12,5 TB
pamięci dyskowe : 247 TBsieć międzywęzłowa: Infiniband 20Gb/s i 40Gb/s
system operacyjny: Scientific Linux
Mateusz Tykierko (WCSS) 26 czerwca 2012 12 / 23
BudowaWspółdzielone zasoby dyskowe
lustre(scratch):Infiniband0.4 - 12GBps(*)1TB
nfs(home):Gigabit Ethernet50 - 100MBps20/30GB
nfs(archiwum):Gigabit Ethernet50 - 100MBps2.5PB
Mateusz Tykierko (WCSS) 26 czerwca 2012 15 / 23
Najczęściej używane oprogramowanie
chemiczneGaussian oraz Gamess
Accelrys
ADF
MOLCAS oraz MOLPRO
inżynierskieAbaqus
MSC Software (Adams,Marc,. . . )
ProENGINEER
Meep
matematyczneMatlab
RMateusz Tykierko (WCSS) 26 czerwca 2012 16 / 23
Obliczenia równoległa/klastrowe - narzędzia
MPI (MVAPICH2, OpenMPI . . . )
OpenMP
Kompilatory (Intel, Sgi, Portland), biblioteki (Global Arrays, Lapack,MKL)
Systemy kolejkowe (PBSpro)
Sieć InfiniBand - RDMA
Lustre - współdzielony system plików
Mateusz Tykierko (WCSS) 26 czerwca 2012 17 / 23
Kto może zostać użytkownikiem?
O grant obliczeniowy WCSS mogą ubiegać się:
kierownicy projektów badawczych,
samodzielni pracownicy naukowi,
młodsi pracownicy naukowi, przy poparciu bezpośredniego opiekunanaukowego lub dyrektora instytucji.
Do każdego grantu zakładane są indywidualne konta użytkowników.
Mateusz Tykierko (WCSS) 26 czerwca 2012 18 / 23
Ile to kosztuje?
“Obliczenia wykonano na komputerach Wrocławskiego CentrumSieciowo-Superkomputerowego (http://www.wcss.wroc.pl), grantobliczeniowy Nr ... ”
“Calculations have been carried out in Wroclaw Centre for Networkingand Supercomputing (http://www.wcss.wroc.pl), grant No. ...“
Szczegóły na stroniehttp://www.kdm.wcss.wroc.pl/wiki/Jak zostać użytkownikiem KDM
Mateusz Tykierko (WCSS) 26 czerwca 2012 19 / 23
Projekt PL-Grid
Grid to:
pomysł na połączenie rozproszonych zasobów administrowanychlokalnie
widzianych przez użytkownika jako jedna wirtualna maszyna
umożliwiająca dostęp do zasobów z każdego punktu na świecie
Zasoby są dzielone wśród użytkowników zrzeszonych w ramachwirtualnych organizacji determinujących automatycznie rodzaj zasobów iwarunki pod jakimi możliwy jest dostęp do nich
Zapewnienie Polskiej społeczności naukowej dostępu do narodowejplatformy obliczeniowej opartej na sieci klastrów.
Utrzymanie infrastruktury, tak aby była kompatybilna z istniejącymiGridami (europejskim oraz światowym).
Rozwój wyspecjalizowanych systemów Gridowych w tym serwisów inarzędzi umożliwiających działanie specyficznym typom aplikacji.
http://www.plgrid.plMateusz Tykierko (WCSS) 26 czerwca 2012 20 / 23
Projekt PL-Grid
Grid to:
pomysł na połączenie rozproszonych zasobów administrowanychlokalnie
widzianych przez użytkownika jako jedna wirtualna maszyna
umożliwiająca dostęp do zasobów z każdego punktu na świecie
Zasoby są dzielone wśród użytkowników zrzeszonych w ramachwirtualnych organizacji determinujących automatycznie rodzaj zasobów iwarunki pod jakimi możliwy jest dostęp do nich
Zapewnienie Polskiej społeczności naukowej dostępu do narodowejplatformy obliczeniowej opartej na sieci klastrów.
Utrzymanie infrastruktury, tak aby była kompatybilna z istniejącymiGridami (europejskim oraz światowym).
Rozwój wyspecjalizowanych systemów Gridowych w tym serwisów inarzędzi umożliwiających działanie specyficznym typom aplikacji.
http://www.plgrid.plMateusz Tykierko (WCSS) 26 czerwca 2012 20 / 23
Projekt PL-Grid
Grid to:
pomysł na połączenie rozproszonych zasobów administrowanychlokalnie
widzianych przez użytkownika jako jedna wirtualna maszyna
umożliwiająca dostęp do zasobów z każdego punktu na świecie
Zasoby są dzielone wśród użytkowników zrzeszonych w ramachwirtualnych organizacji determinujących automatycznie rodzaj zasobów iwarunki pod jakimi możliwy jest dostęp do nich
Zapewnienie Polskiej społeczności naukowej dostępu do narodowejplatformy obliczeniowej opartej na sieci klastrów.
Utrzymanie infrastruktury, tak aby była kompatybilna z istniejącymiGridami (europejskim oraz światowym).
Rozwój wyspecjalizowanych systemów Gridowych w tym serwisów inarzędzi umożliwiających działanie specyficznym typom aplikacji.
http://www.plgrid.plMateusz Tykierko (WCSS) 26 czerwca 2012 20 / 23
Projekt PL-Grid
Grid to:
pomysł na połączenie rozproszonych zasobów administrowanychlokalnie
widzianych przez użytkownika jako jedna wirtualna maszyna
umożliwiająca dostęp do zasobów z każdego punktu na świecie
Zasoby są dzielone wśród użytkowników zrzeszonych w ramachwirtualnych organizacji determinujących automatycznie rodzaj zasobów iwarunki pod jakimi możliwy jest dostęp do nich
Zapewnienie Polskiej społeczności naukowej dostępu do narodowejplatformy obliczeniowej opartej na sieci klastrów.
Utrzymanie infrastruktury, tak aby była kompatybilna z istniejącymiGridami (europejskim oraz światowym).
Rozwój wyspecjalizowanych systemów Gridowych w tym serwisów inarzędzi umożliwiających działanie specyficznym typom aplikacji.
http://www.plgrid.plMateusz Tykierko (WCSS) 26 czerwca 2012 20 / 23
PL-GRID - dla użytkowników
pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid
Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23
PL-GRID - dla użytkowników
pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid
Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23
PL-GRID - dla użytkowników
pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid
Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23
PL-GRID - dla użytkowników
pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid
Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23
PL-GRID - dla użytkowników
pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid
Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23
PL-GRID - dla użytkowników
pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid
Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23
PL-GRID - dla użytkowników
pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid
Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23
PL-GRID - dla użytkowników
pamięć operacyjna:43,65 TBpamięć dyskowa:3,32 PBmoc obliczeniowa:218,16 TFlopsliczba rdzeni obliczeniowych:22178Unicore, gLite, QosCosGrid, GridSpaceZestaw zaawansowanych narzędzi do organizacji eksperymentówobliczeniowych, który pomożemy dostosować do indywidualnychpotrzebPomoc w zrozumieniu zagadnień związanych z uruchamianiemaplikacji na rozległych zasobach obliczeniowychWsparcie technologiczne i informatyczne przy projektowaniu własnychaplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid
Mateusz Tykierko (WCSS) 26 czerwca 2012 21 / 23
EGI1 - European Grid Infrastructure
1http://rtm.hep.ph.ic.ac.uk/webstart.phpMateusz Tykierko (WCSS) 26 czerwca 2012 22 / 23
PRACE - Partnership for Advanced Computing in Europe
Projekty PRACE realizowane są przez wiodące jednostki badawcze isuperkomputerowe z 21 krajów Europy, w tym z Polski: PCSS, WCSS,Cyfronet, ICM i TASK.Działalność PRACE
ustanowienie i rozwijanie europejskiej infrastruktury badawczejPRACE RI (Research Infrastructure)dostarczenie naukowcom i inżynierom w Europie dostępu doinfrastruktury i usługi HPC o wydajności obliczeniowej rzęduPetaFlop/s (Tier-0 oraz Tier-1)zapewnienie wsparcia zespołom naukowym w zakresie poprawywydajności i skalowalności aplikacji naukowych
Działania WCSSpoprawa skalowalności i wydajności aplikacji dzięki zastosowaniunowych technik programowania (OpenCL, CUDA)badanie wydajności obliczeniowej i energetycznej prototypówsprzętowych (architektury hybrydowe, GPU)
Mateusz Tykierko (WCSS) 26 czerwca 2012 23 / 23