WP 2.1 Zdalny dostęp do bibliotek naukowych

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

WP 2.1WP 2.1 Zdalny dostęp Zdalny dostępdo bibliotek naukowychdo bibliotek naukowych

Udział w projekcie: 6,51%

Osoby kontaktowe:

PCSS: Maciej Brzeźniak [email protected]

TASK: Rafał Tylman [email protected]

Projekt celowy SGIProjekt celowy SGI


WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychplan prezentacjiplan prezentacji

• Wprowadzenie do tematyki zadania:

– motywacje dla powstania systemów Grid RPC

– działanie Grid RPC

– API systemów Grid RPC

• Prezentacja prac w ramach zadaniai podziału nad podzadania

• Harmonogram prac


WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychwprowadzeniewprowadzenie - motywacje dla Grid RPC - motywacje dla Grid RPC

• Fakt 1: Aplikacje naukowe wykonują skomplikowane obliczenia.

• Fakt 3: Istnieją biblioteki funkcji matematycznych (często używanych funkcjonalności matematycznych)

dla języków C i Fortran

przykłady: BLAS, LAPACK, SCALAPACK ...

• Fakt 2: Użytkownicy chcą wykonywać obliczenia. Nie chcą implementować algorytmów numerycznych.


WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychwprowadzenie wprowadzenie - motywacje dla Grid RPC- motywacje dla Grid RPC

• Pytanie: Jak dać użytkownikom dostęp

do bibliotek naukowych?

• Rozwiązanie 1: wywołanie funkcji lokalnej biblioteki

• Rozwiązanie 2: uruchamianie aplikacji obliczeniowej w systemach kolejkowych lub przez usługi systemu Globus

Stacja użytkownikaKomputer dużej mocySystem kolejkowy


WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychwprowadzenie wprowadzenie - motywacje dla Grid RPC- motywacje dla Grid RPC

• Pytanie: Jak dać użytkownikom dostęp

do bibliotek naukowych?

• Rozwiązanie 3: GRID RPC

GRID RPC = RPC mechanism tailored to Grid

Realizacje Grid RPC: NetSolve (icl.cs.utk.edu/netsolve) Ninf (ninf.apgrid.org)

• Rozwiązanie 1: wywołanie funkcji lokalnej biblioteki

• Rozwiązanie 2: uruchamianie aplikacji obliczeniowej w systemach kolejkowych lub przez Globus GRAM


Podejście Grid RPC - Podejście Grid RPC - ilustracjailustracja

GridRPC

Maszyna użytkownikaMaszyna użytkownika

Agent systemu Grid RPC

Monitorow. & predykcja

Odkrywaniezasobów

UruchamianieUruchamianieZadańZadań

Szeregowanie

Środowisko GridŚrodowisko Grid

AplikacjaAplikacja


Oryginalna aplikacja Zmodyfikowana aplikacja

Przejście z lokalnego wywołania na API Grid RPC Przejście z lokalnego wywołania na API Grid RPC (przykład NetSolve)(przykład NetSolve)


API API systemów opartych osystemów opartych o Grid RPC Grid RPC

• API języka C:– NetSolve:

• synchroniczne: netsl (func_name, ...)

• asynchroniczne: netsnbl (func_name, ...)netslpb (...), netslwt (...)

– Ninf:• synchroniczne: Ninf_call (func_name,...)

• asynchroniczne: Ninf_call_async (func_name,...)Ninf_wait (...)

• inne API:– NetSolve: C, Fortran, Mathematica, Matlab, Unix shell, Java GUI– Ninf: C, Fortran, Mathematica, Excel


WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychpodzadaniapodzadania

• Praca wejścia - PCSS:

– wdrożenie systemów Grid RPC i testy

– zebranie informacji o bibliotekach matematycznych w Polsce

• Prace po stronie klienta systemu - TASK:– mechanizm automatycznej adaptacji

istniejących aplikacji do korzystania z Grid RPC

– mechanizm dla niezawodności zdalnych wywołań

• Prace po stronie systemu - PCSS:– mechanizmy szeregowania (predykcja czasu wykonania)

– integracja z systemami kolejkowymi


WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychPraca wejściaPraca wejścia

• Wykonuje - PCSS

• Zakres prac:

– instalacja systemów Grid RPC i testy

• instalacja systemów w PCSS i TASK

• testy funkcjonalności systemów i sprawności mechanizmów

– zebranie informacji o bibliotekach mat. w Polsce

• jakie są wykorzystywane, statystyki...

• sprawdzenie zgodności wykorzystywanych bibliotek z systemami Grid RPC

– opracowanie koncepcji systemu udostępniania


WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychMechanizmy po stronie klienta systemuMechanizmy po stronie klienta systemu

• Wykonuje - TASK

• Zakres prac: prace po stronie klienta systemu

– mechanizm automatycznej adaptacji istniejących aplikacji do korzystania z Grid RPC

• prekompilator kodu źródłowego aplikacji:

wywołania lokalne funkcji -> wywołania poprzez Grid RPC

• narzędzia wspomagające dla użytkownika:

– narzędzie interaktywne wspomagające podmianę wywołań

– narzędzie do analizy wydajności

– mechanizm dla niezawodności zdalnych wywołań

• awaryjne, lokalne wykonanie funkcji matematycznej


WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychMechanizmy po stronie systemuMechanizmy po stronie systemu

• Wykonuje - PCSS

• Zakres prac: prace po stronie systemu

– mechanizmy szeregowania (predykcja czasu wykonania)

• udoskonalenie metod predykcji czasu wykonania funkcji

• predykcja oparta na wiedzy: zbieranie informacji o czasach wykonania funkcji + analiza informacji

– integracja z systemami kolejkowymi

• umożliwienie systemom Grid RPC korzystania z zasobów pracujących pod kontrolą systemów kolejkowych

• mechanizmy uruchamiania funkcji matematycznych w kolejkach oraz monitorowania/predykcji stanu zasobów


WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowych

Harmonogram pracHarmonogram prac


WP 2.1WP 2.1 Zdalny dostęp Zdalny dostępdo bibliotek naukowychdo bibliotek naukowych

Dziękuję za uwagę.Dziękuję za uwagę.

Osoby kontaktowe:

PCSS: Maciej Brzeźniak [email protected]

TASK: Rafał Tylman [email protected]

Projekt celowy SGIProjekt celowy SGI

WP 2.1 Zdalny dostęp do bibliotek naukowych

Documents

Transcript of WP 2.1 Zdalny dostęp do bibliotek naukowych