Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
KONFERENCJA „SAS DLA ADMINISTRATORÓW I PRAKTYKÓW” • 15-16 MAJA 2014
RECEPTA NA ZDROWIE
ADMINISTRACJA SAS VISUAL ANALYTICS
KAMIL SZADKOWSKI
KONFERENCJA „SAS DLA ADMINISTRATORÓW I PRAKTYKÓW” • 15-16 MAJA 2014
RECEPTA NA ZDROWIE AGENDA
1. Pogląd architektury
2. Visual Analytics Administrator
3. Ładowanie poza interfejsem
4. Konfiguracja alertów
5. Monitorowanie środowiska
6. Serwery map
7. Uprawnienia
8. Użytki
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
MMP – Multi Machine Platform
• Wiele maszyn
• Rozproszony system plików
SMP – Single Machine Platform
• Pojedynczy serwer
• Brak rozproszonego systemu plików
KONFERENCJA „SAS DLA ADMINISTRATORÓW I PRAKTYKÓW” • 15-16 MAJA 2014
ARCHITEKTURA ŁADOWANIE DANYCH - MMP
Silnik LASRHDFS
Dane
źródłowe
Mobile BI
Przeglądarka
Ładowanie
Middle Tier
Ładowanie
Interakcja
Interakcja
KONFERENCJA „SAS DLA ADMINISTRATORÓW I PRAKTYKÓW” • 15-16 MAJA 2014
ARCHITEKTURA ŁADOWANIE DANYCH - SMP
Silnik LASR
Dane
źródłowe
Mobile BI
Przeglądarka
Middle TierŁadowanie
Interakcja
Interakcja
KONFERENCJA „SAS DLA ADMINISTRATORÓW I PRAKTYKÓW” • 15-16 MAJA 2014
Przeglądarka
Źródło
danych
ARCHITEKTURA INTERAKCJA
Silnik LASRHDFS
Mobile BI
Middle Tier
Ładowanie
Ładowanie
Interakcja
Interakcja
INTERFEJS
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
4GL – ŁADOWANIE DANYCH (SMP)
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
LIBNAME lasrlib SASIOLA TAG=lasrlib PORT=10010 HOST="host"
SIGNER="http://host:port/SASLASRAuthorization";
DATA lasrlib.sp2014;
SET dwhora.sprzedaz;
WHERE rok EQ 2014;
RUN;
PROC METALIB;
OMR(
LIBRARY="lasrlib"
);
FOLDER="/Shared Data/Dane LASR/Sprzedazowe/";
SELECT ("sp2014");
RUN;
4GL – ŁADOWANIE DANYCH (MMP)
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
OPTION SET=GRIDHOSTS="namenode.domena.com";
OPTION SET=GRIDINSTALLLOC="/opt/TKGrid";
PROC LASR CREATE PORT=11111;
PATH="/tmp" NOCLASS;
PERFORMANCE NODES=ALL;
RUN;
PROC LASR ADD DATA=dwh.dane PORT=11111;
RUN;
PROC METALIB;
OMR(LIBRARY="Biblioteka dla administratorow");
FOLDER="/My Folder/Dane LASR";
SELECT ("dane");
RUN;
4GL – APPEND (SMP)
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
LIBNAME libtest SASIOLA TAG=TCS PORT=100061 LASR=tcs2
SIGNER="http://host:port/SASLASRAuthorization"
HOST="host";
DATA libtest.dane_testowe(LABEL="Testowe dane w LASR");
SET sprzedaz.r14m1;
RUN;
DATA libtest.dane_testowe ( APPEND );
SET sprzedaz.r14m2;
RUN;
4GL – APPEND (MMP)
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
/* Wczesniej przypisywanie bibliotek hdfs i testmmp */
PROC LASR ADD DATA=hdfs.styczen PORT=22222;
PERFORMANCE HOST="host.domena.com" NODES=ALL;
RUN;
PROC LASR ADD DATA=hdfs.luty PORT=22222;
PERFORMANCE HOST="host.domena.com" NODES=ALL;
RUN;
DATA testmmp.marzec;
SET sprzedaz.r2013;
WHERE miesiac eq 3;
RUN;
PROC IMSTAT;
TABLE testmmp.styczen;
SET luty;
SET marzec;
RUN;
AUTOMATYCZNE ŁADOWANIE
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
AUTOMATYCZNE ŁADOWANIE
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
• Funkcja autoload synchronizuje dane w pamięci (LASR) ze
zdefiniowaną lokalizacją na dysku
• Działa na zasadzie dropbox – administrator wkleja zbiór
SAS-owy, bądź plik XLS/CSV do katalogu i skrypt ładuje
dane w ciągu 15 minut
• W przypadku modyfikacji zbioru w katalogu, porównywana
jest data modyfikacji – jeżeli zbiór na dysku jest nowszy,
dane w pamięci są nim zastępowane
• Istnieje możliwość aktualizacji danych (append)
• W przypadku przeniesienia zbioru do katalogu Unload,
zbiór zostanie wyładowany z pamięci
AUTOMATYCZNE ŁADOWANIE
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
• Struktura autoload znajduje się w katalogu
• /AppData/SASVisualAnalytics/VisualAnalyticsAdministrator/Autoload
• Domyślnie dane ładowane są do Public LASR (można zdefiniować
inny)
• Aby funkcjonalność działała należy uruchomić skrypt
schedule.sh/bat (dodaje on skrypt autoload do harmonogramu)
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
• Aby użytkownicy byli w
stanie korzystać z alertów
należy dodać odpowiednich
subskrybentów w
metadanych
• Subskrybenci muszą być
istniejącymi użytkownikami
oraz muszą posiadać adres
ENVIRONMENT MANAGER
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
LASR MONITOR
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
• Uruchamiany jako oddzielna usługa/Applications/SASVisualAnalytics6.4/HighPerformanceConfiguration/LASRMonitor.sh
Przyjmuje parametry start, stop oraz status
• Wyłącznie dla MMP
• Pogląd na bieżące zużycie systemu – przydatne np. po
wygaśnięciu sesji VAA przy ładowaniu danych
• Dostępny z poziomu Visual Analytics Administrator jako
Resource Monitor
LASR MONITOR
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
• Dynamiczna skala zużycia (wykresy
RAM, CPU, Net I/O)
• Bieżące zużycie node’ów – Real-Time
View
• Każdy prostokąt w oknie symbolizuje 1 node
• Górna cześć okna dzielona jest na liczbę
core’ów dostępnych w nodzie, intensywne
zabarwienie oznacza większe zużycie CPU
• Środkowa część – zużycie pamięci
• Dolna – sieć z/do
NMON
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
• nmon (Nigel’s Monitor) – monitor systemowy
• Praktycznie zerowe obciążenie - 15KB w pamięci
• Nasze skrypty
• nmonHourly.sh (dodany do crona @hourly)
• Tworzy log dla każdej godziny
• Próbkuje zużycie zasobów co 3 sekundy
• logArchiver.sh (@daily)
• Uruchamiany o północy
• Tworzy katalog dla minionego dnia
• Kompresuje logi minionego dnia
• Analiza
• nmon analyser 3.4 – makro excelowe
• Tworzy szczegółowe wyniki dla całego systemu wraz wykresami
date=$(date +%d.%m.%y_+%Hh.nmon)nmon -s 3 -c 1200 -Tf -F /data/usage_stats/nmon_$date
yesterday=$(date -d '1 day ago' +%d.%m.%y)chmod 777 "/data/usage_stats/nmon_"$yesterday"_"*tar -czf /data/usage_stats/archives/nmon_$yesterday.tar.gz "/data/usage_stats/nmon_"$yesterday"_"*rm "/data/usage_stats/nmon_"$yesterday"_"*
OPEN STREET MAP
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
• Visual Analytics domyślnie korzysta z Open
Street Map
• Standardowo są to 3 serwery udostępniane
przez SAS
• Wymagane jest połaczenie z Internetem, aby
raporty mogły korzystać z map
• To serwer pobiera mapy i udostępnia je
użytkownikom pracującym z Visual Analytics przez
przeglądarkę
• Wyjątkiem są urządzenia mobilne – pobierają
mapy bezpośrednio z serwerów OSM
• Istnieje możliwość komunikacji po HTTPS
OPEN STREET MAP – WŁASNY SERWER
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
• Istnieje możliwość definicji własnego serwera OSM dla
Visual Analytics – parametr va.GeoMapServerUrl w
metadanych (właściwości dla Visual Analytics 6.x w
Configuration Manager)
• Utrzymywanie serwera wraz z aktualizacją map należy do
prac wykonywanych przez administratora organizacji
• Obciążenie serwera OSM – 25 GB RAM
ESRI ARCGIS
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
• Visual Analytics może również
korzystać z map udostępnianych
przez serwery ESRI (istnieją
serwery publiczne z limitowanym
dostępem)
• Właściwość
va.SASGeomapEsriURL
• Użytkownik ma wybór z którego
serwisu chce korzystać
DOMYŚLNE ROLE
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
• Domyślnie zdefiniowanych jest 5 ról:
• Administration – najszersza rola, administracyjna
• Analysis – umożliwia tworzenie raportów oraz eksploracji
• Basic – podstawowa rola – wyświetlanie oraz eksport raportów
• Data Building – umożliwia korzystanie z funkcjonalności Data
Builder
• Report Viewing – umożliwia otwieranie raportów (tych, do
których jest dostęp w metadanych)
ROW LEVEL SECURITY
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
• Istnieje możliwość nadawania
uprawnień dla użytkownika
lub grupy dla konkretnych
wierszy
• Uprawnienia nadaje się z
interfejsu Visual Analytics
Administrator lub z poziomu
4GL
LISTOWANIE RAPORTÓW VA Z 4GL
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
options metaserver="localhost"
metaport=8561
metauser="sasadm@saspw"
metapass="haslo"
metarepository="Foundation";
data myreports;
length label $200 path $500 tmp $500;
length uri $256 asnuri $256;
nobj=1;
n=1;
keep label path;
do while(nobj >= 0);
nobj=metadata_getnobj("omsobj:Transformation?Transformation[@PublicType='Report.BI']]",n,uri);
rc=metadata_getattr(uri,"Name",label);
rc=metadata_getnasn(uri,"Trees",1,asnuri);
arc=metadata_getattr(asnuri,"Name",path);
/* walk through all the trees on this Report object. */
rc = 1;
do while(rc>0);
rc=metadata_getnasn(asnuri,"ParentTree",1,asnuri);
arc=metadata_getattr(asnuri,"Name",tmp);
if (rc>0) then path = trim(tmp) || "/" || trim(path);
end;
/* building full qualified path*/
path = "/" || trim(path) || "/" || trim(label);
n=n+1;
if (nobj >= 0) then output;
end;
run;
LIMIT JEDNOCZESNYCH POŁĄCZEŃ DO SERWERA
Pogląd architektury
Visual Analytics Administrator
Poza interfejsem
Konfiguracja alertów
Monitorowanie środowiska
Serwery map
Uprawnienia
Użytki
W przypadku zaistnienia potrzeby ograniczenia
jednoczesnych połączeń, można skorzystać z parametru
MaxClient dla SAS Web Server. Więcej w dokumentacji
apache:
http://httpd.apache.org/docs/2.2/mod/mpm_common.html
http://httpd.apache.org/docs/2.2/mod/mpm_common.html
Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
KONFERENCJA „SAS DLA ADMINISTRATORÓW I PRAKTYKÓW” • 15-16 MAJA 2014
DZIĘKUJĘ ZA UWAGĘ
Top Related