RECEPTA NA ZDROWIE...NMON Pogląd architektury Visual Analytics Administrator Poza interfejsem...

Copyr i g ht © 2014, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

KONFERENCJA „SAS DLA ADMINISTRATORÓW I PRAKTYKÓW” • 15-16 MAJA 2014

RECEPTA NA ZDROWIE

ADMINISTRACJA SAS VISUAL ANALYTICS

KAMIL SZADKOWSKI


RECEPTA NA ZDROWIE AGENDA

1. Pogląd architektury

2. Visual Analytics Administrator

3. Ładowanie poza interfejsem

4. Konfiguracja alertów

5. Monitorowanie środowiska

6. Serwery map

7. Uprawnienia

8. Użytki

Pogląd architektury

Visual Analytics Administrator

Poza interfejsem

Konfiguracja alertów

Monitorowanie środowiska

Serwery map

Uprawnienia

Użytki

MMP – Multi Machine Platform

• Wiele maszyn

• Rozproszony system plików

SMP – Single Machine Platform

• Pojedynczy serwer

• Brak rozproszonego systemu plików


ARCHITEKTURA ŁADOWANIE DANYCH - MMP

Silnik LASRHDFS

Dane

źródłowe

Mobile BI

Przeglądarka

Ładowanie

Middle Tier

Ładowanie

Interakcja

Interakcja


ARCHITEKTURA ŁADOWANIE DANYCH - SMP

Silnik LASR

Dane

źródłowe

Mobile BI

Przeglądarka

Middle TierŁadowanie

Interakcja

Interakcja


Przeglądarka

Źródło

danych

ARCHITEKTURA INTERAKCJA

Silnik LASRHDFS

Mobile BI

Middle Tier

Ładowanie

Ładowanie

Interakcja

Interakcja

INTERFEJS



Poza interfejsem



Serwery map

Uprawnienia

Użytki

4GL – ŁADOWANIE DANYCH (SMP)



Poza interfejsem



Serwery map

Uprawnienia

Użytki

LIBNAME lasrlib SASIOLA TAG=lasrlib PORT=10010 HOST="host"

SIGNER="http://host:port/SASLASRAuthorization";

DATA lasrlib.sp2014;

SET dwhora.sprzedaz;

WHERE rok EQ 2014;

RUN;

PROC METALIB;

OMR(

LIBRARY="lasrlib"

);

FOLDER="/Shared Data/Dane LASR/Sprzedazowe/";

SELECT ("sp2014");

RUN;

4GL – ŁADOWANIE DANYCH (MMP)



Poza interfejsem



Serwery map

Uprawnienia

Użytki

OPTION SET=GRIDHOSTS="namenode.domena.com";

OPTION SET=GRIDINSTALLLOC="/opt/TKGrid";

PROC LASR CREATE PORT=11111;

PATH="/tmp" NOCLASS;

PERFORMANCE NODES=ALL;

RUN;

PROC LASR ADD DATA=dwh.dane PORT=11111;

RUN;

PROC METALIB;

OMR(LIBRARY="Biblioteka dla administratorow");

FOLDER="/My Folder/Dane LASR";

SELECT ("dane");

RUN;

4GL – APPEND (SMP)



Poza interfejsem



Serwery map

Uprawnienia

Użytki

LIBNAME libtest SASIOLA TAG=TCS PORT=100061 LASR=tcs2

SIGNER="http://host:port/SASLASRAuthorization"

HOST="host";

DATA libtest.dane_testowe(LABEL="Testowe dane w LASR");

SET sprzedaz.r14m1;

RUN;

DATA libtest.dane_testowe ( APPEND );

SET sprzedaz.r14m2;

RUN;

4GL – APPEND (MMP)



Poza interfejsem



Serwery map

Uprawnienia

Użytki

/* Wczesniej przypisywanie bibliotek hdfs i testmmp */

PROC LASR ADD DATA=hdfs.styczen PORT=22222;

PERFORMANCE HOST="host.domena.com" NODES=ALL;

RUN;

PROC LASR ADD DATA=hdfs.luty PORT=22222;

PERFORMANCE HOST="host.domena.com" NODES=ALL;

RUN;

DATA testmmp.marzec;

SET sprzedaz.r2013;

WHERE miesiac eq 3;

RUN;

PROC IMSTAT;

TABLE testmmp.styczen;

SET luty;

SET marzec;

RUN;

AUTOMATYCZNE ŁADOWANIE



Poza interfejsem



Serwery map

Uprawnienia

Użytki




Poza interfejsem



Serwery map

Uprawnienia

Użytki

• Funkcja autoload synchronizuje dane w pamięci (LASR) ze

zdefiniowaną lokalizacją na dysku

• Działa na zasadzie dropbox – administrator wkleja zbiór

SAS-owy, bądź plik XLS/CSV do katalogu i skrypt ładuje

dane w ciągu 15 minut

• W przypadku modyfikacji zbioru w katalogu, porównywana

jest data modyfikacji – jeżeli zbiór na dysku jest nowszy,

dane w pamięci są nim zastępowane

• Istnieje możliwość aktualizacji danych (append)

• W przypadku przeniesienia zbioru do katalogu Unload,

zbiór zostanie wyładowany z pamięci




Poza interfejsem



Serwery map

Uprawnienia

Użytki

• Struktura autoload znajduje się w katalogu

• /AppData/SASVisualAnalytics/VisualAnalyticsAdministrator/Autoload

• Domyślnie dane ładowane są do Public LASR (można zdefiniować

inny)

• Aby funkcjonalność działała należy uruchomić skrypt

schedule.sh/bat (dodaje on skrypt autoload do harmonogramu)



Poza interfejsem



Serwery map

Uprawnienia

Użytki



Poza interfejsem



Serwery map

Uprawnienia

Użytki

• Aby użytkownicy byli w

stanie korzystać z alertów

należy dodać odpowiednich

subskrybentów w

metadanych

• Subskrybenci muszą być

istniejącymi użytkownikami

oraz muszą posiadać adres

e-mail

ENVIRONMENT MANAGER



Poza interfejsem



Serwery map

Uprawnienia

Użytki

LASR MONITOR



Poza interfejsem



Serwery map

Uprawnienia

Użytki

• Uruchamiany jako oddzielna usługa/Applications/SASVisualAnalytics6.4/HighPerformanceConfiguration/LASRMonitor.sh

Przyjmuje parametry start, stop oraz status

• Wyłącznie dla MMP

• Pogląd na bieżące zużycie systemu – przydatne np. po

wygaśnięciu sesji VAA przy ładowaniu danych

• Dostępny z poziomu Visual Analytics Administrator jako

Resource Monitor

LASR MONITOR



Poza interfejsem



Serwery map

Uprawnienia

Użytki

• Dynamiczna skala zużycia (wykresy

RAM, CPU, Net I/O)

• Bieżące zużycie node’ów – Real-Time

View

• Każdy prostokąt w oknie symbolizuje 1 node

• Górna cześć okna dzielona jest na liczbę

core’ów dostępnych w nodzie, intensywne

zabarwienie oznacza większe zużycie CPU

• Środkowa część – zużycie pamięci

• Dolna – sieć z/do

NMON



Poza interfejsem



Serwery map

Uprawnienia

Użytki

• nmon (Nigel’s Monitor) – monitor systemowy

• Praktycznie zerowe obciążenie - 15KB w pamięci

• Nasze skrypty

• nmonHourly.sh (dodany do crona @hourly)

• Tworzy log dla każdej godziny

• Próbkuje zużycie zasobów co 3 sekundy

• logArchiver.sh (@daily)

• Uruchamiany o północy

• Tworzy katalog dla minionego dnia

• Kompresuje logi minionego dnia

• Analiza

• nmon analyser 3.4 – makro excelowe

• Tworzy szczegółowe wyniki dla całego systemu wraz wykresami

date=$(date +%d.%m.%y_+%Hh.nmon)nmon -s 3 -c 1200 -Tf -F /data/usage_stats/nmon_$date

yesterday=$(date -d '1 day ago' +%d.%m.%y)chmod 777 "/data/usage_stats/nmon_"$yesterday"_"*tar -czf /data/usage_stats/archives/nmon_$yesterday.tar.gz "/data/usage_stats/nmon_"$yesterday"_"*rm "/data/usage_stats/nmon_"$yesterday"_"*

OPEN STREET MAP



Poza interfejsem



Serwery map

Uprawnienia

Użytki

• Visual Analytics domyślnie korzysta z Open

Street Map

• Standardowo są to 3 serwery udostępniane

przez SAS

• Wymagane jest połaczenie z Internetem, aby

raporty mogły korzystać z map

• To serwer pobiera mapy i udostępnia je

użytkownikom pracującym z Visual Analytics przez

przeglądarkę

• Wyjątkiem są urządzenia mobilne – pobierają

mapy bezpośrednio z serwerów OSM

• Istnieje możliwość komunikacji po HTTPS

OPEN STREET MAP – WŁASNY SERWER



Poza interfejsem



Serwery map

Uprawnienia

Użytki

• Istnieje możliwość definicji własnego serwera OSM dla

Visual Analytics – parametr va.GeoMapServerUrl w

metadanych (właściwości dla Visual Analytics 6.x w

Configuration Manager)

• Utrzymywanie serwera wraz z aktualizacją map należy do

prac wykonywanych przez administratora organizacji

• Obciążenie serwera OSM – 25 GB RAM

ESRI ARCGIS



Poza interfejsem



Serwery map

Uprawnienia

Użytki

• Visual Analytics może również

korzystać z map udostępnianych

przez serwery ESRI (istnieją

serwery publiczne z limitowanym

dostępem)

• Właściwość

va.SASGeomapEsriURL

• Użytkownik ma wybór z którego

serwisu chce korzystać

DOMYŚLNE ROLE



Poza interfejsem



Serwery map

Uprawnienia

Użytki

• Domyślnie zdefiniowanych jest 5 ról:

• Administration – najszersza rola, administracyjna

• Analysis – umożliwia tworzenie raportów oraz eksploracji

• Basic – podstawowa rola – wyświetlanie oraz eksport raportów

• Data Building – umożliwia korzystanie z funkcjonalności Data

Builder

• Report Viewing – umożliwia otwieranie raportów (tych, do

których jest dostęp w metadanych)

ROW LEVEL SECURITY



Poza interfejsem



Serwery map

Uprawnienia

Użytki

• Istnieje możliwość nadawania

uprawnień dla użytkownika

lub grupy dla konkretnych

wierszy

• Uprawnienia nadaje się z

interfejsu Visual Analytics

Administrator lub z poziomu

4GL

LISTOWANIE RAPORTÓW VA Z 4GL



Poza interfejsem



Serwery map

Uprawnienia

Użytki

options metaserver="localhost"

metaport=8561

metauser="sasadm@saspw"

metapass="haslo"

metarepository="Foundation";

data myreports;

length label $200 path $500 tmp $500;

length uri $256 asnuri $256;

nobj=1;

n=1;

keep label path;

do while(nobj >= 0);

nobj=metadata_getnobj("omsobj:Transformation?Transformation[@PublicType='Report.BI']]",n,uri);

rc=metadata_getattr(uri,"Name",label);

rc=metadata_getnasn(uri,"Trees",1,asnuri);

arc=metadata_getattr(asnuri,"Name",path);

/* walk through all the trees on this Report object. */

rc = 1;

do while(rc>0);

rc=metadata_getnasn(asnuri,"ParentTree",1,asnuri);

arc=metadata_getattr(asnuri,"Name",tmp);

if (rc>0) then path = trim(tmp) || "/" || trim(path);

end;

/* building full qualified path*/

path = "/" || trim(path) || "/" || trim(label);

n=n+1;

if (nobj >= 0) then output;

end;

run;

LIMIT JEDNOCZESNYCH POŁĄCZEŃ DO SERWERA



Poza interfejsem



Serwery map

Uprawnienia

Użytki

W przypadku zaistnienia potrzeby ograniczenia

jednoczesnych połączeń, można skorzystać z parametru

MaxClient dla SAS Web Server. Więcej w dokumentacji

apache:

http://httpd.apache.org/docs/2.2/mod/mpm_common.html

http://httpd.apache.org/docs/2.2/mod/mpm_common.html

RECEPTA NA ZDROWIE...NMON Pogląd architektury Visual Analytics Administrator Poza interfejsem...

Documents

Transcript of RECEPTA NA ZDROWIE...NMON Pogląd architektury Visual Analytics Administrator Poza interfejsem...