11. Nowoczesne systemy archiwizacji

© 2010 IBM Corporation

Information Management

Data Governance,Nowoczesne systemy archiwizacji

Tomasz Kotowski, IBM

© 2010 IBM Corporation2


2

IBM Infosphere Information Governance

Spójno ść i reu żywalno ść

współdzielone metadanei polityki

Wszystkie obszary funkcjonalne

Modułowo ść

i ró żne punkty startu

Heterogeniczno ść

i wsparcie środowisk enterprise



Managing the Lifecycle of Data in the Information Supply Chain

Discover & DefineDiscover & Define

Consolidate & RetireConsolidate & Retire

Optimize, Archive & AccessOptimize, Archive & Access

Develop & TestDevelop & Test

� Zrozumieć “co i gdzie” w danych firmy

� Utworzenie modeli i rozwiązania zapewniającego odpowiednie składowanie i dostęp do danychw środowiskach produkcyjnych i poza produkcją

� Optymalizacja wydajności i eliminacja wąskich gardeł poprzez odpowiednią strategię archiwizacji

� Implementacja spójnego procesu dla wygaszania lub konsolidacji aplikacji

Test/DevTest/Dev



Data Lifecycle Management – etapy i narzędzia

� Understand and Define:

� * InfoSphere Guardium

� * InfoSphere Discovery

� * InfoSphere Data Architect

� Develop, Test and Deploy:

� * InfoSphere Optim Development Studio and pureQuery Runtime

� * InfoSphere Data Architect

� * InfoSphere Optim Test Data Management

� Optimize, Archive and Access:

� * InfoSphere Optim Performance Manager

� * InfoSphere Optim Data Growth

� * InfoSphere Optim Query Tuner

� * InfoSphere Optim Database Administrator

� * InfoSphere Optim Data Find

� Consolidate and Retire:

� * InfoSphere Information Server

� * InfoSphere Optim Application Retirement

� * InfoSphere Optim Data Growth

� * InfoSphere Optim Data Find



Czas

Zb

iera

nie

/ tw

orze

nie

Uak

tual

nia

nie

Arc

hiw

um

Usu

wan

ie

War

tość

dany

ch

Dys

tryb

ucj

aOnline Offline

< 30% > 70%Cykl życia danych – nie wszystkie dane maj ą tą samą warto ść

Około 70% danych w produkcyjnych bazach danych jest b ardzo rzadko lub w ogóle nie wykorzystywanych – Gartner



Problem - bazy danych – efekt mno żnika

4 TB Produkcja

4 TB Backup

DisasterRecovery

4 TB

4 TB Test

4 TB Development

4 TB Quality Control

24 TBSuma

Rzeczywista wielko ść utrzymywanych baz danych = rozmiar bazy produkcyjnej + rozmiar wszystkich klonów tej b azy

Koszty utrzymania (przestrzeń dyskowa, CPU, pamięć, licencje, praca DBA, …)

$ $$ $$$



Archiwizacja to proces przenoszenia nieaktywnych lub rzadko wykorzystywanych danych które wciąż mająwarto ść, z zachowaniem możliwości odtworzenia, dost ępu i wyszukiwania .

Archiwizacja – czyli co?

Dobra obsługa archiwizacji, zapewnienie optymalnego wykorzystania zasobów i bezpiecze ństwa danych wymaga automatyzacji procesu.



Dane aplikacji w relacyjnych bazach danych

?!?



� Jedno, skalowalne, wieloplatformowe i zorientowane n a usługi rozwi ązanie do zautomatyzowanego zarz ądzania danymi przedsi ębiorstwa w oparciu o zestawy reguł, klasyfikacje i warto ść danych.

� Pozwala na separacj ę logiki i modelu od implementacji i technologii

� Optim Relationship Engine™ - system definiowania, wyodr ębniania, dost ępu oraz selektywnego odtwarzania nienaruszonych podzbiorów danych z heterogenicznych systemów zarz ądzania bazami danych

Archive

Production Environments

OE

M/IS

V

Cu

sto

m

Am

do

cs

SA

P

JDE

dw

ard

s

Peo

ple

So

ft

Ora

cle

Sie

bel

Subset & Mask

Non Production Environments

OE

M/IS

V

Cu

sto

m

Am

do

cs

SA

P

JDE

dw

ard

s

Peo

ple

So

ft

Ora

cle

Sie

bel

NAS SAN ATA CAS Optical Tape

Windows XP/2000 Solaris HP/UX Linux AIX OS/390 Z/OS i-Series

Oracle SQL Server Sybase Informix DB2 LUW XML IMS VSAM/SEQ Adabas DB2 z/OS Teradata

Optim Relationship Engine ™

Data Growth, Data Privacy, Test Data Management, Ap plication Upgrades, Application Retirement



� Reprezentuj ą logiczne obiekty biznesowe aplikacji – np. klienta, transakcje

� Zapewniaj ą “historyczne zdj ęcie” danych reprezentuj ących aktywno ść biznesow ą (stan w danym momencie w czasie)

� Dzięki federacji mog ą powstawa ć z różnych źródeł danych, aplikacji obsługuj ących poszczególne etapy procesów biznesowych

Kompletne obiekty biznesowe

EBiz Financials / Oracle

Siebel / OracleCustom Inventory Management / DB2

Customer Order

Customer Order

Transakcja Klienta

Kompletny obiekt

biznesowy

Kompletny obiekt

biznesowy

Aplikacja 1DB2 on z/OS

Aplikacja 2Informix on LUW

Aplikacja 3Oracle



1212

IBM Optim Discovery

� Automatyzacja analizy modelu danych i wykrywania powiązańskraca czas analizy.

� Zgromadzona wiedza o modelu danych zmniejsza ryzyko projektu.

� Zapewnia spójnądokumentację zależności danych z różnych obszarów i aplikacji.

� Zdefiniowanie obiektów biznesowych dla archiwizacji i zasilania środowisk testowych

� Odkrycie reguł transformacji danych i złożonych relacji nie zapisanych w katalogu bazy danych

� Identyfikacja danych spełniających kryteria – np.. Danych wrażliwych wymagających maskowania

Wymagania

Korzyści

Ułatwia i przy śpiesza wdro żenie przez zautomatyzowane odkrywanie powi ązań i relacji danych i definicj ę obiektów biznesowych

Ręczna analiza i walidacja danych(czas, ryzyko, $$)

Zautomatyzowane odkrywanie danych



13

Wykrywanie powiązań i potencjalnie ukrytych danych wrażliwych

� Relacje i dane wrażliwe nie zawsze mogą być odnalezione poprzez proste skanowanie danych

– Dane wrażliwe mogą byćzawarte w wartości innego pola

– Dane wrażliwe mogą zostaćujawnione poprzez relacje pomiędzy polami i systemami

� Mając do czynienia z setkami tabel i milionami rekordów wyszukiwanie danych poufnych może być bardzo złożone i wymaga odpowiednich narzędzi.

Patient Result Test3802468 N 534182715 N 534600986 N 325061085 N 535567193 N 726123913 Y 476736304 N 347409934 N 348150928 N 478966020 N 34

System A Table 15

Wykrywanie relacji danych wra żżżżliwych

Code Name53 Streptococcus pyogenes72 Pregnancy 32 Alzheimer Disease47 H1N134 Dermatamycoses

System Z Table 25

Number Name4600986 AlexFulltheim8150928 BarneySolo6736304 BillAlexander3802468 BobSmith5567193 EileenKratchman7409934 FredSimpson6123913 GregLougainis5061085 JamieSlattery4182715 JimJohnson8966020 MartinAston

System A Table 1Number Name3544600986 Alex Felltham5728150928 Barney Solo3786736304 Bill Alexander6783802468 Bob Smith4035567193 Eileen Ranchman8037409934 Fred Simpson4306123913 John Smith9525061085 Jamie Slattery4594182715 Jim Johnson1288966020 Martin Aston

System A Table 1

Discover &Discover &DefineDefine

ID pacjenta # zawarty w innym polu

Złożone dane wrażliwe: Wyniki testu mogą zostać ujawnione

naruszając prywatność



Operating Platforms

IBM InfoSphere Optim - nowo ści

� Zunifikowane GUI daje możliwość projektowania i uruchamiania procesów Optim niezależnie od środowiska wykonania.

� Łatwe w wykorzystaniu środowisko Designera (Eclipse) oraz oparty o przeglądarkę interfejs Manager’a

� Możliwe jasne rozdzielenie roli projektantów od ról wykonujących i nadzorujących wykonanie procesów

� Kompatybilne z poprzednimi interfejsami (wciąż dostępnymi)

� Architektura zależna od środowiska wykonania

� Osobne środowiska developerskie

� To samo GUI dla projektowania i wykonywania zadań Optim

Rich-client supports drag-n-drop design

Rich-client supports drag-n-drop design

Optim – poprzednie wersje Optim - nowo ści

Phased rollout release

OptimOptimDistributedDistributedRunRun --TimeTime

EngineEngine

OptimOptimDistributedDistributedRunRun --TimeTime

EngineEngine

Web-based: monitor anywhere, anytime

Web-based: monitor anywhere, anytime

OptimOptimz/OSz/OS

RunRun --TimeTimeEngineEngine

OptimOptimz/OSz/OS

RunRun --TimeTimeEngineEngine



IBM Infosphere Optim Designer

� Pozwala na projektowanie i tworzenie usług Optim dla tworzenia środowisk testowych, maskowania danych, archiwizacji i wygaszania aplikac ji – niezale żnie od środowiska wykonania

� Wykorzystuje środowisko Eclipse, zapewniaj ąc integracj ę z innymi rozwi ązaniami IBM –InfoSphere Data Architect, Data Studio, Optim Query Tuner, Development Administrator & wi ęcej!

� Zapewnia współprac ę i integracj ę z Optim Dicovery i Infosphere Information Analyzer opart ą

o współdzielone meta dane, modele, reguły i definic je obiektów.

� Zintegrowane środowiskopozwala na współdzieleniei wielokrotne wykorzystanie komponentów przy zapewnieniu spójno ści

Wspó łłłłdzielone modele danych

Dost ęęęęp do wspólnych metadanych



Archiwa Offline

3

Archiwa Online

2

Aktywnie

wykorzystywane

dane historyczne

10

Dane bieżące

Klasyfikacja danych - przykładowe kryteria biznesoweC

ZA

SD

OS

TĘ

PZ

AK

RE

S/S

TA

TU

S

1 - 2 lat

Bieżące przetwarzanie

Aktualne obiektybiznesowe

3 - 4 lat

Bieżące raportowanie

Aktualne i hist. obiekty bizn.

5 - 6 lat

Okazjonalneraportowanie

Aktualne i hist. obiekty bizn.

7+ lat

Sporadyczny

Historyczne obiekty bizn.

Klasy (warstwy) danych



odtworzenie

archiwizacja

Archiwa OfflineArchiwa OnlineAktywnie

wykorzystywane

dane historyczne

Dane bieżące

Klasyfikacja danych - dopasowana infrastruktura ITC

ZA

S

1 - 2 lat 3 - 4 lat 5 - 6 lat 7+ lat

CD,Tape,Optical, WORM

Archiwa poza RDBMSATA File ServerEMC DMX, CenteraIBM TS, DR550itd.

Pliki archiwumPliki archiwum

Baza archiwum

do raportów

Pliki archiwumPliki archiwumPliki archiwumPliki archiwum

XXXX$/GB XXX$/GB XX$/GB X$/GB

Definicje

archiwizacji

ODBC / JDBC / SQLDostęp do danych przez Open Data Manager

Bieżące

Odtworzone

Historyczne

Aplikacja Aplikacja Wyszukiwanie

(…)raportowanieMashup Eksport: CSV/XML



IBM Optim Manager

� Zarządza wykonaniem usług Optim niezale żnie od środowiska wykonania (z/OS, distributed)

� Ułatwia zarz ądzanie usługami zapewniaj ąc jeden, wspólny interfejs

� Umożliwia odseparowanie ról i uprawnie ń projektantów i administratorów

� Pozwala na wykorzystanie raportów z operacyjnych me ta danych do strojenia i wprowadzania zmian poprawiaj ących wydajno ść i działanie usług.

Elastyczne mechanizmy raportowania

Łatwy w obsłudze interfejs dostępny

przez przeglądarkępozwalający na uruchamianie i zarządzanie

usługami Optim

Monitoring

Zarządzanie

Konfiguracja



Optim – dost ęp do archiwum ■ Natywny dost ęp z aplikacji źródłowej

■ Obsługa drugiego źródła, federacja

■ Dostęp niezale żny od aplikacji źródłowej

■ Standardy: SQL, ODBC/JDBC, XML

■ IBM Mashup Center –teraz w cenie dla dost ępu do archiwum Optim

■ Środowiska raportowe: Crystal Reports, Cognos, Business Objects, Discoverer, Actuate

■ Narzędzia desktop: Excel, MS Access, etc.

■ Przywracanie i dostęp z innej bazy danych

■ Eksport do CSV, XML

■ Web service

Optim

IBM Mashup Center

© 2010 IBM Corporation


Co to jest mashup?

�„aplikacja internetowa, która łączy dane i funkcjonalności z więcej niż jednego źródła„

�Szybki w tworzeniu, budowany samodzielnie

�Używa istniejących zasobów, lecz tworzy nową wartość

�(zazwyczaj)nie wymaga umiejętności technicznych

�Może łączyć wewnętrzne i zewnętrzne źródła

�Używane komponenty – to np. widget



Feed generator / Data Mashup Builder

DB2 database(e.g. Claim records

history)

Optim Archive Excel files(e.g. Information about claim

agents)

DB2/zOS content(incl. PDF, word documents

in blob columns)

Custom Mashup plugin, to recreate actual file from binary blob content

IBM Mashup CenterMashup Builder

AtomFeeds

AtomFeeds

AtomFeeds

Excel File

JDBCdrivers

JDBCthrough Attunity

Optim

Aplikacja Mashup

Atom data feeds displayed through various interacti ve and connected iWidgets

Integracja danych z archiwumi danych bieżących z użyciem

Mashup Center

FileNet

DocumentsViewer

Documents & Files



Mashup Interface



1) Ograniczenie kosztów – oszczędności !– przestrzeń dyskowa (dla bazy produkcyjnej i jej klonów,

wprowadzenie warstwowego przechowywania danych)– redukcja zapotrzebowania na moc obliczeniową (mniej CPU)– administracja i utrzymania baz danych (licencje związane z CPU,

usługi)– uaktualnienia i migracje i wygaszanie aplikacji (skrócony czas

konwersji i migracji danych, dostęp do danych bez konieczności utrzymywania aplikacji)

2) Ograniczenie ryzyka– zgodność z regulacjami prawnymi o zachowywaniu danych (np.

UOODO, Basel, SOX, MiFID, PCI DSS, …)– uniwersalne i bezpieczne archiwum (obiekty biznesowe, niezależne

od aplikacji, bezpieczne archiwum)– precyzyjny i chroniony dostęp do danych (indeksowanie, audyt)

3) Poprawa wydajności i dostępności aplikacji– większa dostępność aplikacji (przetwarzanie mieści się

w wydzielonych oknach czasowych)– szybszy backup i przywracanie systemu – lepsza wydajność aplikacji

Korzy ści z archiwizacji baz danych



KONIEC

11. Nowoczesne systemy archiwizacji

Technology

Transcript of 11. Nowoczesne systemy archiwizacji