1
Odkryj Sekrety Efektywnego Business Intelligence
Analizy zarządcze i szybkie raportowanie ad-hoc w Sybase IQraportowanie ad-hoc w Sybase IQ
Marek RyńskiDyrektor Zarządzający, Dział Rozwoju Biznesu, Sybase Polska
Warszawa, 3 października 2007
2
Wizja Unwired Enterprise
Unwired Enterprise to strategia usuwania barier w przepływie danych zapewniająca swobodny i bezpieczny przepływ informacji pomiędzy źródłami
danych a miejscem ich wykorzystaniadanych a miejscem ich wykorzystania.
2
3
Trendy rynku
Rosnące ilości danych
Ciągłe ładowanie danych
Mi d j t ń ( t k lik d ż łMieszane rodzaje zapytań (proste, skomplikowane, duże, małe, zaplanowane, ad-hoc, zagregowane, analityczne)
Potrzeby pytania o dane atomowe (a nie o podsumowania, agregaty,Potrzeby pytania o dane atomowe (a nie o podsumowania, agregaty, kostki itp.)
ELT (Ładuj potem transformuj)
“During the next three years, mixed workload performance will become the single most important performance issue in data warehousing.”
(G M i Q d 2006)
3
(Gartner Magic Quadrant 2006)
4
Czego pragną ludzie biznesu
Osoby nie związane z informatyką oczekują, że będzie ona y ą y ą ją, ęstanowić nie tylko pasywne narzędzie wspierające operacje biznesowe, ale pozwoli również na interaktywne korzystanie
ze zgromadzonych danychze zgromadzonych danych.
Takie podejście zakłada:
- nieograniczony dostęp do danych- możliwość konstruowania raportów i prowadzenia badań
d l ób ( k tw dowolny sposób (zakres czasowy, merytoryczny, zależności, itp.)- szybkie i zawsze prawdziwe odpowiedzi
4
y p pi to wszystko na akceptowalnym poziomie kosztów….
5
… i dlaczego z tego podejścia drwią informatycy ?
Nieograniczony dostęp do danych ?
y y
- wysokie koszty składowania wszystkich wymaganych przez biznes informacji (dyski, pamięci, procesory)- olbrzymie nakłady na licencje i sprzęt pozwalające na dostęp do danych wielu osobomosobom
Dowolny sposób konstruowania raportów ?
- ciągła przebudowa modelu danych, strojenie, budowa nowych związków ….- utrzymywanie danych na poziomie transakcji (j.w)
Szybkie i prawdziwe odpowiedzi ?Szybkie i prawdziwe odpowiedzi ?
- albo dużo danych albo szybkie odpowiedzi, - albo raporty będą zdefiniowane „z góry” albo trzeba na nie poczekać
5
i to wszystko na akceptowalnym poziomie kosztów ? ☺
p y ę ą g y p- co to znaczy „prawdziwa informacja” ?
6
Consensus ? Sybase IQ
Consensus nie musi oznaczać rezygnacji ze swoich oczekiwań !
Świadomość rozbieżności potrzeb biznesu i możliwościŚwiadomość rozbieżności potrzeb biznesu i możliwości technicznych skłoniła Sybase do skonstruowania zupełnie
nowego produktu. Takie podejście pozwoliło zbudować ro ią anie opt malnie aspokajające potr eb analit c nerozwiązanie optymalnie zaspokajające potrzeby analityczne
bez konieczności ponoszenia dużych wydatków.
6
7
Niewiarygodne ? Ależ to oczywiste !
Vertical storage
Pionowe składowanie danychredukcja operacji We/Wy, odejście od skanowania całych tabel
Credit Card State Transaction Amount
VISA NY 6MC CA 9
AMEX WA 5
Vertical storage skanowania całych tabel
Kompresja redukcja operacji We/Wy, mała zajętość pamięci dyskowych
VISA CA 11- - -
Bitmap indexingVISA
1STATE = NY
1STATE = CA
0
ję p ę y y
Pełne indeksowanieBitmapBitWise™
Bitwise™ indexing
1001-
1000-
0101-
BitWise™
Optymalizacja procesu ładowania danychBitwise™ indexing
2 3
0101
2 0
0111
2 1
1001
2 2
1010
danych
Równoległe operacje na
7
operacje na komputerach wieloprocesorowych
8
Sybase IQTradycyjny RDBMS vs Sybase IQy yj y yKonwencjonalny RDBMS Sybase IQ
DaneDane / Indeksy1x
IndeksyDane przechowywane w kolumnach
3x Czego chcemy!
Agregaty
Indeksy i agregaty
8
Dane przechowywane w rekordach
9
Sybase IQTradycyjny RDBMS vs Sybase IQy yj y yKonwencjonalny RDBMS Sybase IQ
Dane / Indeksy1xDane
3x Co dostajemy!Indeksy
• Dane przechowywane jako kolumny poindeksowane
Co nam daje Sybase IQ!Agregaty
• Silna kompresja danych
• Tylko dane wymagane są odczytywane
• 3x-10x razy mniejsza powierzchnia jest Indeksy i agregaty
9
wymagana
• Zapytania szybsze 10x-100x
10
Sybase IQJak to jest z przestrzenią dyskową?j p ą y ą
Sybase IQ Konwencjonalny DBMS
PodsumowaniaAgregaty
1-2 TB
Te same dane wej.: “Konwencjonalny DW”3x-10x larger niż Sybase IQ DW
1 2 TB
Indeksy2.4-6TB
Dane wej. :
1TB
Indeksy
0.5-3TB
TB
LOADŹródło: pliki płaskie,
ETL, replikacja
Aggr/Pods.: 0-0.1TBLOAD Tabela bazowa
“RAW data”0.25 -0 9 TB
10
Tabela (FP):0.2-0.5TB
Indeksy: 0.05-0.3TB0.9-1.1TB
0.9 TB
11
Sybase IQElastyczność we wszystkich obszarach
ZapytaniaSerwer zaprojektowany dla zapytań Ad-HocSerwer zaprojektowany dla zapytań Ad Hoc
Nie są potrzebne “extra” indeksyNie ma potrzeby dostrajania zapytań
Zarządzanie operacyjneNie są potrzebni regularni administratorzy
Nie ma odświeżeń, reorganizacji, przebudowania statystyk itp., g j , p y y p
Model danychWspierane modele transakcyjne, analityczne i nietypoweWspierane modele transakcyjne, analityczne i nietypowe
Model w 3 postaci normalnej Model gwiazdy Model R-cube
11
12
Sybase IQZastosowania
•• Data Aggregator AnalyticsData Aggregator Analytics –– typowe zastosowanie jako typowe zastosowanie jako gg g ygg g y yp jyp jmotor korporacyjnej hurtowni danychmotor korporacyjnej hurtowni danych
•• Advanced Analytics AcceleratorAdvanced Analytics Accelerator -- zastosowanie Sybase zastosowanie Sybase IQ h b d j hit kt b t k j lIQ h b d j hit kt b t k j lIQ w hybrydowej architekturze razem z bazą transakcyjną w celu IQ w hybrydowej architekturze razem z bazą transakcyjną w celu przyśpieszenia raportów i umożliwienia wyszukanych analiz oraz w celu przyśpieszenia raportów i umożliwienia wyszukanych analiz oraz w celu odciążenia systemu transakcyjnegoodciążenia systemu transakcyjnego
•• Operational Report ServerOperational Report Server -- typowe zastosowanie jako typowe zastosowanie jako motor departamentalnej hurtowni danychmotor departamentalnej hurtowni danych
•• Retention Server Retention Server -- zastosowanie Sybase IQ jako zastosowanie Sybase IQ jako dynamicznego i bardzo efektywnego archiwum danych historycznych dynamicznego i bardzo efektywnego archiwum danych historycznych oraz danych nieustrukturalizowanychoraz danych nieustrukturalizowanych
12
13
Sybase IQ – akcelerator raportów
Przełączenie aplikacjiLepsze działanie
Przełączenie aplikacji generującej zapytania szybsze odpowiedzi
więcej danych
Przeniesienie modelu danych,Generowanie skryptów ładowania,Analiza danych i typów indeksów
Sybase PowerDesigner Niskie ryzykokrótki czas wdrożeniaprzejrzysta architekturay yp
Oszczędności
SYSTEM ŹRÓDŁOWY Moduł Analityczny(Sybase IQ)
Ładowanie i replikacja danych
ęna sprzęciew utrzymaniu
13
Sybase RepServer / Direct Connect / ETL…
14
Sybase IQAplikacje klienckie
BusinessObjects Actuate
p j
ActuateCognos EP SeriesCrystal Decisions Crystal Reports Cold FusionCorvuMicrostrategy DSS Agent Informatica PowerCenter/PowerMart Ascential DatastageMacromedia ColdFusion Microsoft Access 2000 SPSS Clementine MicroStrategyBrio (Hyperion Intelligence)English WizardEnglish WizardHummingbirdWhiteLightSASSAP
14
SAP
I wiele innych …
15
SYBASE IQ – silne strony naszej bazy
Ponad 1700 klientów na świecie, wykorzystujących Sybase IQPonad 1700 klientów na świecie, wykorzystujących Sybase IQ na różnych platformach i w zróżnicowanych środowiskachWysoka wydajność zapytań Ad-hocWysoka wydajność w środowiskach o zróżnicowanym obciążeniuSkalowalność (zarówno jeżeli chodzi o rozmiar jak i liczbęSkalowalność (zarówno jeżeli chodzi o rozmiar, jak i liczbę użytkowników)Wysoka wydajność ładowania masowegoKompresjaŁatwość użytkowania
15
Niski współczynnik TCO
16
Sybase IQCo warto zapamiętać
SQLSQLSQL
p ę
Składowaniekolumnowe
SQLSQLSQLStandardowe
narzędzia
Sybase IQZaawansowany BezpieczeństwoZaawansowany
optymalizatorBezpieczeństwo
Ładowanie w czasie
16
Ładowanie w czasie rzeczywistym
(24x7)
Prosta administracja
Wydajność sprzętu
17