1

Odkryj Sekrety Efektywnego Business Intelligence

Analizy zarządcze i szybkie raportowanie ad-hoc w Sybase IQraportowanie ad-hoc w Sybase IQ

Marek RyńskiDyrektor Zarządzający, Dział Rozwoju Biznesu, Sybase Polska

Warszawa, 3 października 2007

2

Wizja Unwired Enterprise

Unwired Enterprise to strategia usuwania barier w przepływie danych zapewniająca swobodny i bezpieczny przepływ informacji pomiędzy źródłami

danych a miejscem ich wykorzystaniadanych a miejscem ich wykorzystania.

2

3

Trendy rynku

Rosnące ilości danych

Ciągłe ładowanie danych

Mi d j t ń ( t k lik d ż łMieszane rodzaje zapytań (proste, skomplikowane, duże, małe, zaplanowane, ad-hoc, zagregowane, analityczne)

Potrzeby pytania o dane atomowe (a nie o podsumowania, agregaty,Potrzeby pytania o dane atomowe (a nie o podsumowania, agregaty, kostki itp.)

ELT (Ładuj potem transformuj)

“During the next three years, mixed workload performance will become the single most important performance issue in data warehousing.”

(G M i Q d 2006)

3

(Gartner Magic Quadrant 2006)

4

Czego pragną ludzie biznesu

Osoby nie związane z informatyką oczekują, że będzie ona y ą y ą ją, ęstanowić nie tylko pasywne narzędzie wspierające operacje biznesowe, ale pozwoli również na interaktywne korzystanie

ze zgromadzonych danychze zgromadzonych danych.

Takie podejście zakłada:

- nieograniczony dostęp do danych- możliwość konstruowania raportów i prowadzenia badań

d l ób ( k tw dowolny sposób (zakres czasowy, merytoryczny, zależności, itp.)- szybkie i zawsze prawdziwe odpowiedzi

4

y p pi to wszystko na akceptowalnym poziomie kosztów….

5

… i dlaczego z tego podejścia drwią informatycy ?

Nieograniczony dostęp do danych ?

y y

- wysokie koszty składowania wszystkich wymaganych przez biznes informacji (dyski, pamięci, procesory)- olbrzymie nakłady na licencje i sprzęt pozwalające na dostęp do danych wielu osobomosobom

Dowolny sposób konstruowania raportów ?

- ciągła przebudowa modelu danych, strojenie, budowa nowych związków ….- utrzymywanie danych na poziomie transakcji (j.w)

Szybkie i prawdziwe odpowiedzi ?Szybkie i prawdziwe odpowiedzi ?

- albo dużo danych albo szybkie odpowiedzi, - albo raporty będą zdefiniowane „z góry” albo trzeba na nie poczekać

5

i to wszystko na akceptowalnym poziomie kosztów ? ☺

p y ę ą g y p- co to znaczy „prawdziwa informacja” ?

6

Consensus ? Sybase IQ

Consensus nie musi oznaczać rezygnacji ze swoich oczekiwań !

Świadomość rozbieżności potrzeb biznesu i możliwościŚwiadomość rozbieżności potrzeb biznesu i możliwości technicznych skłoniła Sybase do skonstruowania zupełnie

nowego produktu. Takie podejście pozwoliło zbudować ro ią anie opt malnie aspokajające potr eb analit c nerozwiązanie optymalnie zaspokajające potrzeby analityczne

bez konieczności ponoszenia dużych wydatków.

6

7

Niewiarygodne ? Ależ to oczywiste !

Vertical storage

Pionowe składowanie danychredukcja operacji We/Wy, odejście od skanowania całych tabel

Credit Card State Transaction Amount

VISA NY 6MC CA 9

AMEX WA 5

Vertical storage skanowania całych tabel

Kompresja redukcja operacji We/Wy, mała zajętość pamięci dyskowych

VISA CA 11- - -

Bitmap indexingVISA

1STATE = NY

1STATE = CA

0

ję p ę y y

Pełne indeksowanieBitmapBitWise™

Bitwise™ indexing

1001-

1000-

0101-

BitWise™

Optymalizacja procesu ładowania danychBitwise™ indexing

2 3

0101

2 0

0111

2 1

1001

2 2

1010

danych

Równoległe operacje na

7

operacje na komputerach wieloprocesorowych

8

Sybase IQTradycyjny RDBMS vs Sybase IQy yj y yKonwencjonalny RDBMS Sybase IQ

DaneDane / Indeksy1x

IndeksyDane przechowywane w kolumnach

3x Czego chcemy!

Agregaty

Indeksy i agregaty

8

Dane przechowywane w rekordach

9

Sybase IQTradycyjny RDBMS vs Sybase IQy yj y yKonwencjonalny RDBMS Sybase IQ

Dane / Indeksy1xDane

3x Co dostajemy!Indeksy

• Dane przechowywane jako kolumny poindeksowane

Co nam daje Sybase IQ!Agregaty

• Silna kompresja danych

• Tylko dane wymagane są odczytywane

• 3x-10x razy mniejsza powierzchnia jest Indeksy i agregaty

9

wymagana

• Zapytania szybsze 10x-100x

10

Sybase IQJak to jest z przestrzenią dyskową?j p ą y ą

Sybase IQ Konwencjonalny DBMS

PodsumowaniaAgregaty

1-2 TB

Te same dane wej.: “Konwencjonalny DW”3x-10x larger niż Sybase IQ DW

1 2 TB

Indeksy2.4-6TB

Dane wej. :

1TB

Indeksy

0.5-3TB

TB

LOADŹródło: pliki płaskie,

ETL, replikacja

Aggr/Pods.: 0-0.1TBLOAD Tabela bazowa

“RAW data”0.25 -0 9 TB

10

Tabela (FP):0.2-0.5TB

Indeksy: 0.05-0.3TB0.9-1.1TB

0.9 TB

11

Sybase IQElastyczność we wszystkich obszarach

ZapytaniaSerwer zaprojektowany dla zapytań Ad-HocSerwer zaprojektowany dla zapytań Ad Hoc

Nie są potrzebne “extra” indeksyNie ma potrzeby dostrajania zapytań

Zarządzanie operacyjneNie są potrzebni regularni administratorzy

Nie ma odświeżeń, reorganizacji, przebudowania statystyk itp., g j , p y y p

Model danychWspierane modele transakcyjne, analityczne i nietypoweWspierane modele transakcyjne, analityczne i nietypowe

Model w 3 postaci normalnej Model gwiazdy Model R-cube

11

12

Sybase IQZastosowania

•• Data Aggregator AnalyticsData Aggregator Analytics –– typowe zastosowanie jako typowe zastosowanie jako gg g ygg g y yp jyp jmotor korporacyjnej hurtowni danychmotor korporacyjnej hurtowni danych

•• Advanced Analytics AcceleratorAdvanced Analytics Accelerator -- zastosowanie Sybase zastosowanie Sybase IQ h b d j hit kt b t k j lIQ h b d j hit kt b t k j lIQ w hybrydowej architekturze razem z bazą transakcyjną w celu IQ w hybrydowej architekturze razem z bazą transakcyjną w celu przyśpieszenia raportów i umożliwienia wyszukanych analiz oraz w celu przyśpieszenia raportów i umożliwienia wyszukanych analiz oraz w celu odciążenia systemu transakcyjnegoodciążenia systemu transakcyjnego

•• Operational Report ServerOperational Report Server -- typowe zastosowanie jako typowe zastosowanie jako motor departamentalnej hurtowni danychmotor departamentalnej hurtowni danych

•• Retention Server Retention Server -- zastosowanie Sybase IQ jako zastosowanie Sybase IQ jako dynamicznego i bardzo efektywnego archiwum danych historycznych dynamicznego i bardzo efektywnego archiwum danych historycznych oraz danych nieustrukturalizowanychoraz danych nieustrukturalizowanych

12

13

Sybase IQ – akcelerator raportów

Przełączenie aplikacjiLepsze działanie

Przełączenie aplikacji generującej zapytania szybsze odpowiedzi

więcej danych

Przeniesienie modelu danych,Generowanie skryptów ładowania,Analiza danych i typów indeksów

Sybase PowerDesigner Niskie ryzykokrótki czas wdrożeniaprzejrzysta architekturay yp

Oszczędności

SYSTEM ŹRÓDŁOWY Moduł Analityczny(Sybase IQ)

Ładowanie i replikacja danych

ęna sprzęciew utrzymaniu

13

Sybase RepServer / Direct Connect / ETL…

14

Sybase IQAplikacje klienckie

BusinessObjects Actuate

p j

ActuateCognos EP SeriesCrystal Decisions Crystal Reports Cold FusionCorvuMicrostrategy DSS Agent Informatica PowerCenter/PowerMart Ascential DatastageMacromedia ColdFusion Microsoft Access 2000 SPSS Clementine MicroStrategyBrio (Hyperion Intelligence)English WizardEnglish WizardHummingbirdWhiteLightSASSAP

14

SAP

I wiele innych …

15

SYBASE IQ – silne strony naszej bazy

Ponad 1700 klientów na świecie, wykorzystujących Sybase IQPonad 1700 klientów na świecie, wykorzystujących Sybase IQ na różnych platformach i w zróżnicowanych środowiskachWysoka wydajność zapytań Ad-hocWysoka wydajność w środowiskach o zróżnicowanym obciążeniuSkalowalność (zarówno jeżeli chodzi o rozmiar jak i liczbęSkalowalność (zarówno jeżeli chodzi o rozmiar, jak i liczbę użytkowników)Wysoka wydajność ładowania masowegoKompresjaŁatwość użytkowania

15

Niski współczynnik TCO

16

Sybase IQCo warto zapamiętać

SQLSQLSQL

p ę

Składowaniekolumnowe

SQLSQLSQLStandardowe

narzędzia

Sybase IQZaawansowany BezpieczeństwoZaawansowany

optymalizatorBezpieczeństwo

Ładowanie w czasie

16

Ładowanie w czasie rzeczywistym

(24x7)

Prosta administracja

Wydajność sprzętu

17