Nowoczesne technologie

przetwarzania In-Memory

Włodzimierz BielskiCTO, BImasters

www.bimasters.eu

BImasters

• Hurtownie danych

• Business Intelligence

• Big Data

www.bimasters.eu

Agenda

• Przetwarzanie In-Memory – wstęp

• In-Memory OLAP

• In-Memory OLTP

• Próba oceny i porównania

Przetwarzanie In-Memory

Przetwarzanie wielkich zbiorów danych

• w czasie rzeczywistym

• w pamięci operacyjnej serwera

• Prawie natychmiastowy dostęp do danych

• Dysk pełni rolę kopii zapasowej, persistence

Dlaczego teraz?

• Znacznie tańszy RAM

• Wielordzeniowe procesory

• 64-bitowa architektura CPU

Rozwój produktów In-Memory

Self-Service BI

QlikView

PowerPivot

In-Memory OLAP

SAP HANA

xVelocity

In-Memory OLTP

SAP HANA

Oracle TimesTen

SQL Server 2014

In-Memory OLAP

• Całość danych w pamięci RAM

• Indeksy w pamięci RAM

• Załadowanie + zapytania

• Dane w postaci kolumnowej – kompresja!

Wady klasycznego OLAP

• Klucz do wydajności – agregacje

– Czy są dobrze zaprojektowane?

• Sztywna struktura

– Schemat gwiazdy/płatka śniegu

– Predefiniowane ścieżki analiz

– Dodanie nowej hierarchii jest „drogie”

Przewaga In-Memory OLAP

• Może istnieć bez hurtowni danych

• Brak zmaterializowanych agregacji

– Wyliczane na bieżąco

• Elastyczna struktura

– Każda ścieżka analizy jest możliwa

ETL

Replikacja on-line

Warstwa persistence

Załaduj dane

Wykonuj zapytania

Zapisz stan na dysk

In-Memory OLAP - Proces

In-Memory OLAP - Produkty

• QlikView

• TIBCO Spotfire

• IBM TM1

• Microsoft PowerPivot / xVelocity

• SAP HANA

• Oracle Exalytics

PowerPivot

• Self-Service BI w Excel 2010/2013

• Dane w układzie kolumnowym

• Baza danych bezpośrednio w pliku XLSX

• Warstwa semantyczna: tabele+relacje

• Język DAX

PowerPivot – Model danych

xVelocity

• Od Self-Service w PowerPivot do zarządzalnego BI po stronie serwera

• Nowy tryb SQL Server Analysis Services

• Zapytania DAX, MDX

SAP HANA

• Zintegrowana platforma OLAP/OLTP

• Przetwarzanie wierszowe i kolumnowe

• Replikacja danych real-time, ETL

• Współpraca z Business Objects (.UNX)

SAP HANA – Architektura

In-Memory OLTP

• Systemy czasu rzeczywistego

• Przyspieszenie istniejących systemów

• Pełne wsparcie dla transakcji ACID

• Dostęp przez standardowe interfejsy

• Brak potrzeby partycjonowania danych

• Checkpointy, logi na dysku

Obecna architektura

Baza danych OLTP

Architektura z In-Memory OLTP

Baza danych OLTP In-Memory

OLTP

Architektura z In-Memory OLTP

Baza danych OLTP

In-MemoryOLTP

SAP HANA

• Możliwość połączenia OLTP i BI w 1 instancji

• Od maja 2013 wspiera SAP Business Suite

• Dedykowane wersje aplikacji

Oracle TimesTen

• Baza danych In-Memory OLTP

• Współpracuje z Exalogic i Exadata

• Może uzupełniać klasyczną Oracle

• Dwie postacie:

– Oracle In-Memory Database Cache

– Oracle TimesTen In-Memory Database

• Synchronizacja

• Replikacja

• Logi

Bliżej warstwy aplikacji!

Oracle TimeTen - Architektura

SQL Server 2014

• „Project Hekaton”

• Memory-optimized tables

• Podejście hybrydowe – wspólna baza

• Ten sam język T-SQL

• CTP1 pod koniec czerwca 2013

• Ciągle zbyt drogie w wielu zastosowaniach

• Ograniczone rozmiarem pamięci

• Mniej dojrzała technologia

• 10x/100x szybciej!

• OLAP: Elastyczność

• OLAP: Krótszy czas tworzenia raportów

• OLAP: Big Data

• OLTP: Real-time

Zalety i wady In-Memory

Podsumowanie

• Podejście In-Memory uzupełnia klasyczne architektury OLAP, a ostatnio i OLTP

• Coraz więcej dostawców będzie integrowało komponenty In-Memory w swoje produkty

• Właściwe wykorzystanie In-Memory może być źródłem istotnej przewagi konkurencyjnej

Dziękuję za uwagę!

wlodzimierz.bielski@action.com.pl