Nowoczesne technologie
przetwarzania In-Memory
Włodzimierz BielskiCTO, BImasters
www.bimasters.eu
BImasters
• Hurtownie danych
• Business Intelligence
• Big Data
www.bimasters.eu
Agenda
• Przetwarzanie In-Memory – wstęp
• In-Memory OLAP
• In-Memory OLTP
• Próba oceny i porównania
Przetwarzanie In-Memory
Przetwarzanie wielkich zbiorów danych
• w czasie rzeczywistym
• w pamięci operacyjnej serwera
• Prawie natychmiastowy dostęp do danych
• Dysk pełni rolę kopii zapasowej, persistence
Dlaczego teraz?
• Znacznie tańszy RAM
• Wielordzeniowe procesory
• 64-bitowa architektura CPU
Rozwój produktów In-Memory
Self-Service BI
QlikView
PowerPivot
In-Memory OLAP
SAP HANA
xVelocity
In-Memory OLTP
SAP HANA
Oracle TimesTen
SQL Server 2014
In-Memory OLAP
• Całość danych w pamięci RAM
• Indeksy w pamięci RAM
• Załadowanie + zapytania
• Dane w postaci kolumnowej – kompresja!
Wady klasycznego OLAP
• Klucz do wydajności – agregacje
– Czy są dobrze zaprojektowane?
• Sztywna struktura
– Schemat gwiazdy/płatka śniegu
– Predefiniowane ścieżki analiz
– Dodanie nowej hierarchii jest „drogie”
Przewaga In-Memory OLAP
• Może istnieć bez hurtowni danych
• Brak zmaterializowanych agregacji
– Wyliczane na bieżąco
• Elastyczna struktura
– Każda ścieżka analizy jest możliwa
ETL
Replikacja on-line
Warstwa persistence
Załaduj dane
Wykonuj zapytania
Zapisz stan na dysk
In-Memory OLAP - Proces
In-Memory OLAP - Produkty
• QlikView
• TIBCO Spotfire
• IBM TM1
• Microsoft PowerPivot / xVelocity
• SAP HANA
• Oracle Exalytics
PowerPivot
• Self-Service BI w Excel 2010/2013
• Dane w układzie kolumnowym
• Baza danych bezpośrednio w pliku XLSX
• Warstwa semantyczna: tabele+relacje
• Język DAX
PowerPivot – Model danych
xVelocity
• Od Self-Service w PowerPivot do zarządzalnego BI po stronie serwera
• Nowy tryb SQL Server Analysis Services
• Zapytania DAX, MDX
SAP HANA
• Zintegrowana platforma OLAP/OLTP
• Przetwarzanie wierszowe i kolumnowe
• Replikacja danych real-time, ETL
• Współpraca z Business Objects (.UNX)
SAP HANA – Architektura
In-Memory OLTP
• Systemy czasu rzeczywistego
• Przyspieszenie istniejących systemów
• Pełne wsparcie dla transakcji ACID
• Dostęp przez standardowe interfejsy
• Brak potrzeby partycjonowania danych
• Checkpointy, logi na dysku
Obecna architektura
Baza danych OLTP
Architektura z In-Memory OLTP
Baza danych OLTP In-Memory
OLTP
Architektura z In-Memory OLTP
Baza danych OLTP
In-MemoryOLTP
SAP HANA
• Możliwość połączenia OLTP i BI w 1 instancji
• Od maja 2013 wspiera SAP Business Suite
• Dedykowane wersje aplikacji
Oracle TimesTen
• Baza danych In-Memory OLTP
• Współpracuje z Exalogic i Exadata
• Może uzupełniać klasyczną Oracle
• Dwie postacie:
– Oracle In-Memory Database Cache
– Oracle TimesTen In-Memory Database
• Synchronizacja
• Replikacja
• Logi
Bliżej warstwy aplikacji!
Oracle TimeTen - Architektura
SQL Server 2014
• „Project Hekaton”
• Memory-optimized tables
• Podejście hybrydowe – wspólna baza
• Ten sam język T-SQL
• CTP1 pod koniec czerwca 2013
• Ciągle zbyt drogie w wielu zastosowaniach
• Ograniczone rozmiarem pamięci
• Mniej dojrzała technologia
• 10x/100x szybciej!
• OLAP: Elastyczność
• OLAP: Krótszy czas tworzenia raportów
• OLAP: Big Data
• OLTP: Real-time
Zalety i wady In-Memory
Podsumowanie
• Podejście In-Memory uzupełnia klasyczne architektury OLAP, a ostatnio i OLTP
• Coraz więcej dostawców będzie integrowało komponenty In-Memory w swoje produkty
• Właściwe wykorzystanie In-Memory może być źródłem istotnej przewagi konkurencyjnej
Top Related