Post on 04-Jun-2020
GLOBAL SPONSORS
GLOBAL SPONSORS
Architecture Best Practices for Big Data DeploymentsKajetan Mroczek | Systems Engineer
© Copyright 2017 Dell Inc.3
Rozwój analityki biznesowej
STATYSTYKI
OPISOWE
PRZEWIDYWANIE WYKONYWALNE
REKOMENDACJE
OGÓLNA
INTELIGENCJA
EKSPLORACJA DANYCH
UCZENIE MASZYNOWE
SZTUCZNA INTELIGENCJA
Co się stało? Co się stanie? Co zrobić
© Copyright 2017 Dell Inc.4
Gdzie najczęściej korzystamy z Big Data
MLuczenie maszynowe
Optymalizacja EDW
Analiza zachowań rynku i klientów przez media społecznościowe
Clickstream
Wykrywanie oszustw i zagrożeń
IOT
* 2016 Big Data Analytics Market Study – Wisdom of Crowds Series
© Copyright 2017 Dell Inc.5
Porównanie strategii budowy architektury
dla Big Data
© Copyright 2017 Dell Inc.6
© Copyright 2017 Dell Inc.7
KUPUJ
BUDUJ
© Copyright 2017 Dell Inc.8
KUPUJ
© Copyright 2017 Dell Inc.9
• Szybsze wdrożenie
• Typowe zastosowania
• Dojrzałe technologie
• Rozbudowa środowiska
• Doświadczenie zespołu
• Ograniczona ilość źródeł danych
KUPUJ
© Copyright 2017 Dell Inc.10
BUDUJ
© Copyright 2017 Dell Inc.11
• Unikalny pomysł lub typ danych
• Przypadek kuli śniegowej
• Tanie = Złożone
• Obniżanie kosztów zakupów
• Kultura DevOps i własne zasoby
• Rozmaitość danych i skala
BUDUJ
© Copyright 2017 Dell Inc.12
© Copyright 2017 Dell Inc.13
PACZKI
STRUMIEŃ
© Copyright 2017 Dell Inc.14
PACZKI
© Copyright 2017 Dell Inc.15
PACZKI• Opisywanie rzeczywistości
• Wiarygodność danych
• Duże rozmiary danych
• Przestrzeń dla Data Science
• Czas nie jest kluczowy
• Możliwość planowania
© Copyright 2017 Dell Inc.16
STRUMIEŃ
© Copyright 2017 Dell Inc.17
STRUMIEŃ
• Możliwość przewidywania
• Szybkość przed wiarygodnością
• Przetwarzanie równoległe
• Wykorzystanie odkrytych reguł
• Doświadczenie & DevOps
• Wielka ilość i rozmaitość żródeł
© Copyright 2017 Dell Inc.18
© Copyright 2017 Dell Inc.19
PUBLICZNE
PRYWATNE
© Copyright 2017 Dell Inc.20
PUBLICZNE
© Copyright 2017 Dell Inc.21
PUBLICZNE• Dane pochodzą z chmury
• Przyciąganie danych
• Bezpieczeństwo / uregulowania
• Elastyczna konsumpcja
• Ekonomia
• Doświadczenie zespołu
© Copyright 2017 Dell Inc.22
PRYWATNE
Ready systems
Ready bundles
Ready nodes Native
Hybrid
Cloud
Enterprise
Hybrid
Cloud
Blocks
Racks
Appliances
© Copyright 2017 Dell Inc.23
PRYWATNE
• Dane zlokalizowane
• Przyciąganie danych
• Bezpieczeństwo / uregulowania
• Sposób zakupu
• Ekonomia
• Doświadczenie zespołu
© Copyright 2017 Dell Inc.24
© Copyright 2017 Dell Inc.25
WIRTUALNE
FIZYCZNE
© Copyright 2017 Dell Inc.26
© Copyright 2017 Dell Inc.27
DAS
NAS
© Copyright 2017 Dell Inc.28
DAS
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
Stack No.
1
2
25 26SFP+
3 5 7 9 11
4 6 8 10 12
13 15 17 19 21
14 16 18 20 22 24
LNK ACT1
2
23
LNK ACT
COMBO PORTS 23 24
6 720 1 14 1512 1310 118 9 22 2320 2118 1916 17
6 720 1 14 1512 1310 118 9 22 2320 2118 1916 17
6 720 1 14 1512 1310 118 9 22 2320 2118 1916 17
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
Stack No.
1
2
25 26SFP+
3 5 7 9 11
4 6 8 10 12
13 15 17 19 21
14 16 18 20 22 24
LNK ACT1
2
23
LNK ACT
COMBO PORTS 23 24
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
Stack No.
1
2
25 26SFP+
3 5 7 9 11
4 6 8 10 12
13 15 17 19 21
14 16 18 20 22 24
LNK ACT1
2
23
LNK ACT
COMBO PORTS 23 24
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
Stack No.
1
2
25 26SFP+
3 5 7 9 11
4 6 8 10 12
13 15 17 19 21
14 16 18 20 22 24
LNK ACT1
2
23
LNK ACT
COMBO PORTS 23 24
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
Stack No.
1
2
25 26SFP+
3 5 7 9 11
4 6 8 10 12
13 15 17 19 21
14 16 18 20 22 24
LNK ACT1
2
23
LNK ACT
COMBO PORTS 23 24
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
Stack No.
1
2
25 26SFP+
3 5 7 9 11
4 6 8 10 12
13 15 17 19 21
14 16 18 20 22 24
LNK ACT1
2
23
LNK ACT
COMBO PORTS 23 24
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
Stack No.
1
2
25 26SFP+
3 5 7 9 11
4 6 8 10 12
13 15 17 19 21
14 16 18 20 22 24
LNK ACT1
2
23
LNK ACT
COMBO PORTS 23 24
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
Stack-ID
LNK1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
ACT50 52 5433 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
49 51 53
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
120
124
112
116
104
108
9610
0
8892
8084
7276
6468
5660
4852
4044
3236
2428
1620
812
04 Stack ID
Stack No.
1
2
25 26SFP+
3 5 7 9 11
4 6 8 10 12
13 15 17 19 21
14 16 18 20 22 24
LNK ACT1
2
23
LNK ACT
COMBO PORTS 23 24
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
KVM
© Copyright 2017 Dell Inc.29
DAS• Na początek
• Software-defined
• Wydajność = pojemność
• Najwyższa wydajność
• Integracja z platformą
• Wykorzystanie zasobów
© Copyright 2017 Dell Inc.30
NAS
© Copyright 2017 Dell Inc.31
NAS
• Isilon był wcześniej…
• Dostęp wieloprotokołowy
• Pojemność > wydajność
• Efektywność
• Bezpieczeństwo
• Zgodność z normami
© Copyright 2017 Dell Inc.32
© Copyright 2017 Dell Inc.33
TRWAŁE
CHWILOWE
© Copyright 2017 Dell Inc.34
TRWAŁE• Data lake
• Hadoop stanowi archiwum
• Przetwarzanie wyników historycznych
© Copyright 2017 Dell Inc.35
CHWILOWE
• Test/Dev
• Strumień danych
• Przetwarzanie in-memory
TRWAŁE czy CHWILOWE?
DAS czy NAS?
WIRTUALNE czy FIZYCZNE?
PUBLICZNE czy PRYWATNE?
PACZKI czy STRUMIEŃ?
KUPUJ czy BUDUJ?
JAK UPROŚCIĆTĘ DROGĘ?
© Copyright 2017 Dell Inc.38
Biz Apps
Priorytety
Usługi
Deploy
Compute
Portfolio
Dell EMC
Wiedza
Ready Nodes
Ready Bundles
Ready Systems
Koncepcja gotowych rozwiązań
Ready Bundle for Hadoop skalowalny od 5TB do 3.8PB
Czym się wyróżnia
Dell EMC
Przetestowane
i certyfikowane konfiguracje
Obniżenie OpEx przy zakupie
Splunk w architekturze HCI
poprzez obniżenie kosztu
zarządzania klastrem
Szybka implementacja
Hadoop z narzędziami nie
wymagającymi kodowania
Zestaw usług skupionych
na efektach finalnychBig Data Vision • Accelerator •
Health Check • Wdrożenie •
Wsparcie • Usługi finansowe
Cloudera Hadoop • Splunk • Hortonworks Hadoop
Ponad 350 klientów
Za każdego $1.00 ROI w 6 miesięcy
$1.97
Niższe koszty analityki biznesowej
76%Redukcja czasu ETL
60%
1TPC-xBig BenchScale Factor 10 000
Price/Performance
May 2017
Gotowe rozwiązania dla Big Data
“Całkowicie zmieniliśmy sposób w jaki
pobieramy, przechowujemy i udostępniamy
dane po wdrożeniu klastra Hadoop od Dell.
Teraz przetwarzamy większe ilości danych
a nasi analitycy i statystycy mogą
analizować te dane w sposób wcześniej
nieosiągalny”Tony Giordano, EVP • Merkle
© Copyright 2017 Dell Inc.40
Dell EMC Ready Bundles dla Hadoop
Kompletne
zarządzanie danymi,
przetwarzanie
i analityka wraz
z wdrożeniem „bez
kodowania”
i dużym dwucyfrowym
wzrostem wydajności
Dell EMCReady Bundle for Cloudera Hadoop
Platforma
zoptymalizowana dla
dużych pojemności i
efektywnego
przetwarzania danych
oraz wykorzystania
koncepcji data lake
Isilon obsługuje
wspólną pamięć
masową klastra
Hadoop dzięki
kompatybilności z
HDFS
Dell EMCReady Bundle for Hortonworks with
Isilon
Zarządzanie danymi,
przetwarzanie
i analityka
na platformie Open
Source efektywne
obsługuje dane o
różnych strukturach
wykorzystując
dostępne narzędzia i
zasoby
Dell EMCReady Bundle for
Hortonworks Hadoop
© Copyright 2017 Dell Inc.41
Architektury referencyjne dla Hadoop
Webinar – 35 minut, czerwiec 2017
© Copyright 2017 Dell Inc.42
Usługi doradcze – skalowanie zgodnie z architekturą referencyjną
Wdrożenie technologii – instalacja komponentów rozwiązania
Migracja danych – pomoc w przeniesieniu danych (i procesów)
Usługi dotyczące technologii Big Data
Co otrzymuje klient:− Dokumenty pomagające w wyborze odpowiedniej infrastruktury
− Instalację i konfigurację sprzętu, uruchomienie platformy Hadoop
− Wsparcie procesu migracji danych
− Wsparcie gotowego rozwiązania