5 Wydajne systemy składowania danych dla systemów usługowych

26
Program konferencji 10.15 – 10.45 Program IBM Managed Service Providers – atrakcyjny sposób budowy i rozwoju usługowego biznesu IT 10.45 – 11.30 Rozwiązania dla chmury prywatnej i publicznej 11.30 – 11.45 Przerwa na kawę 11.45 – 12.15 Nowa, zintegrowana platforma świadczenia usług – IBM PureFlex 12.15 – 12.45 Niezawodność i bezpieczeństwo świadczonych usług – platforma IBM Power 12.45 – 13.15 Wydajne systemy składowania danych dla systemów usługowych 13.15 – 13.45 Przerwa na kawę 13.45 – 14.15 Platforma System x dla IBM Managed Service Providers 14.15 – 14.45 Finansowanie rozwiązań IT w IBM Global Financing 14.45 – 15.00 Panel dyskusyjny 15.00 Obiad

Transcript of 5 Wydajne systemy składowania danych dla systemów usługowych

Page 1: 5 Wydajne systemy składowania danych dla systemów usługowych

Program konferencji

10.15 – 10.45 Program IBM Managed Service Providers – atrakcyjny sposób budowy i rozwoju usługowego biznesu IT

10.45 – 11.30 Rozwiązania dla chmury prywatnej i publicznej

11.30 – 11.45 Przerwa na kawę

11.45 – 12.15 Nowa, zintegrowana platforma świadczenia usług – IBM PureFlex

12.15 – 12.45 Niezawodność i bezpieczeństwo świadczonych usług – platforma IBM Power

12.45 – 13.15 Wydajne systemy składowania danych dla systemów usługowych

13.15 – 13.45 Przerwa na kawę

13.45 – 14.15 Platforma System x dla IBM Managed Service Providers

14.15 – 14.45 Finansowanie rozwiązań IT w IBM Global Financing

14.45 – 15.00 Panel dyskusyjny

15.00 Obiad

Page 2: 5 Wydajne systemy składowania danych dla systemów usługowych

Wydajne systemy składowania danych dla systemówusługowychJakub Roguski

Page 3: 5 Wydajne systemy składowania danych dla systemów usługowych

3

Dlaczego IBM?

• Doświadczenie i wiedza– Ponad 50 lat w biznesie systemów dyskowych– IBM jest autorem większości stosowanych dzisiaj rozwiązań

dyskowych• Lider w biznesie dyskowym

– Ponad 5 mld USD przychodu– Największy i wciąż rosnący udział w rynku – Ponad 5 000 pracowników pracujących z rozwiązaniami

dyskowymi– Obecność w 170 krajach– Ponad 1 000 partnerów

• Rozwój technologii– 15 laboratoriów badawczych na świecie– Ponad 500 mln USD rocznie na R&D– Więcej patentów niż jakikolwiek inny producent– Pozyskiwanie nowych technologii w celu uzupełnienia

własnych rozwiązań

Page 4: 5 Wydajne systemy składowania danych dla systemów usługowych

1956 1993 2003 2010Wirtualizacja

IBM SAN Volume Controller – jeden, centralny punkt kontroli nad danymi w systemach heterogenicznych.

Pierwszy magnetyczny dysk twardy

IBM 305 RAMAC (Random Access Method of Accounting and Control). 50 dysków o średnicy ok. 60 cm - 5 MB.

Pierwsza macierz

IBM 9337 Disk Array Subsystem – pierwszy, niezawodny system składający się z wielu tanich dysków, widziany jako jeden logiczny wolumin.

Pierwsze inteligentne rozmieszczanie danych

IBM System Storage Easy Tier – pierwsze rozwiązanie, automatycznie przemieszczające często używane dane na dyski SSD.

Zakupy: 2007 Softek, Princeton Softech and Novus Consulting Group 2008 XIV, FilesX and Diligent

2010 Storwize, Inc.

Dziedzictwo i przywództwo

Page 5: 5 Wydajne systemy składowania danych dla systemów usługowych

5

Storage Solutions

IBM Real-time Compression Appliances

IBM Information Archive

Grid Access Manager, GMAS

Smart Business Storage Cloud (SBSC)

Storage Encryption Solutions (TKLM)

Storage Software

SAN Volume Controller

Tivoli Storage Productivity Center

IBM Tivoli Storage FlashCopy Manager

Disk Storage – Block Access

XIV

DS8000

Storwize V7000

DS5000

DS3000Tape Systems

Tape Virtualization

Tape Libraries

LTO Tape Drives

Enterprise Tape Drives

Disk Storage – File Access

N series

IBM Scale Out Network Attached Storage (SONAS)

Storwize V7000 Unified NEW

Deduplication

ProtecTIER Deduplication Appliances

ProtecTIER Deduplication Gateway

IBM System Storage – Pełny zakres rozwiązań

Page 6: 5 Wydajne systemy składowania danych dla systemów usługowych

6

Modularna architektura– Do 960 dysków

FC, FCoE, iSCSI Zaawansowana funkcjonalność

– Wirtualizacja, thin provisioning, FlashCopy, Easy Tier – w cenie– Zaawansowany lokalny i zdalny mirroring, Real Time Compression - licencja

Wysoka wydajność– Prawie 1M IOPS– 82,000 IOPS w przypadku obciążenia typu bazy danych (70/30 R/W)

Trywialnie prosta konfiguracja i administracja– Innowacyjne i intuicyjne GUI– Migracja danych bez przerywania dostępu do nich

Niezrównana efektywność wykorzystania przestrzeni dyskowej– Oszczędność do 75% przesrzeni dzięki wydajnemu FlashCopy– Zwiększenie wykorzystania przestrzeni dyskowej do 30%

Bezpieczeństwo inwestycji, wykorzystanie obecnych zasobów– Wirtualizacja i ponowne wykorzystanie wcześniej kupionych

macierzy dyskowych IBM Active Cloud EngineTM w V7000 Unified

– Polityki składowania i zarządzania danymi

IBM Storwize V7000

Page 7: 5 Wydajne systemy składowania danych dla systemów usługowych

Dowolne mieszanie w macierzy półek 2,5” i półek 3,5”Dowolne mieszanie w macierzy półek 2,5” i półek 3,5”

Dowolna liczba dysków w półce:- Do 24 w półce 2,5”- Do 12 w półce 3,5”

Dowolna liczba dysków w półce:- Do 24 w półce 2,5”- Do 12 w półce 3,5”

Do 10 półek w systemie z pojedynczą półką kontrolerówDo 40 półek (do 960 dysków) w systemie z czterema półkami kontrolerówDo 10 półek w systemie z pojedynczą półką kontrolerówDo 40 półek (do 960 dysków) w systemie z czterema półkami kontrolerów

Elastyczność

Page 8: 5 Wydajne systemy składowania danych dla systemów usługowych

External Virtualization

•Zarówno wewnętrzne jak i zewnętrzne zasoby dyskowe są zwirtualizowane

•Do 1024 zewnętrznych zasobów dyskowych

•Wirtualne zasoby tworzą „pule dyskowe”

•„Pule dyskowe” są wykorzystane do tworzenia woluminów

•Zarówno wewnętrzne jak i zewnętrzne zasoby dyskowe są zwirtualizowane

•Do 1024 zewnętrznych zasobów dyskowych

•Wirtualne zasoby tworzą „pule dyskowe”

•„Pule dyskowe” są wykorzystane do tworzenia woluminów

Wirtualizacja – droga do optymalizacji

Page 9: 5 Wydajne systemy składowania danych dla systemów usługowych

EMCHPIBMIBM

V7000FTS HDS

Netapp

Pula 1 Pula 2

VolA

VolB

VolC

VolD

VolG

VolE

VolF

HostHost HostHost

HostHost HostHostHostHostHostHost

Struktura logiczna

Page 10: 5 Wydajne systemy składowania danych dla systemów usługowych

Dyskizewnętrzne

IBMV7000

Extent 1aExtent 1a

Extent 1bExtent 1b

Extent 1cExtent 1c

Extent 1dExtent 1d

Extent 1eExtent 1e

Extent 2aExtent 2a

Extent 2bExtent 2b

Extent 2cExtent 2c

Extent 2dExtent 2d

Extent 2eExtent 2e

Mdisk 1Mdisk 1 Mdisk 2Mdisk 2

HDD (SAS, NL-SAS)SSDHDD (SAS, NL-SAS)SSD

Struktura logiczna – pula dyskowa

Page 11: 5 Wydajne systemy składowania danych dla systemów usługowych

Extent 1aExtent 1a

Extent 1bExtent 1b

Extent 1cExtent 1c

Extent 1dExtent 1d

Extent 1eExtent 1e

Mdisk 1Mdisk 1

Extent 2aExtent 2a

Extent 2bExtent 2b

Extent 2cExtent 2c

Extent 2dExtent 2d

Extent 2eExtent 2e

Mdisk 2Mdisk 2

WoluminWolumin

Extent 1aExtent 1a

Extent 1bExtent 1b

Extent 1cExtent 1c

Extent 1dExtent 1d

Extent 1eExtent 1e

Extent 2aExtent 2a

Extent 2bExtent 2b

Wolumin sekwencyjny

Page 12: 5 Wydajne systemy składowania danych dla systemów usługowych

Extent 1aExtent 1a

Extent 1bExtent 1b

Extent 1cExtent 1c

Extent 1dExtent 1d

Extent 1eExtent 1e

Mdisk 1Mdisk 1

Extent 2aExtent 2a

Extent 2bExtent 2b

Extent 2cExtent 2c

Extent 2dExtent 2d

Extent 2eExtent 2e

Mdisk 2Mdisk 2

WoluminWolumin

Extent 1aExtent 1a

Extent 1bExtent 1b

Extent 1cExtent 1c

Extent 1dExtent 1d

Extent 2aExtent 2a

Extent 2bExtent 2b

Extent 2cExtent 2c

Wolumin „striped”

Page 13: 5 Wydajne systemy składowania danych dla systemów usługowych

Extent 1aExtent 1a

Extent 1bExtent 1b

Extent 1cExtent 1c

Extent 1dExtent 1d

Extent 1eExtent 1e

Mdisk 1 - HDDMdisk 1 - HDD

Extent 2aExtent 2a

Extent 2bExtent 2b

Extent 2cExtent 2c

Extent 2dExtent 2d

Extent 2eExtent 2e

Mdisk 2 - SSDMdisk 2 - SSD

WoluminWolumin

Extent 1aExtent 1a

Extent 1bExtent 1b

Extent 1cExtent 1c

Extent 1dExtent 1d

Extent 1eExtent 1e

Extent 2aExtent 2a

Extent 2bExtent 2b

„Zimne” dane„Zimne” dane

„Gorące” dane„Gorące” dane

Analiza w 24 godzinyAnaliza w 24 godziny

Automatyczneprzesuwaniedanychw obu kierunach

Automatyczneprzesuwaniedanychw obu kierunach

Easy Tier Advisor !!! Do pobrania za darmo!!!Easy Tier Advisor !!! Do pobrania za darmo!!!

EasyTier – w cenie podstawowej macierzy!

Page 14: 5 Wydajne systemy składowania danych dla systemów usługowych

Potrzebujemy 2TB przestrzeni użytkowej

Możemy tę przestrzeń uzyskac na wiele sposobów:- 1 dysk 2 - 3TB, a w zasadzie 2 dyski w mirrorze – skrajna oszczędność pieniędzy- 4 dyski 900GB w RAID5 – wydaje się, że powinno być dosyć szybko- 8 dysków 300GB w RAID5 – jeszcze szybciej- 14 dysków 300GB RAID10 – huragan!

Potrzebujemy 2TB przestrzeni użytkowej

Możemy tę przestrzeń uzyskac na wiele sposobów:- 1 dysk 2 - 3TB, a w zasadzie 2 dyski w mirrorze – skrajna oszczędność pieniędzy- 4 dyski 900GB w RAID5 – wydaje się, że powinno być dosyć szybko- 8 dysków 300GB w RAID5 – jeszcze szybciej- 14 dysków 300GB RAID10 – huragan!

A jak to wygląda w rzeczywistości?A jak to wygląda w rzeczywistości?

Przykład

Page 15: 5 Wydajne systemy składowania danych dla systemów usługowych

0,1

0,15

0,2

0,25

0,3

0,35

0,4

0

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

5500

6000

6500

7000

7500

8000

8500

9000

9500

1000

0

1050

0

1100

0

1150

0

1200

0

1250

0

1300

0

1350

0

1400

0

1450

0

1500

0

Total I/O Rate (I/Os per second)

Ser

vice

Tim

e in

ms

(Op

en)

2 x 3TB 7,2k RAID1 4 x 900GB 10k RAID5 8 x 300GB 10k RAID5 8 x 300GB 15k RAID5

Page 16: 5 Wydajne systemy składowania danych dla systemów usługowych

0,1

0,15

0,2

0,25

0,3

0,35

0,4

0

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

5500

6000

6500

7000

7500

8000

8500

9000

9500

1000

0

1050

0

1100

0

1150

0

1200

0

1250

0

1300

0

1350

0

1400

0

1450

0

1500

0

Total I/O Rate (I/Os per second)

Ser

vice

Tim

e in

ms

(Op

en)

2 x 3TB 7,2k RAID1 4 x 900GB 10k RAID5 8 x 300GB 10k RAID5

8 x 300GB 15k RAID5 14 x 300GB 15k RAID10

Page 17: 5 Wydajne systemy składowania danych dla systemów usługowych

0,1

0,15

0,2

0,25

0,3

0,35

0,4

Total I/O Rate (I/Os per second)

Ser

vice

Tim

e in

ms

(Op

en)

2 x 3TB 7,2k RAID1 4 x 900GB 10k RAID5

8 x 300GB 10k RAID5 8 x 300GB 15k RAID5

14 x 300GB 15k RAID10 7 x 300GB 15k RAID5 + 2 x 200GB SSD RAID10

Page 18: 5 Wydajne systemy składowania danych dla systemów usługowych

EMCFTSHDSIBM

SSDHDD

10k/15kHDD

Pula 1 Pula 2

VolA

VolB

VolC

VolD

VolG

VolE

VolF

Szybkie woluminy dyskoweSzybkie woluminy dyskowe

Super szybkiwolumin

z EasyTier

Super szybkiwolumin

z EasyTier

Szybki woluminbez EasyTier

Szybki woluminbez EasyTier

Wolniejsze (tańsze)woluminy dyskoweWolniejsze (tańsze)woluminy dyskowe

Przykład konfiguracji

Page 19: 5 Wydajne systemy składowania danych dla systemów usługowych

EMCFTSHDSIBM

HDD10k/15k

HDD

Pula 1 Pula 2

VolA

VolB

VolC

VolD

VolG

VolE

VolF

Szybkie woluminy dyskoweSzybkie woluminy dyskowe

Super szybkiwolumin

z EasyTier

Super szybkiwolumin

z EasyTier

Szybki woluminbez EasyTier

Szybki woluminbez EasyTier

Wolniejsze (tańsze)woluminy dyskoweWolniejsze (tańsze)woluminy dyskowe

EasyTier analizujewydajność macierzy

i pokazuje potencjalnekorzyści!

EasyTier analizujewydajność macierzy

i pokazuje potencjalnekorzyści!

Optymalizacja PRZED zakupem dysków SSD!!!

Page 20: 5 Wydajne systemy składowania danych dla systemów usługowych

Potrzebujemy wolumin dyskowy o zadanej wydajności.Załóżmy, że jest to około 25 000 IOPS.Potrzebujemy wolumin dyskowy o zadanej wydajności.Załóżmy, że jest to około 25 000 IOPS.

Rozwiązanie najbardziej naturalne:64 dyski 300GB 15k rpm w RAID 10Rozwiązanie najbardziej naturalne:64 dyski 300GB 15k rpm w RAID 10

Przykład – ćwiczenie w drugą stronę

Page 21: 5 Wydajne systemy składowania danych dla systemów usługowych

64 x 300GB 15k rpm RAID 10

0

0,5

1

1,5

2

2,5

3

3,5

4

0 2000 4000 6000 8000 10000 12000 14000 16000 18000 20000 22000 24000 26000

Total I/O Rate (I/Os per second)

Se

rvic

e T

ime

in m

s (

Op

en

)

64 x 300GB 15k rpm RAID 10

Page 22: 5 Wydajne systemy składowania danych dla systemów usługowych

0

0,5

1

1,5

2

2,5

3

3,5

4

0 2000 4000 6000 8000 10000 12000 14000 16000 18000 20000 22000 24000 26000

Total I/O Rate (I/Os per second)

Se

rvic

e T

ime

in m

s (

Op

en

)

64 x 300GB 15k rpm RAID 10

8 x 900GB 10k RAID5 + 2 x 200GBSSD RAID10

Page 23: 5 Wydajne systemy składowania danych dla systemów usługowych

Bez EasyTier:64 dyski 300GB 15kRAID 10

3 półki

Bez EasyTier:64 dyski 300GB 15kRAID 10

3 półki

Z EasyTier:8 dysków 900GB 10k RAID 52 dyski 200GB SSD RAID 1

1 półka

Z EasyTier:8 dysków 900GB 10k RAID 52 dyski 200GB SSD RAID 1

1 półka

Wysoki kosztWysoki koszt Koszt o połowę niższy!Koszt o połowę niższy!

9,6TB – przy mniejszej liczbiedysków nie uzyskamyzakładanej wydajności

9,6TB – przy mniejszej liczbiedysków nie uzyskamyzakładanej wydajności

6,5TB – możemy precyzyjniej dobieraćzarówno pojemność jak i wydajność

6,5TB – możemy precyzyjniej dobieraćzarówno pojemność jak i wydajność

Wysoki koszt / TBWysoki koszt / TB Koszt / TB niższy o 30%!Koszt / TB niższy o 30%!

Porównanie rozwiązań

Page 24: 5 Wydajne systemy składowania danych dla systemów usługowych

Optymalizacja wielkości macierzy– płynna skalowalność do 960 dysków

Optymalizacja wydajności każdego woluminu– od kilkuset IOPS do setek tysięcy IOPS

Optymalizacja wykorzystania starych macierzy FC- zagospodarowanie przestrzeni dyskowej- elastyczna gospodarka przestrzenią wewnętrzną i zewnętrzną- łączenie przestrzeni wewnetrznej i zewnętrznej w ramach tego samego woluminu- łączenie przestrzeni zewnętrznej z różnych macierzy w ramach tego samegowoluminu

Planowanie optymalizacji z użyciem dysków SSD PRZED zakupem dysków SSD- EasyTier jest w cenie macierzy- EasyTier działa nawet bez dysków SSD – w trybie analizy

Optymalizacja wielkości macierzy– płynna skalowalność do 960 dysków

Optymalizacja wydajności każdego woluminu– od kilkuset IOPS do setek tysięcy IOPS

Optymalizacja wykorzystania starych macierzy FC- zagospodarowanie przestrzeni dyskowej- elastyczna gospodarka przestrzenią wewnętrzną i zewnętrzną- łączenie przestrzeni wewnetrznej i zewnętrznej w ramach tego samego woluminu- łączenie przestrzeni zewnętrznej z różnych macierzy w ramach tego samegowoluminu

Planowanie optymalizacji z użyciem dysków SSD PRZED zakupem dysków SSD- EasyTier jest w cenie macierzy- EasyTier działa nawet bez dysków SSD – w trybie analizy

Storwize V7000 – wielopoziomowa optymalizacja

Page 25: 5 Wydajne systemy składowania danych dla systemów usługowych

Program konferencji

10.15 – 10.45 Program IBM Managed Service Providers – atrakcyjny sposób budowy i rozwoju usługowego biznesu IT

10.45 – 11.30 Rozwiązania dla chmury prywatnej i publicznej

11.30 – 11.45 Przerwa na kawę

11.45 – 12.15 Nowa, zintegrowana platforma świadczenia usług – IBM PureFlex

12.15 – 12.45 Niezawodność i bezpieczeństwo świadczonych usług – platforma IBM Power

12.45 – 13.15 Wydajne systemy składowania danych dla systemów usługowych

13.15 – 13.45 Przerwa na kawę

13.45 – 14.15 Platforma System x dla IBM Managed Service Providers

14.15 – 14.45 Finansowanie rozwiązań IT w IBM Global Financing

14.45 – 15.00 Panel dyskusyjny

15.00 Obiad

Page 26: 5 Wydajne systemy składowania danych dla systemów usługowych