środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie...

36
1 Copyright 2011 EMC Corporation. All rights reserved. Jak zreorganizować składowanie danych w skonsolidowanych środowiskach z pełną automatyzacją. FAST VP w praktyce Tomasz Badurka, Zbigniew Brysiak (Bank Pekao S.A.), Paweł Albert (EMC) EMC Forum 2011, Warszawa

Transcript of środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie...

Page 1: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

1 Copyright 2011 EMC Corporation. All rights reserved.

Jak zreorganizować składowanie danych w skonsolidowanych środowiskach z pełną automatyzacją. FAST VP w praktyce

Tomasz Badurka, Zbigniew Brysiak (Bank Pekao S.A.), Paweł Albert (EMC)

EMC Forum 2011, Warszawa

Page 2: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

2 Copyright 2011 EMC Corporation. All rights reserved.

Agenda

Krótki wstęp

Odrobina teorii

Praktyka – w Banku Pekao S.A.

Co dalej z FAST VP?

Page 3: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

3 Copyright 2011 EMC Corporation. All rights reserved.

Wyzwania projektowe = sztuka balansowania

• Skonsolidowane zasoby storage, heterogeniczne środowisko

• Odświeżenie technologii

• Konieczność zapewnienia skalowalnej platformy, gotowej na ciągły rozwój systemów i przyrost danych

• Konieczność utrzymania dyscypliny budżetowej w IT

• Optymalizacja wykorzystania zasobów

• Zapewnienie odpowiednich SLA (wydajność, dostępność) i reakcja na zmienność obciążenia

• Dostępność klasy Enterprise vs. prostota zarządzania

Private cloud

Page 4: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

4 Copyright 2011 EMC Corporation. All rights reserved.

Nasz wybór – EMC Symmetrix VMAX • Klasa światowa – High-end/Enterprise

• Przewidywalna wydajność i potężna skalowalność

• Dostępność 7x24 – dla najbardziej krytycznych aplikacji

• Pełne spektrum technologii do wyboru – dyski EFD, FC (SAS), SATA, poziomy RAID

• Narzędzia migracyjne

• Intuicyjne zarządzanie

• Thin provisioning

• Automatyczna optymalizacja wydajności – FAST VP

The world’s most trusted storage

platform

Page 5: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

5 Copyright 2011 EMC Corporation. All rights reserved.

Fully Automated Storage Tiering (FAST VP)

• Stworzony z myślą o optymalizacji storage – Najwyższa wydajność – Największa pojemność – Najniższy koszt

• Dynamicznie rozlokowuje informacje – Dane “Hot” na ultra-szybkim tierze Flash – Dane “Cold” na tanim, pojemnym tierze SATA

• Optymalizuje utylizację zasobów dyskowych, adekwatnie do zdefiniowanych polityk

• Zapewnia gwarantowane poziomy SLA – Dane zawsze znajdą się w odpowiednim tierze, o

oczekiwanych parametrach – Jest adaptacyjny – obserwuje zachowanie

systemu i „żyje” wraz z nim

SATA

Fibre Channel

Flash

Page 6: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

6 Copyright 2011 EMC Corporation. All rights reserved.

FAST VP w praktyce

FAST: Tiery FAST: Polityki Storage Grupy

PROD 5%

100%

100%

TEST 20%

100%

Ultra High Performance Tier 200 GB EFD RAID 5 (7+1)

High Performance Tier 146 GB 15K FC RAID 1

High Capacity Tier

1 TB SATA RAID 6 (6+2)

SAP_SG

Oracle_SG?

Dev_SG?

Krok po kroku – nie ma nic prostszego!

Przygotowanie zasobów

Definicja polityk

Przypisanie dla aplikacji

Page 7: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

8 Copyright 2011 EMC Corporation. All rights reserved.

FAST VP w praktyce,

czyli jak to było w Banku Pekao S.A.

Page 8: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

9 Copyright 2011 EMC Corporation. All rights reserved.

Stan przed migracją

SRDF /S

DMX 3 – Ośrodek I DMX 3 – Ośrodek II

Serwery Serwery

Sieć SAN

Page 9: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

10 Copyright 2011 EMC Corporation. All rights reserved.

Opis środowiska

Sieć SAN dual-fabric

PowerPath – multipathing i load-balancing

Replikacja synchroniczna SRDF • Klastry rozległe (HP MetroCluster, MSCS - EMC SRDF/Cluster

Enabler, AIX HACMP/PowerHA)

Host-based mirroring – LVM obsługujący wolumeny logiczne z obu macierzy w RAID-1

Page 10: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

11 Copyright 2011 EMC Corporation. All rights reserved.

Stan przed – dyski

Fizyczne grupy dyskowe

Hypery stałej wielkości – 8.74GB, z których budowane wolumeny logiczne

Wszystkie przestrzenie w protekcji RAID-10

Dyski BCV, na potrzeby backupu – bez protekcji RAID

Page 11: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

12 Copyright 2011 EMC Corporation. All rights reserved.

Założenia projektu

Dostosowanie technologii macierzy dyskowych do bieżących potrzeb systemów informatycznych

Zachowanie dotychczasowych funkcjonalności: replikacji danych SRDF, tworzenia kopii zasobów dyskowych TimeFinder BCV

Obniżenie kosztów eksploatacji przez: • Ułatwienie zarządzania zasobami macierzowymi • Wdrożenie technologii pozwalającej na podniesienie wydajności, przy

jednoczesnym obniżeniu zużycia energii elektrycznej i poprawie wykorzystania zasobów dyskowych

Page 12: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

13 Copyright 2011 EMC Corporation. All rights reserved.

Analiza stanu obecnego – narzędzia

Tier Advisor Narzędzie „wewnętrzne” EMC

Porady i rekomendacje, jak przygotować/przebudować poszczególne tiery storage

Pozwala interaktywnie modelować optymalną konfigurację, umożliwia manipulowanie konfiguracją fizyczną, tierów, polityk storage, itp.

Analizy porównawcze wariantów

• Wariant najtańszy możliwy? • Najbardziej zorientowany na wydajność? • Zbalansowany – price/performance? • Najprostsza konfiguracja? • Możliwość oferowania różnych SLA?

Doskonały jako inicjalny krok przed uruchomieniem FAST-a

Page 13: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

14 Copyright 2011 EMC Corporation. All rights reserved.

Proces analizy środowiska

Wprowadzone dotychczasowe konfiguracje DMX3 jako „Base”

Stworzone różne warianty modelu tierowego – porównanie parametrów (na czym zależy nam najbardziej?)

Dodatkowe zasoby – zapas na rozwój środowiska

Wybór i wycena

Page 14: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

15 Copyright 2011 EMC Corporation. All rights reserved.

Przebieg projektu

Ilość migrowanych systemów: 47

Migrowane aplikacje: • na dedykowanych

grupach dysków - 7 • na

współdzielonych grupach dysków - 40

Według typu OS:

• HP-UX - 12 • AIX - 23 • Linux - 4 • Windows - 8

Czas trwania

migracji -cztery

miesiące

Ilość transz migracyjnych

- 12

Page 15: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

16 Copyright 2011 EMC Corporation. All rights reserved.

Stan obecny – po migracji

2 macierze VMAX, 2 ośrodki DC

Obie konfiguracje identyczne sprzętowo • 2x VMAX Engine: 4 pary FA, 4 pary DA, 128GB

cache • Dyski – o tym nieco dalej • Zachowaliśmy dyski i mechanizmy BCV dla

potrzeb backupowych (RAID-5)

Page 16: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

17 Copyright 2011 EMC Corporation. All rights reserved.

Dyski, ale już w pulach. Pojawiły się

tiery

VMAX A (Ośrodek I) VMAX B (Ośrodek II)

Typ dysków (disk pool) Protekcja Typ dysków (disk pool) Protekcja

EFD RAID5 (7+1) EFD RAID5 (7+1)

FC 15k 2-Mir FC 15k 2-Mir

SATA RAID6 (6+2) SATA RAID6 (6+2)

FC 10k RAID5 (7+1)

Page 17: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

18 Copyright 2011 EMC Corporation. All rights reserved.

FAST VP – cel ten sam, inne metody

Symmetrix DMX-3:

grupy dyskowe, LUN-y

Symmetrix VMAX:

pule dyskowe (tiery), wirtualne LUN-y, polityki FAST

vs.

Page 18: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

19 Copyright 2011 EMC Corporation. All rights reserved.

No i esencja – FAST VP Daliśmy mu swobodę działania – operuje od samego początku, jeszcze przed rozpoczęciem migracji

Dla całego środowiska, podział aplikacji wg SLA

Ustalone inicjalne polityki, potem czas na przegląd i modyfikacje – zbieramy doświadczenia

100/100/100 – black box?

Nazwa polityki % dyski EFD % dyski FC % dyski SATA

Polityka_premium 30 (obecnie - 16) 100 10 (obecnie - 50)

Polityka_standard 5 70 100

Page 19: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

20 Copyright 2011 EMC Corporation. All rights reserved.

FAST VP też się zmienia

My też się go uczymy i „podkręcamy”

Obserwacja efektów działania FAST, zmian na macierzy, utylizacji pul

To mamy obecnie • Premium • Standard

Rozważane propozycje zmian • Premium – obniżenie udziału EFD • Standard – obniżenie udziału FC • Nowa polityka „Lite” – bez udziału EFD

Page 20: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

21 Copyright 2011 EMC Corporation. All rights reserved.

Virtual Provisioning

Czyli thin provisioning

Znacznie mniejsza rzeczywista zajętość zasobów dyskowych – nawet do 20% w stosunku do DMX3

Co oznacza, że wcześniej aplikacje alokowały znacznie więcej przestrzeni niż w rzeczywistości wykorzystywały - wielki plus dla VP

Page 21: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

22 Copyright 2011 EMC Corporation. All rights reserved.

Zarządzanie zasobami – DMX3 …

SYMCLI

Control Center

+

Page 22: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

23 Copyright 2011 EMC Corporation. All rights reserved.

... vs. zarządzanie zasobami – VMAX

SMC =

Symmetrix Management

Console

Page 23: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

24 Copyright 2011 EMC Corporation. All rights reserved.

Monitoring zasobów

Symmetrix VMAX z FAST VP - SMC, SPA

vs

Symmetrix DMX-3 - Control Center, Performance Manager

Page 24: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

25 Copyright 2011 EMC Corporation. All rights reserved.

Monitoring zasobów – dashboards

Page 25: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

26 Copyright 2011 EMC Corporation. All rights reserved.

Monitoring zasobów – w kontekście wybranej aplikacji

Page 26: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

27 Copyright 2011 EMC Corporation. All rights reserved.

Monitoring zasobów – trendy

Page 27: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

28 Copyright 2011 EMC Corporation. All rights reserved.

Monitoring zasobów – diagnostyka

Page 28: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

29 Copyright 2011 EMC Corporation. All rights reserved.

Monitoring zasobów – real-time performance

Page 29: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

30 Copyright 2011 EMC Corporation. All rights reserved.

Rozwój, rozbudowy i planowanie

Jest bardziej elastycznie

Jak sprawnie planować? • Przestrzeń dyskowa • Cache • Kwanty rozbudowy

Page 30: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

31 Copyright 2011 EMC Corporation. All rights reserved.

Pracochłonność vs tradycyjne podejście

Czy jest teraz: • Łatwiej? • Szybciej? • Mniejsze ryzyko błędu? • Bezpieczniej? • Inaczej?

Czy mamy więcej czasu?

Page 31: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

32 Copyright 2011 EMC Corporation. All rights reserved.

FAST VP – czy warto? Czy się sprawdził?

Tak! FAST VP działa zgodnie z założeniami:

• Daje elastyczność konfiguracji • Dynamiczną optymalizację wydajności • Oddzielenie od fizycznej warstwy dysków • Zwolnienie niewykorzystywanych obszarów

dyskowych – Virtual Provisioning

Dla każdego (skonsolidowanego) środowiska!

Page 32: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

33 Copyright 2011 EMC Corporation. All rights reserved.

A co na to właściciele aplikacji?

Zasoby pul dyskowych (tiery) pozwalają na strojenie wydajnościowe aplikacji

Dynamiczne podążanie za potrzebami aplikacji poprzez polityki i dostępne zasoby

Potencjał całej macierzy jest dostępny dla poszczególnych aplikacji

Page 33: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

34 Copyright 2011 EMC Corporation. All rights reserved.

Project Lightning

Serwer to czy już storage? Jeszcze więcej wydajności. Automatyczny tiering.

Page 34: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

35 Copyright 2011 EMC Corporation. All rights reserved.

Lightning Distributed Cache

Module (DCC)

Project Lightning

• Serwer i storage pracujące razem nad obsługą IO

• Pamięć cache dla serwerów

• Inteligentny software

• Automatyzacja FAST – Tier -1

• Turbodoładowanie przezroczyste dla aplikacji

• Skalowalność wraz z liczbą hostów

• Jesteśmy w fazie beta testów

DCC DCC DCC DCC DCC

Page 35: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na

37 Copyright 2011 EMC Corporation. All rights reserved.

Co z tym FAST-em począć? Podsumowanie • Doskonale sprawdza się w instalacjach w środowiskach produkcyjnych

• Ponad 50% instalowanych nowych VMAX-ów zakupionych z licencją FAST VP

• FAST VP pociąga za sobą również i większe wykorzystanie technologii SATA i EFD

– 92% macierzy VMAX z licencją FAST VP wyposażonych w dyski EFD

– Z drugiej strony – 91% macierzy z tej grupy (FAST VP) wyposażonych w dyski SATA

– Klienci zauważają benefity ...

Page 36: środowiskach z pe łną - poland.emc.com · Obniżenie kosztów eksploatacji przez: •Ułatwienie zarz ądzania zasobami macierzowymi •Wdrożenie technologii pozwalaj ącej na