Marcin Drożan
Storage Client Technical Specialist
SONAS - jako elektroniczna skarbonka na pliki
Agenda
• Trendy na świecie - Epoka PB
• NAS – rodzaje
• SONAS – Architektura
– Zasada działania
– Backup
– HSM
– Disaster recovery
3
Budżety na storage wzrosnąo 1%-5% w 2011
Lawinowy wzrost ilości informacji
Zapotrzebowanie na storage rośnie 20-40% rocznie
Ilość informacji podwaja się co 18-24 miesiący
2000 2005 2010 2015
Terabajty
Petabajty
Exabajty
Zettabajty
Gigabajty
Epoka Petabajtów
50TB = zdjęcia dodane do Facebook każdego miesiąca
500 TB = wszystkie filmy na YouTube
1 PB = ilość danych przetwarzanych przez Google w ciągu 2 godzin
15 PB = Ilość danych tworzonych codziennie na świecie
4
Dane plikowe – szybszy wzrost
Źródło: IDC, State of File-Based Storage Use in Organizations: Results from IDC's 2009 Trends in File-Based Storage Survey: Dec 2009: Doc # 221138
Worldwide Storage Capacity Shipped by Segment, 2008–2013
Storage plikowy rośnie 4 razy szybciej niż storage blokowy
Tylko 20% danych to dane ustrukturyzowane
- DB2, Oracle, MS SQL Server
-SAP, CRM, ...
Reszta to dane częściowo ustrukturyzowanelub nieustrukturyzowane
- Filmy, zdjęcia, dokumenty aplikacji biurowych, strony www, itd.
5
Klasyczny NAS
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Filer Filer
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
NameSpace
#1
PrimaryFiler
SecondaryFiler
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Filer Filer
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
NameSpace
#2
PrimaryFiler
SecondaryFiler
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Filer Filer
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
NameSpace
#3
PrimaryFiler
SecondaryFiler
ScaleUp
ScaleUp
ScaleUp
Każdy filer tworzy osobny namespace. Brak współdzielenia zasobów pomiędzy różne klastryFailover wystepuje tylko pomiędzy primary kontrolerem a secondary kontrolerem
Klaster#1
Klaster#2
Klaster#3
6
Skalowalny NAS
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Filer Filer
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
NameSpace
#1
PrimaryFiler
SecondaryFiler
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Filer Filer
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
NameSpace
#2
PrimaryFiler
SecondaryFiler
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Filer Filer
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
NameSpace
#3
PrimaryFiler
SecondaryFiler
ScaleUp
ScaleUp
ScaleUp
Klaster#1
Klaster#2
Klaster#3
Virtual Global Namespace (software)#1
7
IBM Scale Out NAS Storage (SONAS)
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
S. Node S. Node
Disk Enclosure
Disk Enclosure
Disk Enclosure
IF NodeIF Node
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
S. Node S. Node
Disk Enclosure
Disk Enclosure
Disk Enclosure
IF Node IF Node
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
Disk Enclosure
S. NodeS. Node
Disk Enclosure
Disk Enclosure
Disk Enclosure
IF NodeIF Node
ScaleUp
ScaleOut
I L M
Globalny klaster
Infiniband
Logical Storage Tier Gold
Logical Storage Tier Silver
Logical Storage Tier Copper
Wielestorage nodówpracuje
równolegle
Dane rozmieszczone na wszystkich
dyskach storage pooli
Zagregowany odczyt/zapis
8
9
CIFS ClientsCIFS
Clients
HTTP ClientsHTTP Clients
FTP ClientsFTP
Clients
NFS ClientsNFS
Clients
Management Node
Management Node
Interface Node
Interface Node ...
...
“Cloud” IP Network
Tape
Interface Node
Interface Node
Internal Network - IP and Infiniband
Storage Node
Storage Node
Storage Pod
Storage Node
Storage Node
Storage Node
Storage Node
Storage Pod
High Density Storage Array
Storage Node
Storage Node
GPFS Server
GPFS Client GPFS Client GPFS ClientGPFS Client GPFS Client
GPFS Server GPFS Server GPFS Server
Future possible
node types
High Density Storage Array
• Skalowalność
• Różne warstwy storage
• Wirtualizacja do jednego systemu
• Prostota:
tylko 3 bazowe komponenty
Nody Zarządzający
Nody Interfejsów
Storage Nody High Density Storage Array
High Density Storage Array
SONAS - architektura
Future possible
node types
IP
Disk
Dedup
9
SONAS Appliance
W pełni zintegorwany Appliance
14.4 PB
30 Nodów z intrfejsami(1GbE i 10GbE do klientów)
60 Storage Nodów (8GB FC)
7200 Dysków
Prywatna sieć Infiniband
42 GbE Switch #241 GbE Switch #1
4039383736 36-port IB
35 36-port IB #1
34333231302928272625242322 1U Blank Filler Panel
21 Keyboard, Video, Mouse
2019181716151413121110987654321
Management Node #1
iPD
U
iPD
U
Management Node #2
Interface Node #6
Interface Node #5
Interface Node #4
Storage node #2
Storage node #1
iPD
U
Storage Controller #2.1
Disk Storage Expansion Unit #1.2
Storage Controller #1.1
iPD
U
Disk StorageExpansion Unit #2.2
Interface Node #3
Interface Node #2
Interface Node #1
10
SONAS - rozszerzenia
Node Expansion
• Do 30 nodów interfejsów
• Prywatna sieć Infiniband:
• Szybka (20 Gbps)
• Z niskimi opóźnieniami
Storage Expansion
• Na parę storage nodów może przypadać do 240
dysków,
• Maksymalnie 7,200 dysków twardych
Interface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface NodeInterface Node
Switches
Storage NodeStorage Node
60 Disks
60 Disks
60 Disks
60 Disks
Storage NodeStorage Node
60 Disks
60 Disks
60 Disks
60 Disks
Switches
Gęsta konfiguracja I/O
Gęsta konfiguracja storage
11
/home/appl/data/web/duza_prezentacja_ze_zdjeciami.ppt/home/appl/data/web/duza_prezentacja_ze_zdjeciami.ppt
… … …>
….. ….. ...
scaleout
scaleout
SONAS -Tworzenie i zapisywanie plików
/home/appl/data/web/wazny_duzy_skoroszyt.xls
/home/appl/data/web/duze_video.mpg
/home
/appl
/data
/web
/home/appl/data/web/wazny_duzy_skoroszyt.xls
/home/appl/data/web/duze_video.mpg
IBM Scale Out NAS
Policy EngineGlobal Namespace
Wszystkie 3 pliki znajdują się w tym
samym katalogu, ale każdy rezyduje na
innej fizycznej storage pooli
Dane rozrzucone pomiędzy wszystkie
dyski w storage pooli.
Wysoka wydajność, auto-tuning, auto-
load balancing
Tier 1: SAS drives Tier 2: 1TB SATA drives Tier 3: 2TB SATA drives
Interface nodes
Interface nodes
Interface nodes
Storage nodes
Storage nodes >Storage
nodes
12
LogicznaFizyczna
SONAS – Równoległe czytanie plików przez wielu użytkowników
/home
/appl
/data
/web
/home/appl/data/web/wazny_duzy_skoroszyt.xls
/home/appl/data/web/duza_prezentacja_ze_zdjeciami.ppt
/home/appl/data/web/duze_video.mpg
Global NamespacePolicy Engine
Tier 1 Tier 2 Tier 3
IBM Scale Out NAS
… … …>
….. ….. ...
scaleout
scaleout
Interface nodes
Interface nodes
Interface nodes
Storage nodes
Storage nodes >Storage
nodes
Równoległy streaming odczytów wielu plików
do wielu użytkowników
LogicznaFizyczna
13
SONAS – skanowanie systemu plików
• Kiedy liczba plików i storage’u rośnie do petabajtów….
• Wyzwaniem staje się skanowanie file systemu na tyle szybko aby zidentyfikować pliki, które muszą być:– Zmigrowane do innej storage pooli,– Przekopiowane do remote site’u– Przywrócone– Skasowane– Zbackupowane
• Skan musi być ekstremalnie szybki i wydajny– Aby umożliwić autoamtyczne migrowane pomiędzy różne tier– Zarówno na poziomie TB jak i PB
14
SONAS – skanowanie systemu plików
Storage nodesStorage nodesStorage nodes Storage nodesStorage nodesStorage nodes
Interface nodesInterface node
Interface node
Interface node
Global Namespace
Wszystkie nody(zarówno
storage’owe jak i interfejsów) moga
uczestniczyć w równoległym skanowaniu
ScaleOut
Skan metadanych
Skanowanie > 15 millionów plików na
minutę
/home
/appl
/data
/web
Tier 1 Tier 2 Tier 3
Policy Engine
•Silnik skanowania czyta wewnętrzne metadane systemu plików w SONAS• Nie musi czytać plików ani drzewa katalogów•Wszystkie nody mogą równolegle skanować metadane
1. Początek skanowania
2. Odczyt polityk
3. Równoległy skan 4. Zwrot wyników skanowania
IBM Scale Out NAS
15
16
SONAS – automatyczne przenoszenie danych
• Po zidentyfikowanie plików do przeniesienia do innej „warstwy” storage’u– Silnik równoległego przenoszenia danych fizycznie przemieszcza dane do:
• innych storage pool• Innych site’ów• Do zewnętrzych zasobów HSM• Etc.
– Pliki są zawsze dostępne nawet podczas ich przenoszenia– Po fizycznym przeniesieniu nie zmienia się logiczna ścieżka do plików
• Każdy nod może uczestniczy w procesie przenoszenia danych– Aby przeprowadzic fizyczną migrację danych do nowych miejsc docelowych jak najszybciej– Pliki mogą być przenoszone do szybszych lub wolniejszych logicznych warstw storage’u w oparciu o
polityki związane z• Dostępem do pliku, wielkością, wiekiem itp.• USER ID, Group ID, typem pliku, etc.
• Wewnętrzne ruchy danych w SONAS wykonywany jest przy użyciu tylko i wyłącznie oprogramowania SONAS
– Nie jest potrzebny żaden serwer TSM jeśli ruch danych odbywa się na wewnętrznych dyskach SONAS
Storage nodesStorage nodesStorage nodesStorage nodes Storage nodesStorage nodes
Interface nodesInterface
nodeInterface
nodeInterface
node
Global Namespace
6. Wszystkie nody mogą uczestniczyć
w przenoszeniu danych
ScaleOut
/home
/appl
/data
/web
Tier 1 Tier 2 Tier 3
5. Wykonaj wynik skanowania
Policy Engine
Żaden z plików nie zmienił swojego
logicznego położenia
IBM Scale Out NAS
SONAS – automatyczne przenoszenie danych
/home/appl/data/web/wazny_duzy_skoroszyt.xls
/home/appl/data/web/duza_prezentacja_ze_zdjeciami.ppt
/home/appl/data/web/duze_video.mpg
17
18
SONAS – przyspieszenie backup’u
• IBM Scale Out NAS ma specialny mechanizm do szybkiego backupu z wykorzystaniem Tivoli Storage Managera
• Silnik skanowania w SONAS identyfikuje inkrementalne zmiany w systemie plików a następnie przekazuje listę zmienionych bloków bezpośrednio do TSM – Nie ma potrzeby skanowania całego drzewa katalogów
– Skracane jest okno backupowe do czasu wymaganego na przegranie tylko zmienionych danych
Tivoli StorageManager
backup server
Wyniki skanowania
IBM Scale Out NAS
•Wszystkie urządzenia TSM-supported:
•ProtectTier de-dup•Virtual Tape Library•Tape
Dane
SONAS – przyspieszenie backup’u
… …
… …
/home
/appl
/data
/web
IBM Scale Out NAS
Global NamespacePolicy Engine
Tier 1: SAS drive Tier 2: SATA drives
Storage node
Storage node
Tivoli StorageManager
Interface node
1. Skanowanie –identyfikacja
zmienionych bloków
Interface node
3. TSM wykonuje bezpośrednie LAN IO aby przenieść backup na taśmy, VTL, albo urządzenia z deduplikacją
2. Przekazanie listy zmienionych bloków do
TSM
/home/appl/data/web/wazny_duzy_skoroszyt.xls
/home/appl/data/web/duza_prezentacja_ze_zdjeciami.ppt
/home/appl/data/web/duze_video.mpg
19
20
SONAS -Hierarchical Storage Management
• IBM Scale Out NAS dostarcza mechanizm Hierarchical Storage Management na taśmach w oparciu o wewnętrzne polityki– Silnik skanowani identyfikuje nieaktywne pliki, które mogą byc przeniesione na taśmy– Następnie przekazuje wyniki do Tivoli Storage Manager / Hierarchical Storage Manager
(TSM/HSM)– Stub file zostaje na dysku – auto-recall wykonywany jest w momencie dostępu do pliku
• „Store petabytes of data, on terabytes of disk”
Migracja nie aktywnych plików na taśmy, VTL urządzenia deduplikujące
TSM/HSMServer
IBM Scale Out NAS
Wyniki skanowania
Dane
Site A
SONAS A
Site B
WideArea
Network
SONAS B
Funkcje DR• Replikacja w oparciu o
rsync• Tylko zmienione bloki
• Asychroniczny mirroring
lub• sychroniczny mirroring
> 50m
SONAS – Disaster recovery
21
SONAS – Disaster recovery
… …
… …
/home
/appl
/data
/web
IBM Scale Out NAS
Global NamespacePolicy Engine
Tier 1: SAS drive Tier 2: SATA drives
Storage node
Storage node
Remote Scale Out NAS
Interface node
2. Skanowanie, porównywanie hashy
Interface node
hash
hash
Na podstawie porównania hashy generowane są
inkrementalne zmiany do wysłania
1. Odczytywanie polityk
3. Równoległe przsyłanie do zdalnej lokalizacji
Remote Scale Out NAS
/home/appl/data/web/wazny_duzy_skoroszyt.xls/home/appl/data/web/duza_prezentacja_ze_zdjeciami.ppt
/home/appl/data/web/duze_video.mpg
22
Pojedyńczy , zintegrowany wizardinstalacji
Cały klaster instalowany z jednego DVD z jednego noda
Health Center/Cluster monitoringSystem LogAlert LogTopology
IBM SONAS Console SettingsUtilization ThresholdsScheduled tasksUstawienia powiadomień
SONAS – zarządzanie
23
24
SONAS – modularna skalowalność i niezawodność
Interface Node Interface Node Interface Node Interface NodeInterface Node
Netzwerk Sieć IP (CIFS/NFS)
SONASCIFSCIFS NFSv3NFSv3 HTTPSHTTPS FTPFTP
SONASCIFSCIFS NFSv3NFSv3 HTTPSHTTPS FTPFTP
Storage Node Storage Node Storage Node
InfinibandInfiniband
SONAS CIFSCIFS NFSv3NFSv3 HTTPSHTTPS FTPFTP
Storage Node
Jeden widok danych niezależnie od miejsca i czasu
Modularne możliwości rozbudowy wydajności i
pojemności
Odporność na awarie!
25
$$ $$ $$ $$
Automatyczne umieszczanie danych na właściwym storage’u, w oparciu
o wartość danych dla klienta
Niewidoczne przenoszenie danych
Optymalizacja hardware’u i software’u, oszczędności energi i miejsca
Szybki backup i replikacja
Szybka identyfikacja zmienionych danych
SONAS
SONAS
• Ujednolicony system zarządzania PB storage’u
• Globalny dostęp do danych niezależnie od lokalizacji
– Globalny namespace dla PB danych
• Dostarcza rozwiązanie, które rosnie wraz z wymaganiami
– Rozszerzalna pojemność, wydajność,– Globalny wirtualny serwer plików– Rozbudowa w oparciu o standardowe moduły
• Wysokie ROI – Zuważalna redukcja kosztów przez auto-tune,
auto-balancing , HSM
Top Related