Agenda
description
Transcript of Agenda
Nowoczesne systemy dyskowe i sieci pamięci masowych
Warsztaty „Usługa powszechnej archiwizacji”
Rafał Mikołajczak, PCSSMaciej Brzeźniak, PCSS
Agenda
• Pamięci dyskowe – wprowadzenie– Dyski twarde – uniwersalne medium przyszłości (?)– Cechy i ograniczenia napędów dyskowych– Macierze dyskowe – więcej niż Just Bunch of Disks (JBoD)
• Techniki konsolidacji pamięci masowej – SAN (FCP, iSCSI)– NAS (CIFS, NFS, ftp, http…)
Dysk twardyuniwersalne medium przyszłości (?)
Źródło: Wikipedia: http://en.wikipedia.org/wiki/Hard_disk_drive
Dysk twardy – uniwersalne medium przyszłości? (1)
Krótka historia (pojemność)
1956: IBM 350 - disk storage unit: Pierwszy „dysk twardy” Pojemność: ok. 4.4 MB 1000 kg, talerze 24”, obudowa 140 x 172 x 74 [cm]
1980: Seagate ST4053 Pojemność: ok. 5 MB talerze 5 1/4”
1986: Conner Peripherals CP340 Pojemność: ok. 40 MB talerze 3.5”
1991: Zapis magnetorezystywny (IBM) Przełamanie bariery pojemności 1 GB! 8 talerzy 3.5”, czas dostępu 7.5 ms IBM 0664 „Corsair”
Źródło: IBM 350 disk storage unit, http://www-03.ibm.com/ibm/history/exhibits/storage/storage_350.html
Dysk twardy – uniwersalne medium przyszłości? (2)
Krótka historia (pojemność)
2005: Perpendicular recording Technologia zapisu „poprzecznie” do ścieżki Znaczny wzrost gęstości zapisu!
2007: Hitachi (w 2003 wykupił IBM HDD Devision) Pierwszy dysk 1 TB 5 talerzy 3.5”, 7200 RPM, czas dostępu: 8.7 ms,
2009: Western Digital / Seagate Pierwszy dysk 2 TB:
WD: 5400 obr./min., 2 talerze Seagate: 7 200 obr./min, seek <8,5 ms
2010: Seagate zapowiada pierwszy dysk 3 TB:
SSD....
SSD – realna sytuacja
Krótka historia SSD: 1970 & 1980: Pierwsze prace nad SSD (IBM, Cray, Amdahl) 1995 – pierwsze SSD oparte o pamięci flash (Texas Memory Systems, CERAM) 2003 – pierwsze dyski 1TB SSD – (2 szafy rack, 5kW mocy, 2mln IOPS, Texas Memory Systems) 2009 – pamięci flash osiągają tą samą gęstość zapisu co dyski twarde...
np. 1TB w dysku 3,5” SATA (Foremay Jaguar Series)
2010 – pamięci SSD: 4 TB na karcie PCIE, 1.5-1.6GB/s (Foremay EC188) Wiele linii i typów SSD:
wydajność, pojemność, niezawodność,
Ceny: rozpiętość 1-200x w zależności od parametrów 1 TB - OCZ Technology 3.5” SATAII: $4,076.99 (amazon.com)
Sustained write: 220MB/s (dysk „do PC”) 146 GB – dysk do macierzy IBM DS8000, List price: 57,722$
Brak danych dot. wydajności
za drogie jako medium do kopii zapasowych/archiwizacjiNa podstawie:
SSD Market History –
Charting the 30 Year Rise of the Solid State Disk Market
(http://www.storagesearch.com/chartingtheriseofssds.html)
Dysk twardy – uniwersalne medium przyszłości? (1)
Wzrost pojemności dysków twardych w komputerach osobistych.Źródło: Wikipedia: http://en.wikipedia.org/wiki/Hard_disk_drive
+ Dysk 3TBSeagate,
3-4Q2010
Dysk twardy – ograniczenia dysków twardych (1)
Prawo Moore’a – wzrost liczby tranzystorów w procesorach komputerów.Źródło: Wikipedia: http://en.wikipedia.org/wiki/Moore%27s_law
Dyski nie rozwijają się tak szybko jak procesory liczba tranzystorów w podwaja się co 24 miesięce (trend wykładniczy)
Dyski nie rozwijają się tak szybko jak procesory ewolucja napędów „desktopowych” i serwerowych (2001-2007)
Read access time: 12.3-14.4 ms Read access time: 5.5-5.9 ms
Ewolucja napędów "desktopowych" - 7200 obr/min (2001-2007)
0
100
200
300
400
500
600
700
800
900
1000
2001 2002 2003 2004 2005 2006 2007
rok
Max. Transfer rate GB/ platter Capacity [GB]
Ewolucja napędów "serwerowych" - 15 000 obr/min (2002-2007)
0
50
100
150
200
250
300
2002 2003 2004 2005 2006 2007
rok
Max. Transfer rate GB/ platter Capacity [GB]
Dysk twardy – ograniczenia dysków twardych (2)
Dyski są urządzeniami mechanicznymiczyli podlegają prawom fizyki...
Czas dostępu jest ograniczony koniecznością przesuwania głowic Transfer jest ograniczony gęstością zapisu i prędkością obrotową talerzy
Dysk twardy – ograniczenia dysków twardych (3)
Dyski są urządzeniami mechanicznymi:co oznacz, że niestety psują się...
=> Czas życia dysku: 5-10 lat – w zależności od obciążenia MTBF:
Jest często „zawyżany” Typowe wartości:
300 000 h – dyski do stacji roboczych
1 000 000 h – dyski do serwerów i macierzy dyskowych
S.M.A.R.T.: ma ograniczoną skuteczność
Dyski podlegają m.in.: Wibracjom Zmianom temperatury Włączaniu/wyłączaniu
częsta przyczyna awarii
Dysk twardy – ograniczenia dysków twardych (4)
MTBF – fakty a mity: MTBF - Mean Time Between Failures - średni czas między awariami Co mówi MTBF?, np. 300 000 h (34 lata)?
Jest miarą statystyczną określa prawdopodobieństwo awarii dysku w dużej populacji napędów
Nic nie mówi o niezawodności pojedynczego dysku!!!
Np. MTBF=300 000 h mówi, że: w dużej populacji dysków, połowa dysków ulegnie awarii po pierwszych 300 000 h
użytkowania w populacji 100 dysków średnio 2,92 dysku „zepsuje” się w ciągu roku
Jak obliczany jest MTBF? Często jest zawyżany!
Najczęściej na podstawie dysków, które trafiają w trybie serwisowymdo producentów, z których ok. 20-30% po testach określana jest jako „brak błędów” – co nie oznacza, że w praktyce wytrzymałyby obciążenie produkcyjne
Awaryjność w praktyce jest ok. 3-5x większa niż wynikałoby to z kalkulacji opartych na MTBF (patrz prace Google *)
Za: http://storagemojo.com/2007/02/19/googles-disk-failure-experience/
Dysk twardy – ograniczenia dysków twardych (5)
SMART – ograniczenia skuteczności: SMART:
Self-Monitoring, Analysis, and Reporting Technology Monitoruje wiele parametrów dysków twardych, m.in.:
Liczniki błędów: błędy CRC/odczytu/zapisu, błędne sektory, błędy pozycjonowania głowic, itp.
Parametry fizyczne pracy dysku: temperatura, wibracje, stabilność głowic
Praktyczna skuteczność SMART: m.in. prace Google z 2007 *) dot. dużych
populacji dysków twardych pokazały, że: O ile wiele dysków, dla których SMART sygnalizował
problemy (np. tzw. surface scan errors lub bad sectors) uległo awarii w ciągu 60 dni
o tyle wiele dysków, które uległy awarii nie wykazywało żadnych błędów SMART
=> wystąpienie błędu SMART jest ostrzeżeniem=> niewystąpienie błędu SMART nie powinno usypiać
naszej czujności
*) Failure Trends in a Large Disk Drive Population, 5th USENIX Conference on File and Storage, Technologies (FAST’07), February 2007, San Jose, CA, USA
Dysk twardy – ograniczenia dysków twardych (6)
Dysk twardy – ograniczenia - podsumowanie
Wiele dysków Pojemność: zależy od liczby dysków
Wydajność: nie ograniczona wydajnością pojedynczego dysku
Potencjalnie zwiększona niezawodność: redundancja
1 dysk: Pojemność: Do 2TB / dysk
Wydajność: Do 140 MB/sek
Czas życia dysku: 5-10 lat MTBF: XXX godzin S.M.A.R.T.: nie na 100% skuteczny Bad sector’y: na każdym dysku
=>
Just Bunch of Disks (JBoD)
Macierze dyskowecoś więcej niż Just Bunch of Disks (JBoD)
Źródło: IBM
Macierze dyskowe
Wiele dysków (JBoD) Pojemność: nie ograniczona
pojemność pojedynczego dysku Wydajność: skalowalna Potencjalnie zwiększona
niezawodność: redundancja
Kontroler macierzowy
Macierze dyskowe: Pojemność: nie ograniczona
pojemność pojedynczego dysku Wydajność: skalowalna Niezawodność: zwiększona
awarie „maskowane” dziękiwiększej liczbie dysków
redundancja dodatkowe techniki macierzowe:
RAID analiza informacji S.M.A.R.T. aktywna kontrola mediów ‘autorskie’ algorytmy
RAID: ang. Redundant Array of Independent Disks Technika zwiększenia wydajności lub niezawodności
za pomocą kombinacji napędów dyskowych
Macierze dyskowe – techniki macierzowe: RAID (1)
RAID0: ang. Striping Zwiększenie wydajności
(głównie zapisy)
Macierze dyskowe – techniki macierzowe: RAID (2)
RAID1: ang. Mirroring Redundancja danych (tolerowana
jest awaria 1 dysku z pary) Wydajne odczyty Duży koszt vs pojemność
Macierze dyskowe – techniki macierzowe: RAID (3)
RAID5: ang. striping + distributed parity Redundancja danych (tolerowana jest awaria 1 dysku) Wydajne odczyty, akceptowalna wydajność zapisów Optymalny kosztowo (mała nadmiarowość n+1)
Macierze dyskowe – techniki macierzowe: RAID (4)
RAID6: ang. striping + dual distributed parity Jeszcze większa redundancja danych (tolerowana jest awaria 2 dysków) Wydajne odczyty Optymalne kosztowy dla dużej liczby dysków (nadmiarowość n+2)
Macierze dyskowe – techniki macierzowe: RAID (5)
Aktywna kontrola dysków: Wykorzystanie informacji S.M.A.R.T Zbieranie i wizualizacja informacji nt. stanu dysków Ostrzeganie administratorów o przekroczeniu progów (np. liczby błędów) Automatyczne „odłączanie” dysków, dla których wykryto dużo błędów i
odbudowa RAID z użyciem nowego dysku (hot spare) Inne techniki, np.
tzw. ang. scrubbing tj. Próbne wykonywanie zapisów / odczytów na dyskach
w okresach mniejszej aktywności Jakość prognozowania uszkodzeń/stanu dysków zależna jest od:
logiki firmware macierzy – dobre macierze mają często zaawansowane techniki wsparcia tych funkcji przez napędy dyskowe i firmware w nich obecny
Konsolidacja pamięci masowej
Konsolidacja Pamięci Masowej
IBM 1440 IBM 1440 tania jednostka tania jednostka przetwarzania danych przetwarzania danych dla małych przedsiębiorstwdla małych przedsiębiorstw
lata ‘60lata ‘60
Kompter PC zdobywaKompter PC zdobywakażdą przestrzeń w każdą przestrzeń w przedsiębiostwachprzedsiębiostwach
lata ‘80lata ‘80XXI wiekXXI wiek
Data CenterData Center- konsolidacja serwerów konsolidacja serwerów - konsolidacja przestrzeni konsolidacja przestrzeni dyskowejdyskowej
lata ‘90lata ‘90
konsolidacjakonsolidacja klient - serwerklient - serwer
Konsolidacja Pamięci Masowej
• Problem– duża liczba serwerów każdy serwer potrzebuje przestrzeni dyskowej
– najprostsze rozwiązanie: serwer <–> macierz SCSI• ograniczenia
– pojemnościowe– wydajnościowe
• koszty
• Efektywne wykorzystanie zasobów dyskowych, czy taśmowych
– zapewnienie większej wydajności oraz elastyczności
• uproszczenie zarządzania dynamicznie rosnącą ilością danych
– wymierne oszczędności ekonomiczne • zmniejszenie TCO (Total Cost of Ownership)
• Zakup nowoczesnych urządzeń i zaawansowanych technologii możliwy dzięki współdzieleniu urządzeń w ramach heterogenicznych systemów komputerowych
• Konsolidacja dotyczy zarówno przestrzeni dyskowej jak i bibliotek taśmowych
NAS – urządzenia plikowe
LAN/WAN
NAS
NAS – urządzenia plikowe
• Stosujemy do współdzielenie zasobów dyskowych:– przystępna cena– zadowalająca wydajność– technologia trafia do domów – ceny od 500 zł
• Dostęp do zasobów przy użyciu protokołów:– NFS (Network File System) – CIFS (Common Internet File System)– WWW, ftp
• Realizacja na różne sposoby:– zastosowanie zwykłych serwerów, które pełnią rolę serwerów plików korzystając poprzez
SAN ze wspólnych zasobów dyskowych– „filery” z własnymi dyskami,– bramy SAN-NAS korzystające z zewnętrznych macierzy
• NetApp, BlueArc, OnStor, ……
• Dostępne rozwiązania dla wysokowydajnych usług plikowych:• klastry serwerów NFS pNFS• CXFS system plików sprzedawany przez SGI czyli RACKABLE• GPFS system plików sprzedawany przez IBM’a • lustre – wysokowydajny klastrowy system plików
sprawdza się dla dużych bloków (blok 1MB) działająca „proteza” zanim pojawi się pNFS
SAN – kolejny krok po NAS
LAN/WANiSCIS
LUN
SANFC
001001001010010010101001010101010101010101010101010100101011
SAN – kolejny krok po NAS
L A N
S A N
Serwery
S/390HPSun RS/6000 xSeries
SAN
• SAN to dedykowana sieć, której zadaniem jest:– łączyć urządzenia w sieci „każdy z każdym”– urządzenia:
• serwery/stacje robocze• pamięci masowe:
– macierze dyskowe, – biblioteki taśmowe – biblioteki optyczne (na wymarciu)
– zapewnić wydajną transmisję danych pomiędzy urządzeniami pracującymi w sieci:
• Wydajność dzięki:– Zoptymalizowanemu protokołowi (FCP)– Sieci transportowej o małym opóźnieniu
• Pięć razy S:– Servers– SAN Fabric– Storage– Software– Services
L A N
S A N
Serwery
S/390HPSun RS/6000 xSeries
SAN – urządzenia blokowe
• Technologia SAN (Storage Area Network):– odciąża sieci korporacyjne (LAN)– wykorzystuje protokół Fibre Channel Protocol (FCP), – zasoby dyskowe są widziane przez system operacyjny jako „lokalne”,
bez względu na to gdzie się fizycznie znajdują– umożliwia wydajniejszy backup danych (snapshot, LAN-free backup)– umożliwia replikacji danych z macierzy produkcyjnej na macierz zapasową
w centrum zapasowym (mirroring)– wirtualizacja zasobów
• fizyczne napędy dyskowe -> struktury RAID• struktury RAID -> wolumeny• łączenie „resztówek”• ...
• Technologia NAS (Network Attached Storage)– pozwala współdzielić ten sam system plików (wolumen) między wieloma
systemami – klientami UNIX, Windows – protokoły NFS, pNFS, CIFS– dostęp realizowany poprzez tradycyjną sieć LAN/WAN
SAN - infrastruktura
• Macierze dyskowe– modularne
• półka kontrolerów + półki z dyskami: OEM LSI: IBM, SUN, SGI
– monolityczne • duża liczba kontrolerów (procesorów IO), portów,
redundancja połączeń
• Biblioteki taśmowe/magnetooptyczne
• Przełączniki FC / urządzenia typu Director– problemy przy aktualizacji firmware przełączników– problemy z budową „fabric” dla wielu przełączników
• Karty HBA (Host Bus Adapter)
• System nadzoru i zarządzania
SAN – zalety/wady
• Zalety: – Elastyczność: dostęp do zasobów i możliwość dowolnej ich konfiguracji
bez konieczności zmian w fizycznej strukturze urządzeń i okablowaniu
– Separacja zasobów:
• na poziomie macierzy - LUN masking– interfejsy serwerów reprezentowane są w macierzy
poprzez unikalne numery WWN– numerowi WWN przypisany jest wolumen logiczny w macierzy
(utworzony w ramach grupy RAID), co umożliwia współdzielenie portów macierzy przez różne serwery, bez ryzyka przejęcia "cudzych" zasobów
• na poziomie przełączników - podział na strefy (WWN zoning, port zoning)– ograniczenie ruchu pomiędzy wybrane porty przełącznika FC– Funkcjonalność podobna do VLAN w sieciach Ethernet
• na poziomie kart HBA serwera - persistent binding. – definicja zasobów widzianych przez interfejsy HBA serwera
• Wady:– wysoka cena wdrożenia– problemy przy rozbudowie/aktualizacji oprogramowania– dawniej występowały problemy przy wdrożeniach w środowisku
heterogenicznym (np. brak wsparcia dla rzadkich serwerów np. SGI, Cray)
Fibre Channel
• Na początku był HIPPI, łączył superkomputery przy pomocy 50 parowych przewodów na krótką odległość, więc trzeba było to uprościć.
• FC jest protokołem hybrydowym – kanałowo-sieciowym– Kanałowym:
ponieważ potrafi zestawić kanały z zamkniętym i przewidywalnym mechanizmem transmisji pomiędzy ograniczoną liczbą urządzeń. Raz ustanowiony kanał potrzebuje bardzo niewielkiego nakładu pracy na obsługę transferów, co skutkuje ich wysoką efektywnością. Protokoły kanałowe są z tego powodu bardzo chętnie wykorzystywane do łączenia macierzy dyskowych, napędów taśmowych z serwerami.
– Sieciowymponieważ potrafi obsłużyć bardziej skomplikowane struktury połączeń urządzeń, ustalać trasy pomiędzy nimi, a więc podejmować większą liczbę decyzji. W sieciach duża część tych decyzji jest wykonywana programowo co spowalnia ich pracę. W Fibre Channel ilość decyzji jest ograniczona i realizowana w dużej mierze na poziomie sprzętowym
• Fizyczny transport odbywa się poprzez – łącza światłowodowe – miedziane
• Typy połączeń:– Pętla arbitrażowa (arbitrated loop) – sieć szeregowa z przełącznikami
w różnych topologiach mesh, core-edge oraz mieszanych.
• Możliwość łączenia urządzeń oddalonych o ponad 100 kilometrów (w trybie synchronicznym)
FC-Arbitrated Loop
FC-Switched Fabric
FC a inne protokoły
iSCSI
• Protokół przesyłania danych w sieci IP w oparciu o protokół SCSI:– wykorzystuje transportowanie standardowych komend SCSI – przenosi je za pomocą protokołu TCP/IP (zazwyczaj po sieci Ethernet)
• Zalety:– Łatwość implementacji:
• używamy NIC a nie HBA• interfejs SCSI służy do wymiany danych, bez ograniczenia na odległość od macierzy• protokół iSCSI kapsułkuje i transferuje polecenia zapisu odczytu danych• protokół iSCSI komunikuje się bezpośrednio z protokołem SCSI obsługiwanych przez system
operacyjny
– niskie koszty rozbudowy (sterowniki bezpłatne)• Linux-iSCSI Project• tgtadm - Linux SCSI Target Administration Utility
• Wady:– zbyt wolne dla niektórych rozwiązań (zalecane używanie Jumbo Frames)– znaczne obciążenie CPU klientów
Podsumowanie (1)• Dysk twardy:
– Ciągły rozwój technologii:• Rosnąca pojemność (4.4 MB / 1956 -> 3 TB / 2010)• Postępy dot. wydajności (nie tak szybkie jak CPU, ale są...)• Pojawia się „wszędzie” – serwery, laptopy, telewizory..., samochody
– Ale ... ograniczenia:• Wydajność (200MB/s), pojemność (3 TB), niezawodność (MTBF itp.)
• Macierze dyskowe:– Pokonują ograniczenia pojedynczych dysków twardych:
• Wydajność: akomodacja wydajności poszczególnych dysków• Niezawodność: maskowanie błędów/awarii• Skalowalność: wydajność, pojemność
• Sieci SAN/NAS:– Dalsza konsolidacja zasobów pozwala na:
• Elastyczność zarządzania• Dalsze skalowanie wydajności i pojemności zasobów (poza ograniczenia macierzy)
Podsumowanie (2)• Nowoczesne systemy dyskowe i sieci pamięci masowych:
– Zalety: • Stosowane w dużej skali pozwalają na zbudowanie, wydajnego, pojemnego i
niezawodnego systemu przechowywania danych• Efekt skali pozwala na:
– relatywne zmniejszenie jednostkowych kosztów przechowywania,– optymalną realizację technik takich jak:
» replikacja danych,» maskowanie błędów, itp..» wydajność operacji
– efektywne kosztowo oferowanie usług:» kopii zapasowych » archiwizacji
– Trudności:• Wymagają know-how i doświadczenia• Wymagają sporych nakładów inwestycyjnych i na utrzymanie
– Wniosek:• Warto korzystać z dużych systemów, w których „ktoś”
bierze na siebie w/w trudności• Użytkownik korzysta z „wysokiej jakości” przestrzeni przechowywania
za rozsądne pieniądze (lub za darmo )
Pytania ?
Dziękujemy za uwagęDziękujemy za uwagę
http://royal.pingdom.com