Mirosław T.Mamczur Rafał T.ŚliwińskiKonsultant Data Center Konsultant Data CenterIBM Polska IBM CEE

Projektowanie i budowa Data Center

– case study

Plan prezentacji

• Dlaczego taki temat?

• Niezbędne definicje / Cykl realizacji Data Center wg IBM

• Wymagania / Oczekiwania - Potrzeby – Możliwości Klienta

• Planowanie/ Lokalizacja i koncepcja / Dobór rozwiązań / Konfrontacja z rzeczywistością

• Projektowanie / Dobór projektantów / Decyzje administracyjne

• Projektowanie/ Projekty wykonawcze / Koordynacja międzybranżowa

• Budowa / Dobór partnerów / Dobór terminów

• Budowa / Instalacje systemów infrastruktury technicznej / Jak nad tym zapanować / Porządki

• Testy / koordynuj, sprawdzaj i testuj

• Odbiory / Otwieramy ! Czy zamykamy?

• Podsumowanie / “Jeszcze się taki nie urodził ...”

Dlaczego taki temat?

• Temat jest rozwinięciem prezentacji z poprzedniego IT Forum, która dotyczyła roli projektu koncepcyjnego w cyklu projektowania DC.

• Temat projektowania i budowy data center staje się coraz bardziej istotny w związku z powszechną tendencją prowadzenia optymalizacji rozwiązań na każdym etapie planowania i realizacji data center.

• W IBM funkcjonuje zasada przewadzania tzw. Lessons Learnt (czyli wniosków) po zakończeniu projektu. Analiza wniosków z różnych projektów jest ciekawą lekturą.

• Chęć podzielenia się autorów prezentacji własnymi doświadczeniami

• Chociaż jest to “case study” - nie wymieniamy konkretnego przypadku/-ów, nie wymieniamy Klienta/-ów, nie podajemy budżetu/-ów

Niezbędne definicje

O czym mówimy – używając pojęcia “Data Center”

Data Center (serwerownia, IT room, itp.) jest

obiektem w którym świadczone są usługi

przetwarzania danych w sposób ciągły i niezawodny.

Data Center posiada następujące funkcjonalności:

� Fizycznie zabezpiecza urządzenia IT i dane przed kradzieżą, zniszczeniem, pożarem wewnętrznym i zewnętrznym, skutkami pożaru na zewnątrz DC, itp.,

� Dostarcza zasilanie niezbędne do pracy tych urządzeń,

� Zapewnia właściwe warunki środowiskowe (temperaturę, wilgotność) niezbędne do poprawnej pracy tych urządzeń oraz do przechowywania danych

� Zapewnia łączność z innymi urządzeniami wewnątrz i na zewnątrz DC.

Cykl realizacji Data Center wg IBM

Funkcjonalność i skala DC,Wybór lokalizacji

Zawarcie umowy na projekty techniczne

Zawarcie umowy na prace budowlane

Gotowość obiektu do instalacji sprzętu IT

Potwierdzenie zgodności obiektu z wymaganiami

Wizja przyszłego

obiektu DC

WymaganiaProjektowani

eBudowa Testy i odbiórPlanowanie

Opracowanie koncepcji (specyfikacji DC)

� Najlepsze praktyki

� TIA-942

� Uptime Institute, ASRAE, publikacje

� Doświadczenie wykonawcy

Określenie preferencji użytkownika

� Preferencje

� Ograniczenia

Wykonanie projektu koncepcyjnego

� Docelowa koncepcja obiektu i infrastruktury

� Analiza SPoF

� Modelowanie CFD systemu chłodzenia

� Wstępny kosztorys

Prace projektowe dla obiektu technicznego

� Projekt budowlany

� Projekt wykonawczy

Projekty

� Architektura / konstrukcja

� Projekty branżowe infrastruktury technicznej

� Systemy ppoż. i bezpieczeństwa,

� System monitoringu

� Kosztorysy wykonawcze

Wymagane uzgodnienia (ppoż., ochrona środowiska, itp..)

Pozwolenie na budowę

Prace budowlane

� Skorupa obiektu

� Wyposażenie

� Obiekty towarzyszące,

� Zagospodarowanie terenu

Zamówienia wyposażenia

� Elektryka

� Klimatyzacja i wentylacja,

� Systemy niskoprądowe

� BMS

Testy komponentów i systemów

� Klimatyzacja i wentylacja

� Elektryka

� Niskie prądy

� BMS

Testy funkcjonalne

� Wybrane branże

� Zgodność z wymaganiami i założeniami projektu

Testy akceptacyjne

� Wszystkie branże

� Zgodność z kontraktem

� Start okresu gwarancyjnego

Koncepcja przyszłego obiektu DC

Pozwolenia i projekt wykonawczy DC

Potrzeby/funkcjonalność

� Wymagania biznesowe (aplikacje, systemy, strategia rozwoju)

� Bezpieczeństwo przetwarzania,

� Bezpieczeństwo fizyczne,

� Regulacje prawne.

Skala / Wymaganie parametry DC

� Krytyczność

� Pojemność DC

� Plany rozwojowe

Ocena i wybór lokalizacji

� Kryteria wyboru

� Ocena zagrożeń

� Analiza ryzyka

Studium wykonalności

Gotowy obiekt DC

Zgłoszenie obiektu do odbioru

Wymagania

• Zapytanie od Klienta (ogólne lub adresowane)

• Oczekiwania Klienta – wysokie w każdym aspekcie

• Często - zaufanie do IBM, że temat zostanie zrealizowany profesjonalnie

• Zasada stosowania wartości IBM

Czynniki decydujące o wyborach klientów w obszarze DC

Zapotrzebowanie na IT Presja kosztowa Potrzeba elastyczności

Oczekiwania - Potrzeby – Możliwości Klienta

• Wymagania/oczekiwania w zakresie parametrów DC – wysokie, często odwołują się do ogólnie krążących na rynku zapisów wymagań (niekoniecznie poprawnych lub istotnych)

• Data Center jest obiektem technologicznym - wymagania dla jego funkcjonalności i skali muszą wyjść z działu informatyki Klienta, niemniej jednak opanowanie technologii i wiedzy koniecznej do prawidłowego działania infrastruktury wspierającej pracę urządzeń komputerowych nie stanowi głównego obszaru działania działu informatyki

• Dobrze jest - jeśli podstawą do wytycznych od działu informatyki jest strategia biznesowa Klienta

• Należy skonfrontować wymagania stawiane przez Klienta wewnątrz jego organizacji (sprzeczne informacje od różnych grup interesów)

• Należy skonfrontować wymagania Klienta z jego rzeczywistymi potrzebami

• Należy skonfrontować potrzeby Klienta z jego planowanym budżetem

Oczekiwania - Potrzeby – Możliwości Klienta

Realizacja Data Center nie dotyczy tego co Klient wymaga a nawet potrzebuje ale tego za co jest gotowy zapłacić Wymagania

Klienta

Wymagania vs.

rzeczywiste

potrzeby Klienta

Koncepcja na bazie

potrzeb + szacowane

koszty

Weryfikacja

kosztów vs.

możliwy budżet

Cykl opracowania rozwiązania Data Center

Wymagane nakłady inwestycyjne na infrastrukturę Data Center są bardzo znaczące. Dlatego już na wstępie należy odpowiedzieć na poniższe pytania:

� Ile realnie potrzeba środków na budowę data center wg wymagań / potrzeb Klienta?

� Czy Klient posiada wystarczające środki ? Jaki jest możliwy budżet dla data center?

� Wymagana redundancja infrastruktury? Czy rzeczywiście jest uzasadniona?

� Jaki poziom kosztów operacyjnych, umowy serwisowe?

� Możliwe przyszłe modyfikacje, zmiany w zapotrzebowaniu mocy zasilania i chłodzenia, itp.?

Planowanie / Lokalizacja i koncepcja

Kryteria wyboru rozwiązania Data Center mają decydujący wpływ na budżet

� Lokalizacja

� Kryteria podstawowe (ich znaczenie jest niepodważalne, ale wartości są dyskutowane)

– Fizyczna przestrzeń serwerowni

– Zasilanie

– Chłodzenie

– Łącza telekomunikacyjne

� Kryteria drugorzędne (całkowicie zależne od Klienta i zakresu projektu)

– Pomieszczenia DC - centrum nadzoru, pomieszczenia backupu, magazyny, itp.,

– Sposób zabudowy - ściany, drzwi, biura, rampa wyładowcza, itp.,

– Elementy wyposażenia - kamery nadzoru wizyjnego, czytniki kart systemu kontroli dostępu, systemy alarmowe, szafy komputerowe, oświetlenie, itp.

– Dodatkowe wyposażenie: wózki widłowe, podnośniki paletowe do transportu urządzeń,

– Inne

Budżet = Lokalizacja + Kryteria podstawowe + Kryteria dodatkowe

Planowanie / Lokalizacja i koncepcja

Optymalizacja w procesie planowania (koncepcji) i projektowania DC –polega głównie na redukcji kosztów TCO (Total Cost of Ownership) poprzez zbilansowanie kosztów inwestycyjnych CAPEX (Capital Expenditures) i operacyjnych OPEX (Operating Expenditures) przy jednoczesnym zabezpieczeniu niezbędnego poziomu IT odpowiadającego poziomowi rozwoju biznesu w perspektywie co najmniej kilku-kilkunastu lat.

Optymalizacja podczas projektowania DC obejmuje:

– Racjonalizację DC

– Skalowalność obiektu

– Modularność obiektu

– Uzyskanie niezbędnej niezawodności obiektu

– Uzyskanie jak najlepszej efektywności energetycznej obiektu (a właściwie wyważenie propocji pomiędzy niezbędną niezawodnością DC a możliwą do uzyskania efektywnością energetyczną)

– Konsolidację (serwerowni i sprzętu) oraz wirtualizację urządzeń IT

Już na etapie koncepcji DC powinno się uwzględniać nakłady inwestycyjne i koszty operacyjne

Nakłady inwestycyjne

60% to zasilanie i chłodzenie

Budynek

7%

Chłodzenie

20%

Usługi

24%

Wyposażenie

9%

Monitoring i

bezpieczeństwo

4%

Zasilanie

36%

Source: IBM Estimates

Koszty operacyjne

3- 5x nakłady inwestycyjne

Cum

ulat

ive

Cos

t of O

pera

tions

($M

illio

ns)

Year

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Energy Cost

Staffing

Bldg. Maint. & Mgmt.

R E Tax

$100

$150

$200

$250

$50

0

Cum

ulat

ive

Cos

t of O

pera

tions

($M

illio

ns)

Year

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Energy Cost

Staffing

Bldg. Maint. & Mgmt.

R E Tax

Energy Cost

Staffing

Bldg. Maint. & Mgmt.

R E Tax

$100

$150

$200

$250

$50

0

Planowanie / Dobór rozwiązań

Technology #1 Technology #2 Technology #3

2

1.5

1

.5

0

Year

1 2 3 4 5 6 7 8 9 10

2.5

$3

$ M

illio

ns

Technology 1, Vendor A$2

1.5

1

.5

$ M

illio

ns

Technology 1, Vendor C

Technology 3, Vendor G

Analiza kosztów inwestycyjnych 5.krotna różnica kosztów technologii

Analiza kosztów operacyjnych2.5. krotna różnica kosztów dostawców

0

Zmniejszenie całkowitych kosztów o 15-30% w cyklu życia DCPoprawa w doborze dostawców i kompromisowych technologii

Konfrontacja z rzeczywistością

• Idealistyczne podejście natrafia na rzeczywistość

• Najczęściej spotykane podejście Klientów

• Wybrana/posiadana przez Klienta lokalizacja, która nie spełnia podstawowych parametrów

• Przekonanie Klienta do konkretnych rozwiązań

Konieczne jest ustalenie osób decyzyjnych po stronie Klienta

• Konieczne jest rozpoznanie grup i osób pozamerytorycznego nacisku

Projektowanie / dobór projektantów / decyzje administracyjne

• Dobór projektantów wg kompetencji/uprawnień i posiadanych doświadczeń

• Dobór projektantów z zachowaniem zasady “ograniczonego zaufania”

• Zarezerowanie w harmonogramie projektowania (o ile to możliwe)zapasu czasowego na ewentualną wymianę projektantów (branżowych)

• Zarezerwowanie w harmonogramie czasu na decyzje administracyjne (pozwolenie na budowę) lub wyłączenie tego czasu ze zobowiązań umownych

• Ważne jest przygotowanie listy niezbędnych dokumentów – załączników do projektu budowlanego (check lista pomocna przy kompletowaniu wniosku o pozwolenie na budowę)

• Dobre rozpoznanie działania lokalnych instytucji (np. zwyczajowy a nie formalny termin podejmowania decyzji) – wykorzystanie relacji projektantów

Projektowanie / Projekty wykonawcze /Koordynacja międzybranżowa

• Zarezerowanie w harmonogramie projektowania czasu na spotkania projektowe koordynacyjne

• Prowadzenie spotkań projektowych koordynacyjnych

• Oczekiwana jest precyzja branżystów w trakcie uzgodnień międzybranżowych

• Oczekiwane jest prowadzenie konsultacji z producentami wybranych rozwiązań (istotnych urządzeń)

Budowa / Dobór partnerów

• Naistotniejszy na tym etapie jest dobór partnera w zakresie branży budowlanej

• Wskazana jest współpraca z partnerem posiadającym lokalne umocowanie, lokalne relacje (w urzędach, w zakładzie energetycznym)

• W dużej mierze dobór pozostałych partnerów odbywa się na etapie planowania, gdy zapadają decyzje w sprawie rozwiązań branżowych dla DC

• Ważne jest zweryfikowanie kompetencji i doświadczenia partnerów z realizacji podobnych wdrożeń

Budowa / Dobór terminów

• Dopasowanie terminu rozpoczęcia budowy do typowego cyklu budowlanego – ważna jest możliwość zamknięcia stanu surowego przed zimą

• Dobór terminów dostaw urządzeń infrastruktury - jaki jest proces produkcyjny dostawców, jaki jest proces testów odbiorczych producenta, jakie są realne terminy dostaw, kiedy jest zamknięcie roku fiskalnego dostawcy

Budowa / Instalacje systemów infrastruktury technicznej

• Dopracowanie skoordynowanego harmonogramu prac instalatorskich

• Terminy powinny zawierać ok.10% rezerwę (zakładkę) czasową

• Konsekwentne przestrzeganie harmonogramu prac instalacyjnych

• Weryfikowanie parametrów urządzeń infrastruktury technicznej (czy dostarczono dokładnie to co zostało zamówione)

• Weryfikowanie dokładności prowadzenia instalacji (porównanie uzgodnień międzybranżowych z rzeczywistością)

Budowa / Jak nad tym zapanować

• Współpraca z kierownikami ekip branżowych

• Obserwowanie zachowania pracowników ekip branżowych

• Organizowanie spotkań koordynacyjnych na budowie

• Rozliczanie z poprzednich zadań/terminów i uzgadnianie następnych

• Konsekwencja w egzekwowaniu zadań i terminów (harmonogram – rzecz „święta”)

• Nie pozostawianie spraw bez rozstrzygnięcia

• Ślad po uzgodnieniach (pismo, notatka z podpisami, email z potwierdzeniem odbioru)

• Nie dopuszczanie do eskalacji konfliktów pomiędzy branżami (konflikty będą zawsze)

Budowa / Porządki

• Utrzymanie tzw. „kultury biurowej” - musi być ślad o każdym dokumencie – gdzie aktualnie się znajduje, u kogo i do kiedy

• Utrzymanie porządku z kluczami – spis kluczy, oznakowanie kluczy, lista osób upoważnionych do pobierania kluczy, rozliczanie każdego klucza, zasada stałego posiadania 1 egz. każdego klucza

• Sprzątanie obiektu – wymóg sprzątania po przeprowadzonych pracach branżowych – każda branża po sobie.

• Zatrudnianie wyspecjalizowanej firmy sprzątającej do przeprowadzania porządków w przestrzeniach ogólnych (kilkakrotnie w ciągu okresu budowy i prac instalacyjnych)

Testy / koordynuj, sprawdzaj i testuj

Test „świadka” (Witness test) dla najważniejszych urządzeń kluczowych systemów

� UPS-y, STS-y, agregaty prądotwórcze, chillery, szafy klimatyzacyjne

Testy komponentów i systemów

� Klimatyzacja i wentylacja

� Elektryka

� Systemy niskoprądowe (security i ppoż.)

� BMS

Testy funkcjonalne

� Wybrane branże

� Zgodność z wymaganiami i założeniami projektu

Testy integracyjne

� Wszystkie branże razem

� Zgodność z kontraktem

� Start okresu gwarancyjnegoPodczas 'Witness Test' agregatów prądotwórczych

Testy / koordynuj, sprawdzaj i testuj

• Oszacowanie czasu na przeprowadzenie wszystkich typów testów

• Oszacowanie budżetu na testy

• Sprawdzenie zgodności parametrów testowanych urządzeń z deklarowanymi

• Wyjaśnienie z producentami metod przeprowadzania testów

• Przygotowanie odpowiednio wcześnie scenariuszy testów fukcjonalnych

• Koordynowanie kolejności i czasu przeprowadzania testów funkcjonalnych

• Przygotowanie odpowiednio wcześnie scenariuszy testów integracyjnych w porozumieniu z przedstawicielami dostawców kluczowych urządzeń

• Koordynowanie testów integracyjnych

• Unikanie łączenia testów integracyjnych z odbiorami

Odbiory / Otwieramy !

• Odpowiednio wczesne przygotowanie “check list” do złożenia wniosków (do Nadzoru Budowlanego) i zgłoszeń (do PSP, Sanepid, UDT)

• Terminowe złożenie:

- wniosku o uzyskanie pozwolenia na użytkowanie

- zgłoszeń do Państwowej Straży Pożarnej I do Sanepidu

- zgłoszeń do Urzędu Dozoru Technicznego w sprawie uzyskaniadecyzji zezwalającej na eksploatację urządzeń technicznych ,podlegających rejestracji i kontroli

Odbiory / Czy zamykamy?

• A co wtedy, jeśli po procesie realizacji Klient zmienia swoje plany, inaczej widzi swoje potrzeby, pozostawia obiekt bez sprzętu IT ?

• Czym to może skutkować? W jakiej sytuacji?

Podsumowanie� Etap Wymagań

– Czy mówimy o tym samym?

– Dopasowanie do budżetu Klienta

� Etap Planowania

– Dobór rozwiązań

– Rozsądny harmonogram

� Etap Projektowania

– Dobór projektantów

– Koordynacja międzybranżowa

� Etap Budowy

– Dobór partnerów

– Koordynowanie prac

– Porządki

� Etap Testów i odbiorów

– Plan testów

– Rezerwa czasowa na testy

– 'Check listy' do odbiorów

Potwierdzenie zgodności obiektu z wymaganiami

Wizja przyszłego

obiektu DC

WymaganiaProjektow

anieBudowa

Testy i odbiór

Planowanie

Koncepcja przyszłego obiektu DC

Pozwolenia i projekt

wykonawczy DC

Gotowy obiekt DC

“Jeszcze się taki nie urodził ...”

• Czasami zdarza się, że nie wszyscy beneficjencji ze strony Klienta będą na 100% usatysfakcjonowani – nawet przy założeniu, że projekt powiódł się w zgodzie z zapisami umowy (parametry, termin, budżet)

• Zdarzają się oczekiwania rodzące się poza umową, nagłe decyzje zmian w doborze technologii IT, dla których trzeba zmieniać projekty wykonawcze DC (zmiana harmonogramu prac, budżetu), istotna zmiana polityki Klienta itp.

• Osiągnięcie satysfakcji po stronie Klienta nie zawsze gwarantuje sukces zespołu realizacyjnego we własnej organizacji

• Idealna sytuacja – realizacja w pełni wszystkich zapisów umowy, w terminie i w określonym budżecie, ściśle trzymając się określonego trybu przeprowadzania zmian