1 Wstęp do budowy serwerowni

2 SERWEROWNIE - agenda Historia CAMCO Cel budowania serwerowni.Aspekty prawne i dokumentacja. Rodzaje serwerowni. Audyt zasobów i zdefiniowanie potrzeb inwestora. Modułowość rozwiązań. Zagrożenia i ich metody eliminacji. Poziomy dostępności serwerowni. Infrastruktura techniczna serwerowni.

3 CAMCO - historia 1987 – Dariusz Kubów wraz z trzema przyjaciółmi zakłada firmę CAMCO 1996 – kilkuletnia przygoda z Liebert Emerson 1998 – pierwsze modułowe zasilacze UPS na Polskim rynku, PK Electronics 2004 – początek współpracy ze światowym liderem w produkcji zasilaczy UPS – Gamatronic 2008 – wdrożenie systemów ISO9001, ISO14001 oraz AQAP 2008 – pierwsze serwerownie zbudowane przez CAMCO 2009 – kancelaria tajna 2010 – wyłączny dystrybutor Gamatronic

4 CAMCO – tworzą ludzie i zasobyKadra – ponad połowa osób zatrudnionych w CAMCO to absolwenci najlepszych wyższych uczelni technicznych Serwis i Obsługa klienta : Magazyn Główny w Warszawie Flota samochodowa Transport Serwis z wieloma oddziałami w Polsce Internet – elektroniczne książki gwarancyjne oraz systemy ewidencji i nadzoru nad urządzeniami

5 CAMCO - rozwiązania Ponad 300 instalacji zasilaczy o mocy 10 kVA i ponad 100 agregatów rocznie 15 sieciowych umów serwisowych „hot line (24/7/36)” Zaprojektowanie i wykonanie infrastruktury dla 4 serwerowni Projekty i audyty dużych przedsięwzięć z dziedziny zasilania awaryjnego i infrastruktury związanej z serwerowniami

6 CAMCO – Nietypowe rozwiązaniaKontenerowe i modułowe serwerownie oraz stacje zasilania Mobilne rozwiązania zasilające (MAZ) Zasilanie urządzeń medycznych - zasilacze separowane IT Modyfikacje zasilaczy UPS na potrzeby klientów

7 Miejsce na serwerownięBudowa nowego budynku serwerowni Pomieszczenie w istniejącym budynku przeznaczone pod przyszłą serwerownię Najlepsze rozwiązanie, bowiem serwerownię budowana jest od podstaw tak jak sobie zażyczymy. Nie ma ograniczeń związanych z jej wielkością, wytrzymałością stropów oraz pomieszczeń technicznych dla urządzeń typu agregaty prądotwórcze, zasilacze UPS, systemy klimatyzacji itd. Z różnych przyczyn inwestor nie może pozwolić sobie na wybudowanie nowego obiektu. Wówczas wybiera jedno lub kilka sąsiadujących ze sobą pomieszczeń w istniejącym budynku i tam właśnie tworzy pomieszczenie dla urządzeń serwerowych. Rozwiązanie najczęściej spotykane, które przysparza zarówno inwestorowi jak i wykonawcy najwięcej problemów. Pierwszy i najważniejszy problem to prace, które odbywają się w „żywym” budynku, w którym wszyscy pracują. Drugi problem, to z reguły ograniczona powierzchnia. Rozwiązanie kontenerowe, stosowane tam gdzie nie ma możliwości wybudowania nowego obiektu a w istniejącym brak jest wolnej przestrzeni. Wówczas całą serwerownię można umieścić w jednym lub kilku kontenerach i postawić przed budynkiem (o ile oczywiście inwestor dysponuje wolnym terenem) Brak miejsca na serwerownię - rozwiązanie kontenerowe

8 Rozwiązanie konteneroweMiejsce na serwerownię Nowy budynek Istniejący budynek Rozwiązanie kontenerowe Badania geotechniczne gruntu Inwentaryzacja budynku Analiza podkładów geodezyjnych Infrastruktura techniczna (zasilanie, przyłącza telekomunikacyjne, itp..) Zagrożenia (zalanie wodą, pożar, włamanie itp.) Projekt koncepcyjny Wszczęcie procedur administracyjnych związanych z uzyskaniem decyzji o Warunkach Zabudowy i Zagospodarowania Terenu Projekt budowlany i procedury związane z uzyskaniem decyzji o pozwoleniu na budowę Uproszczone procedury (np. zgłoszenie) Projekty wykonawcze Nowy budynek – wybór miejsca z reguły jest bezpośrednio związany z bliskością do siedziby inwestora. Niezbędne jednak jest wykonanie badania geotechnicznego gruntu. W przypadku istniejącego budynku, część w której będzie przyszła serwerownia powinna zostać dokładnie zinwentaryzowana tak aby określić zagrożenia, które mogą wystąpić. Z uwagi na ciężar szaf rackowych z serwerami, baterii UPS należy dokonać właściwego określenia nośności stropu, tak aby uniknąć ewentualnej katastrofy budowlanej. W obu przypadkach należy sprawdzić dostępność do mediów tj, zasilanie (najlepiej 2-stronne, przyłącza telekomunikacyjne również zdublowane) itd. Zagrożenia: część zagrożeń w obu przypadkach będzie podobna, chociażby groźba zalania serwerowni w skutek opadu deszczu, powodzi itd. W istniejącym budynku dochodzi również groźba zalania z istniejącej instalacji wod-kan lub c.o. Zagrożeniami mogą być również ruchy tektoniczne, czyli wstrząsy powodowane choćby przez przejeżdżające w pobliżu pociągi, tramwaje czy metro. Nie należy bagatelizować również sąsiedztwa pomieszczenia serwerowni, w Państwa przypadku może to być trudne, jednak możliwość włamania należałoby brać również pod uwagę i odpowiednio zabezpieczyć to pomieszczenie. M.in. W tym celu likwiduje się wszystkie okna w pomieszczeniu. W przypadku budowy nowego obiektu wraz z projektem koncepcyjnym należy rozpocząć procedury administracyjne, chociażby związane z zapoznaniem się z planem zagospodarowania terenu w przyszłości i możliwością wybudowania tam nowego budynku. Wykonanie odpowiednich pomiarów, projektów i złożenia kompletu dokumentów do właściwych instytucji, wszystko w oparciu o istniejące przepisy budowlane i środowiskowe. Bez względu na to czy jest to nowy budynek czy istniejący należy przygotować projekt budowlany i uzyskać decyzję o pozwoleniu na budowę. W trakcie trwania budowy należy wszelkie zmiany wprowadzać na bieżąco do projektu W przypadku postawienia kontenera, procedura związana z uzyskaniem decyzji o Warunkach Zabudowy i Zagospodarowania Terenu powinna być bardziej prosta. Chociaż wszystko zależy od urzędnika 

9 UŚWIADOMIENIE CELU DETERMINUJE WYBÓRZdefiniowanie potrzeb inwestora UŚWIADOMIENIE CELU DETERMINUJE WYBÓR ROZWIĄZAŃ OCENA ZAGROŻEŃ ŹRÓDŁA FINANSOWANIA I BUDŻET Usługa polegająca na całkowitym oddaniu zarządzania firmie posiadającej serwerownie Oddanie części zarządzania zasobami IT firmie posiadającej serwerownie Umiesczeczenie sprzętu klienta w naszej serwerowni

10 Aspekty prawne i dokumentacjaPodstawą prawną do budowy serwerowni są rozporządzenia ministerstw Projekt budowlany zgodny z Prawem Budowlanym oraz aktualnymi ustawami i rozporządzeniami Uzgodnienia Projektu Budowlanego Rzeczoznawca ds. przeciwpożarowych Rzeczoznawca ds. BHP Sanepid Uzyskanie uzgodnień dokumentacji projektowej w ZUD (Zakład Uzgadniania Dokumentacji Projektowej) Operat ochrony środowiska uzgodniony w Wydziale Ochrony Środowiska Badania hydrogeologiczne np. w przypadku instalacji podziemnych zbiorników paliwa do agregatów Brakuje chyba uzgodnień z Zakładami Energetycznymi ? Brakuje też ewentualnych uzgodnień z konserwatorem zabytków?

11 Przeciętna długość życia serwerowni toProjektowanie serwerowni – potrzeby własne Określenie potrzeb podstawowych: Ilość sprzętu sieciowego jaki musimy umieścić w serwerowni (acces point, sprzęt IT, switche, routery, huby i inne Ilość szaf dystrybucyjnych Przeciętna długość życia serwerowni to 10-15 lat Sprzęt IT w serwerowni w okresie jej eksploatacji jest średnio wymieniany 4 krotnie. Serwerownia to organizm żywy

12 Serwerownie – konsekwencje potrzebPotrzebna przestrzeń fizyczna Zapotrzebowanie na rzeczywistą moc elektryczną oraz chłodniczą Zapotrzebowanie na system ochrony p.poż. Może to determinować rodzaj wariantu (budowa nowej, adaptacja pomieszczeń, wersja kontenerowa)

13 Projektowanie serwerowni – ograniczenia a potrzeby specyficzneBudżet Ograniczenia architektoniczne Ograniczenia dostępu do usług zewnętrznych (światłowody, energetyka, operatorzy telekomunikacyjni ) Zagrożenia zewnętrzne Ograniczenia czasowe (ilość czasu potrzebnego na uruchomienie projektu) Szybkość + wysoka jakość = wysoka cena Szybkość + niska cena = niska jakość Najczęściej

14 Projektowanie serwerowni – zdefiniowanie ryzyka i zagrożeńKategorie zagrożeń Metody zapobiegania Błędy ludzkie Szkolenia, opracowanie i ścisłe przestrzeganie procedur Awarie sprzętu i zasilania Systemy redundantne: zasilania, klimatyzacji oraz przyłączy telekomunikacyjnych Błędy softwaru, cyber przestępstwa Systemy backup, fierewall, oprogramowanie antywirusowe Awarie w strukturach niezależnych a mających wpływ na bezpieczeństwo Stosowanie redundantnych rozwiązań i tworzenie zapasowych centrów, a także planów awaryjnych Zagrożenia fizyczne Systemy monitoringu, ochrony elektromagnetycznej, ochrony bezpośredniej, systemy monitorowania środowiska (detekcja wody, ognia oraz innych zagrożeń), kontrola dostępu

15 Ograniczenie zagrożeń na etapie projektuL.p. Pytanie Tak Nie 1 Czy zaprojektowane elementy są produkowane seryjnie? ⱱ 2 Czy zaprojektowano redundancje i nadmiarowość zaprojektowanych rozwiązań? 3 Czy awarie można usunąć w czasie krótszym niż 1h? 4 Czy zaprojektowano integracje elementów? 5 Czy uproszczono złożoność elementów? 6 Czy przewidziano zmiany procedur w przypadku rozbudowy? (tzw. zdolność adaptacyjna)

16 Serwerownie - od koncepcji do eksploatacjil.p. Czynność Czas w miesiącach 1 Zebranie założeń 1-2 2 Projekt wielobranżowy 3-4 3 Uzyskanie niezbędnych pozwoleń 4 Realizacja 7-8 5 Zakup serwerów i sprzętu IT 2-3 6 Testy i wdrożenia 7 Wprowadzenie do eksploatacji Razem: ok. 19 mies.

17 Koszt eksploatacji serwerowni

18 SERWEROWNIE DUŻE – POWYŻEJ 2000 M2Serwerownie – wielkość SERWEROWNIE MAŁE – DO 300 M2 SERWEROWNIE ŚREDNIE – OD 300 M2– 2000 M2 SERWEROWNIE DUŻE – POWYŻEJ 2000 M2

19 Wielkość serwerowni – serwerownie małeSerwerownia mała < 300 m2: 1) Nie projektuje się zwykle nowych obiektów budowlanych 2) Konieczne wygospodarowanie miejsca w istniejącym obiekcie 3) Alternatywa: mini Data Center lub rozwiązania modułowe (zamknięte z korytarzem np. gorącego powietrza) 4) Rozwiązania kontenerowe WADY: ograniczenia wynikające z architektury i istniejących rozwiązań technicznych obiektu często brak możliwości rozbudowy w przyszłości ograniczenia wynikające z dostępnej infrastruktury zewnętrznej (przyłącza energetyczne, dostępowość, światłowody itp.) kompromis przestrzenny (coś kosztem czegoś) ZALETY: zwykle uproszczone procedury administracyjne krótszy czas realizacji inwestycji zwykle mniejsze koszty

20 Wielkość serwerowni – serwerownie średnieSerwerownie średnie (powyżej 300 m2 do 2000m2) Wymagają poświęcenia istniejącej powierzchni oraz infrastruktury i projektów Można też postawić obiekt kontenerowy ZALETY: ograniczenie procedur administracyjnych możliwość adaptacji istniejącej przestrzeni możliwość zaprojektowania dokładnie na miarę swoich potrzeb możliwość ograniczenia ryzyk zewnętrznych WADY : ograniczenie powierzchni własnej ograniczona rozbudowa realizacja zakłóca normalne funkcje obiektu

21 Wielkość serwerowni – serwerownie dużeSerwerownie średnie duże (powyżej 2000 m2): Takiej wielkości serwerownie wymagają zwykle postawienia nowego obiektu budowlanego Można też postawić obiekt kontenerowy ZALETY: możliwość wybrania najlepiej nadającej się lokalizacji działki i usytuowania obiektu możliwość zaprojektowania dokładnie na miarę swoich potrzeb możliwość ograniczenia ryzyk zewnętrznych możliwość zastosowania najnowocześniejszych rozwiązań WADY : wysokie koszty przedsięwzięcia długi czas realizacji inwestycji ryzyko pojawienia się nowszych rozwiązań od projektowanych

22 Serwerownie konteneroweZALETY: elastyczność rozwiązania szybkość realizacji brak konieczności poświęcania miejsc mobilność rozwiązania Nowe centrum danych firmy Microsoft, które powstało w Chicago, w USA, jest jednym z największych, kiedykolwiek zbudowanych? Koszt inwestycji wyniósł dolarów (specjalnie podajemy kwotę wraz z kompletem zer), a obiekt ma powierzchnię ponad metrów kwadratowych.Nowe centrum danych to w rzeczywistości hala przypominająca garaż, którą dostosowano do potrzeb przechowywania w niej 12 metrowych kontenerów zawierających sprzęt IT. W kontenerach znajdują się serwery, urządzenia sieciowe, macierze dyskowe, ale także systemy zasilaczy UPS i klimatyzacyjne. Mimo tego, na pierwszym piętrze hali stworzono wydzieloną przestrzeń dla tradycyjnej serwerowni, w której zastosowano podłogę techniczną i klasyczne wyposażenie (sprzęt IT montowany jest w szafach, chłodzenie wykorzystuje koncepcję zimnych i ciepłych korytarzy). W hali można "zaparkować" 112 kontenerów, w których zmieści się około serwerów, a w części wydzielonej na klasyczną serwerownię ma zmieścić się dodatkowe kilkadziesiąt tysięcy serwerów. WADY : koniczność poświęcenia działki mała przestrzeń w kontenerze

23 Serwerownie konteneroweW 20 stopowym kontenerze meisći się 9 19’ rack lub 7 iDP rack W 40 stopowym kontenerze mieści się 17 – 19’ (do 1428 serwerów) rack lub 24 iDP rack (do 2016 serwerów)

24 Modułowość Pomieszczenie serwerowni techniczne baterie UPS klima klimaPamiętaj, zawsze zostaw miejsce na rozbudowę systemu!!!

25 Projektowana Dostępność serwerowniPodstawowe wymagania Poziom I Poziom II Poziom III Poziom IV Zasilanie, ścieżka chłodzenia Wspólne 1 aktywny/1 pasywny 2 aktywne Efekt nadmiarowy N N+1 2(N+1) Nadmiarowa ścieżka szkieletu Nie Tak Nadmiarowe poziome okablowanie Opcja Podnoszona podłoga 12ll 18ll 30-36ll Zasilacz awaryjny/agregat Opcja Tak Podwójny Konserwacja Wyłączanie Bez wyłączania Wpływ błędu Zakłócenia Nie Ilość miesięcy na implementację 3 3 do 6 15 do 20 Względny koszt budowy 1 1,5 2 2,5 Dostępność 99,671% 99,749% 99,982% 99,995%

26 Klasyfikacja systemów zasilania~ Poziom I ~ Poziom II RG RG SZR SZR RNR RNR (Opcja) Tier I to nic innego jak klasyczny tandemowy system zasilania awaryjnego, a więc: źródło zasilania, agregat prądotwórczy, monoblokowy zasilacz UPS i system, który jest chroniony. Jak Państwo widzicie, ilość elementów, które mogą ulec awarii jest wiele, w dodatku ich awaria może spowodować wyłączenie systemu. Tier II jest rozwiązaniem dużo bezpieczniejszym, ponieważ opiera się o dwa zasilacze UPS połączone równolegle-redundancyjnie, a więc awaria jednego z nich nie powinna przyczynić się do wyłączenia chronionego systemu. Jednak w dalszym ciągu istnieje wiele elementów, które mogą ulec awarii lub celowo zostać wyłączone, choćby zabezpieczenia w RNG. RNG RNG

27 Klasyfikacja systemów zasilania~ ~ Poziom III RG1 RG2 SZR1 SZR2 RNR1 RNR2 STSW Dlatego zaleca się rozwiązania zgodnie z Tier III, a więc przynajmniej częściowo dubluje się zasilanie. W oparciu o zasilacz modułowy-redundancyjny zyskuje się większą dostępność. Jak to wygląda w praktyce? Podczas zaniku napięcia w sieci zawodowej automatycznie uruchamiane zostają oba agregaty. Do czasu przełączenia układu SZR napięcie do chronionych urządzeń, dostarczane jest z baterii akumulatorów poprzez zasilacz UPS. Gdyby jednak nastąpiła awaria RNG, zasilacza UPS. Napięcie będzie dostarczane do komputerów przez drugi agregat, można również, w przypadku awarii agregatu, za pomocą STSW lub dodatkowego SZRa zasilić UPS z agregatu nr 2. Dość popularne jest rozwiązanie pośrednie pomiędzy Tier II a Tier III, czyli zamiast drugiego zespołu prądotwórczego doprowadzana zostaje do budynku druga linia zasilania. RNG

28 Klasyfikacja systemów zasilania~ ~ Poziom IV RG1 RG2 SZR1 SZR2 RNR1 RNR2 STSW Jednak najwyższy poziom niezawodności uzyskuje się przez niezależne zdublowanie wszystkich elementów systemu, a więc dwie linie zasilające, dwa agregaty, dwa UPSy itd. Ale to nie koniec, nie bylibyśmy przedsiębiorstwem innowacyjnym, a przede wszystkim polakami, gdybyśmy nie mogli czegoś udoskonalić. Zamiast zwykłych zasilaczy, wstawiliśmy zasilacze modułowe-redundancyjne, w takiej konfiguracji, dopiero awaria min. 2 modułów spowoduje wykluczenie jednego systemu. Dodatkowym atutem jest szybkość przywrócenia systemu do pełnej sprawności, w naszym przypadku to tylko wymiana modułu. Dokładną specyfikę tego zasilacza, który już od jakiegoś czasu jest stosowany zarówno w mobilnych jak i stałych źródłach zasilania w systemach wojskowych przedstawię Państwu poprzez krótki film. Jestem przekonany, że szybko zauważą Państwo, że zasilacz ten idealnie pasuje do systemów informatycznych, o których wczoraj wspominali zarówno gen. Nowak jak i płk Gruszka. Systemy informatyczne dowodzenia powinny być modułowe, elastyczne tak aby łatwo je rozbudować oraz charakteryzować się niezawodnością. Ja chciałbym Państwu tylko przypomnieć, że system informatyczny to również zasilanie, które często traktowane jest po macoszemu. Zapraszam na film. RNG2 RNG2

29 Opis infrastruktury serwerowniSzafy Rack Infrastruktura energetyczna i telekomunikacyjna Podłoga techniczna Agregaty prądotwórcze i zasilacze UPS Systemy alarmowe i gaszenia Kontrola dostępu i monitoring Instalacje i okablowanie System klimatyzacji

30 Audyt i zebranie potrzebnych informacjiAudyt techniczny: Rozmowa z inwestorem i określenie wymagań Wizja lokalna i weryfikacja oczekiwań inwestora z rzeczywistością Opracowanie wstępnej koncepcji i jej uzgodnienie z inwestorem Wycena kosztorysowa

31 Projekty Projekt budowlany Projekt elektrycznyProjekt teleinformatyczny Projekt sanitarny Współpraca Inwestor – Projektant kluczem do sukcesu!

32 Przyłącza energetyczne i uzbrojenie terenuZasilanie dwutorowe: Zasilanie z dwóch różnych transformatorów Zasilanie z dwóch różnych Głównych Punktów Zasilania (GPZ) Układ Samoczynnego Załączenia Rezerwy (SZR) Dodatkowe, wolne odpływy w rozdzielniach Sieć telekomunikacyjna Dwutorowy dostęp do światłowodów Dwóch niezależnych operatorów telekomunikacyjnych Wejścia telekomunikacyjne w dwóch różnych lokalizacjach

33 Agregaty prądotwórczeWyposażenie: automatyczny start samoczynne załączenie rezerwy dodatkowe zbiorniki paliwa monitorowanie Wersje: otwarte obudowane, kontenerowe zakres prac: przygotowanie projektu - dostawa, montaż i szkolenie - wykonanie układu wentylacji - uzgodnienia w zakładach energetycznych

34 Zasilacze UPS Brak zakłóceń: technologia true on-lineNiezawodność: zasilacz w układzie redundancyjnym Elastyczność: możliwość rozbudowy Niskie zużycie energii: wysoka sprawność

35 Zasilacze UPS UPS POWER+ moc 10-100 kVA (równolegle do 800 kVA)UPS POWER+ Freestyle moc kVA UPS MEGA POWER+ moc kVA/kW UPS MEGA POWER+ moc kVA/kW

36 Klimatyzacja Optymalne warunki pracy (temperatura 24 st. C +/-2 st. C i wilgotność 40-55% +/-10%) Redundancja gwarancją niezawodności Sposób chłodzenia – eliminacja mieszania się ciepłego i zimnego powietrza, eliminacja różnicy temperatury przed czołem urządzeń Możliwość rozbudowy Optymalizacja kosztów pracy systemu klimatyzacji

37 Kontrola dostępu Kontrola dwustronna ruchu osobowegoKarta lub biometryka – 2 klasa Karta + klawiatura PIN CODE lub karta +biometryka lub biometryka + PIN CODE – 3 klasa Śluzy ograniczające wejście osób trzecich

38 Systemy alarmowe i monitoringuTelewizja przemysłowa CCTV System sygnalizacji włamania i napadu System alarmu środowiskowego System wczesnego wykrywania pożaru Ekranowanie elektromagnetyczne

39 System gaszenia Projekt z uwzględnieniem aktualnych przepisówDobór środka gaśniczego Urządzenia gaśnicze i instalacja Testy pracy

40 Instalacje i okablowanieInstalacje elektryczne wewnątrz serwerowni wykonane przewodami niepalnymi, Systemy szkieletowe – miedziane i optyczne Okablowanie poziome – miedziane i optyczne Kategoria 6 / wzmocniona kategoria 6/ScTP kategorii 6 i 7 Nadmiarowe systemy okablowania

41 Podłogi techniczne Zabezpieczenie elektrostatyczne, przeciwpożarowe i akustyczne Rozłożenie ciężaru na podłodze Ukrycie nierówności podłoża Instalacje techniczne ukryte pod podłogą Nawiew zimnego powietrza

42 Szafy serwerowe Zapewnienie maksymalnego chłodzeniaOgraniczenie mieszania się zimnego i ciepłego powietrza Uchwyty montażowe, trasy kablowe Montaż poziomy i pionowy urządzeń

43 Prace budowlane i montażoweOdpowiednia konstrukcja ścian: - odporność ogniowa; ograniczenie dostępu, ochrona przed zalaniem podczas akcji gaśniczej lub powodzi, Odpowiednia konstrukcja stropów: - nośność stropów, ochrona przed wystąpieniem wycieków wody z pomieszczeń powyżej Przejścia, otwory techniczne zabezpieczone masą ogniochronną o odpowiedniej odporności ogniowej Montaż drzwi ogniochronnych o odpowiedniej odporności

44 Opieka serwisowa Szkolenia techniczne Przeglądy okresoweWsparcie telefoniczne 24h/dobę Umowa serwisowa gwarantująca szybki czas reakcji serwisu w przypadku wystąpienia awarii

45 i zapraszamy do współpracyDziękujemy za uwagę i zapraszamy do współpracy Piotr Butwiłowicz Zbigniew Kołodziejski