Jak zbudować najbardziej nieefektywne centrum danych

Co budujemy

Każdy poradnik w tym serwisie uczy poprawnego wykonywania zadań: kolejności poleceń, wyglądu prawidłowego wyniku oraz nazw trybów awaryjnych. Ten przewodnik jest inny. Dzisiaj, czysto hipotetycznie, zaprojektujemy najmniej wydajne centrum danych, jakie można stworzyć za pomocą pieniędzy, energii elektrycznej i pychy.

Potrzebujemy wskaźnika, więc zapożyczymy ten branżowy: PUE (Power Usage Effectiveness), czyli całkowitą moc obiektu podzieloną przez moc, która faktycznie dociera do sprzętu obliczeniowego. Hiperskalowe centrum danych osiąga wynik około 1.1: niemal każdy wat wykonuje użyteczną pracę. Przyzwoita serwerownia korporacyjna utrzymuje poziom 1.5. Naszym celem jest 4.0 lub wyższy, co oznacza, że na każdy wat mocy obliczeniowej trzy kolejne waty są marnowane. Będziemy często odwoływać się do tej liczby, tak jak poważne poradniki odwołują się do kopii zapasowych.

Wybór lokalizacji: kluczowe jest ciepło

Chłodzenie stanowi największy koszt operacyjny w rzeczywistym centrum danych, dlatego nasze rozwiązanie będzie walczyć z termodynamiką na jej własnym terenie. Idealną lokalizacją jest poddasze. Skierowane na południe. Najlepiej z oknem dachowym ustawionym tak, aby światło padało bezpośrednio na serwer, dzięki czemu maszyna otrzyma zarówno własne ciepło odpadowe, jak i energię słoneczną – to współpraca między rachunkiem za prąd a gwiazdą.

Zimą chłodzenie realizuje się poprzez otwarcie okna. Rzeczywiste centra danych wykorzystują powietrze zewnętrzne w procesie zwanym free cooling, który jest inżynieryjnie zaprojektowany, filtrowany i posiada kontrolę wilgotności. My zastosujemy to rozwiązanie przypadkowo, przez okno, które wpuszcza również deszcz, pyłki oraz przynajmniej jednego zdezorientowanego ptaka na kwartał.

Dla osiągnięcia prawdziwego kunsztu należy zainstalować klimatyzator, a następnie umieścić grzejnik elektryczny dwa stopy od jego termostatu, ustawiając go o dwa stopnie wyżej niż docelowa temperatura klimatyzatora. Obie maszyny będą teraz pracować nieprzerwanie, na zawsze, w doskonałym sporze. Zakład energetyczny wyśle kartkę świąteczną.

Jeden serwer, duży, ukochany

Redundancja osłabia zaangażowanie. Nasze centrum danych zawiera dokładnie jeden serwer i jest on ogromny, ponieważ pojedyncza maszyna z 512 GB pamięci RAM sprawia wrażenie infrastruktury, podczas gdy cztery małe jednostki przypominają listę zadań do wykonania.

Serwer posiada imię. Nie nazwę hosta, lecz imię. Zazwyczaj Gandalf lub Odyn. Nie można wycofać Odyna z eksploatacji. Odyn działa nieprzerwanie od pięciu lat:

$ uptime
 09:14:02 up 1847 days,  3:22,  1 user,  load average: 6.41, 6.38, 6.40

Ta liczba jest powodem do dumy, dlatego wykonuje się zrzut ekranu i publikuje go, co sprawia, że każdy atakujący widzący ten zrzut również uważa to za imponujące: 1847 dni czasu pracy bez restartu oznacza 1847 dni podatności jądra systemu, których nikt nie załatał. Restart nie wchodzi w grę, ponieważ to właśnie podczas restartu odkrywa się, które usługi zostały uruchomione ręcznie w 2021 roku i nigdy nie zostały zapisane w jednostce systemd. Nikt nie pamięta, które to usługi. Serwer stanowi obecnie kluczowy element struktury organizacyjnej.

Pamięć masowa: szybkość i inne sposoby utraty danych

Dyski skonfigurowano w trybie RAID 0 w celu uzyskania wysokiej wydajności. Cyfra zero oznacza liczbę dysków, których awaria jest dopuszczalna. Aby uzyskać maksymalny efekt, należy utworzyć pasek (stripe) na nośnikach o różnym pochodzeniu: dwóch sprawnych dyskach SSD, jednym wysłużonym dysku talerzowym oraz pamięci USB z konferencji. Niezawodność takiej macierzy jest dokładnie równa niezawodności pamięci z konferencji, co jest założeniem projektowym.

Kopie zapasowe są obsługiwane przez katalog o nazwie backup_final_v2_REAL, znajdujący się na tej samej macierzy, który zawiera archiwum tar poprzedniego schematu nazewnictwa. Kopie zapasowe poza lokalizacją (off-site) są reprezentowane przez samoprzylepną karteczkę z napisem "skonfigurować kopie off-site", która technicznie rzecz biorąc znajduje się poza lokalizacją, gdy użytkownik zabiera ją do domu na klapie laptopa.

Poprawny wynik wygląda następująco: df zgłasza 97% wykorzystania, a w planach jest zajęcie się tym w następnym sprincie.

Sieci: wszystko w jednym ciągu

Serwer DNS działa na tej samej maszynie, więc w przypadku awarii serwera tracony jest dostęp do rekordu DNS, który byłby potrzebny do ustalenia przyczyny problemu. Nazywa się to konsolidacją.

Firewall został wyłączony w 2021 roku, tymczasowo, w celu debugowania. Debugowanie zakończono, lecz firewall nie został przywrócony. Każdy port na routerze jest przekierowany na serwer „aby zaoszczędzić czas w przyszłości”, a panel administracyjny routera jest dostępny od strony WAN z fabrycznym hasłem, dla wygody zdalnego zarządzania. Twojego i innych osób.

Serwer ostatnio pracuje w nietypowo wysokiej temperaturze, nawet jak na warunki panujące na poddaszu, a top wskazuje, że najbardziej obciążającym procesem jest coś o nazwie xmrig. Zakładamy, że jest to używane przez nas narzędzie monitorujące. Nie instalowaliśmy go; pojawiło się samo krótko po przekierowaniu portów, co uznajemy za znak, że ekosystem rozwija się pomyślnie. Monitoruje on przez całą dobę.

Zasilanie dociera przez łańcuch domowych listew zasilających, których łączna długość przekracza odległość do rozdzielnicy elektrycznej, co jest w pewnym sensie wydajne, ponieważ będziesz często odwiedzać rozdzielnicę.

Redundancja poprzez złożoność

Po odrzuceniu redundancji tam, gdzie jest ona istotna, wprowadzamy ją tam, gdzie nie ma znaczenia. Strona główna firmy, będąca pojedynczym statycznym plikiem HTML, jest serwowana przez dwunastowęzłowy klaster Kubernetes. Pozwala to na realizację architektury napędzanej potrzebą wpisania jej do CV: strona ładuje się w czasie czterdziestu milisekund, czyli tyle samo, ile zajęłoby to serwerowi nginx, ale teraz może ulec awarii w sposób wymagający zatrudnienia konsultanta.

W celu zapewnienia izolacji, sam klaster działa wewnątrz maszyny wirtualnej wewnątrz maszyny wirtualnej wewnątrz maszyny wirtualnej, gdzie każda warstwa zwiększa bezpieczeństwo w taki sam sposób, w jaki każda warstwa nadzienia w potrawie typu turducken dodaje kolejnego ptaka. Formularz kontaktowy składa się z dziewięciu mikroserwisów. Dwa z nich nigdy nie zostały wywołane. Jeden z nich jest kluczowy dla działania całości, lecz nikt nie wie który.

Ogrzewanie jako usługa

Nowoczesny serwer zamienia energię elektryczną na obliczenia oraz ciepło, a celem jest maksymalizacja tego drugiego efektu. Serwer multimedialny bez GPU to klasyczne rozwiązanie: transkodowanie programowe pojedynczego strumienia 4K obciąży szesnaście rdzeni i ogrzeje małą sypialnię, tworząc grzejnik, który dodatkowo odtwarza filmy. Ambitny administrator przechodzi do uruchamiania dużego modelu językowego na CPU, czyli grzejnika o 70 miliardach parametrów z interfejsem API, generującego tokeny w tempie, które najlepiej mierzyć w skali sezonowej.

Monitor monitoruje samego siebie

Obserwowalność jest istotna, dlatego wdrażamy własny system monitorowania dostępności, działający na tym samym serwerze, który jest monitorowany. Gdy Odin ulega awarii, monitor przestaje działać razem z nim, co prowadzi do eleganckiego rozwiązania: żadne alerty nie są wysyłane. Brak alertów oznacza brak incydentów. Brak incydentów oznacza idealną dostępność w pomiarach. Miesięczny raport nigdy nie wyglądał lepiej.

Dla kompletności, wiadomości z alertami są przekazywane przez serwer pocztowy, który również działa na Odin. Potok powiadomień jest zatem w pełni samowystarczalny, podobnie jak wąż zjadający własny ogon, który jest w pełni nakarmiony.

Niewygodna prawda

Oto sekcja, z której napisaniem zwlekałem. Nic z tego nie jest fikcją. Ukochany, niezastąpiony serwer, macierz RAID 0 z kopiami zapasowymi na tym samym wolumenie, firewall wyłączony „tymczasowo”, klaster Kubernetes serwujący jedną stronę, monitor monitorujący samego siebie – widziałem każdy z tych przypadków w środowisku produkcyjnym. Niektóre z nich widziałem w tym roku. Jeden lub dwa z nich zbudowałem sam, na początku swojej drogi.

Prawdziwa efektywność jest nudna, dlatego przegrywa w dyskusjach na bieżąco, ale wygrywa w perspektywie dekady: wskaźnik PUE, o którym nigdy nie myślisz, bo ktoś inny go zaprojektował. Maszyny dopasowane do obciążenia, a nie do wyobrażenia właściciela o własnej wielkości. Promień rażenia awarii, przemyślany przed wybuchem. Kopie zapasowe, które są testowane poprzez ich przywracanie, zgodnie z harmonogramem, z przypomnieniem w kalendarzu i bez zbędnego heroizmu. Redundancja, która jest nudna; dwa tanie urządzenia zawsze wygrywają z jednym wspaniałym, w każdej awarii, w sprawie której kiedykolwiek byłem wzywany.

Najbardziej efektywne centrum danych to takie, którego nie musisz prowadzić. VPS przenosi kwestie zasilania, chłodzenia, redundancji i awarii sprzętowych o 3 nad ranem na ludzi, którzy zajmują się tym na dużą skalę, w sposób nudny – co jest najwyższym komplementem, jaki może otrzymać infrastruktura. Tobie pozostaje to, co naprawdę ciekawe, czyli uruchamianie własnych usług na takiej maszynie, na sprzęcie, który możesz stracić, bo tylko na takim powinno się przeprowadzać eksperymenty.

FAQ

Czy naprawdę powinienem to robić?

Nie. Każda sekcja tego przewodnika opisuje udokumentowany antywzorzec, który kosztował już niejednego administratora cały weekend. Jeśli obecna konfiguracja przypomina więcej niż dwie sekcje, przejdź do ostatniego pytania w tym FAQ, zgodnie z podaną kolejnością, ponieważ kolejność ta stanowi proces segregacji (triage).

Jaka wartość PUE jest faktycznie dobra?

Centra danych typu hyperscale osiągają około 1.1, dobrze zarządzane serwerownie korporacyjne utrzymują się w przedziale 1.4 do 1.6, a niechłodzona szafa rackowa, w której toczy się walka z grzejnikiem, może realnie przekroczyć 3. W warunkach domowych nie da się sensownie konkurować z wynikiem 1.1, co stanowi cichy argument ekonomiczny za wynajmowaniem mocy obliczeniowej od podmiotu, który jest w stanie to osiągnąć.

Czy ogrzewanie budynku serwerami to realne rozwiązanie?

Tak, jeśli zostanie wykonane poprawnie. Projekty ciepłownictwa miejskiego w kilku krajach przechwytują ciepło odpadowe z centrów danych za pomocą wymienników ciepła i przesyłają je do domów, zgodnie z projektem, inżynierią i umowami. Powyższa satyra nie dotyczy faktu, że ciepło z serwerów może ogrzać pomieszczenie, lecz robienia tego przez przypadek i nazywania tego przypadku strategią.

Mój serwer już tak wygląda. Co zrobić w pierwszej kolejności?

Kopie zapasowe, jeszcze dziś wieczorem, w lokalizacji innej niż sam serwer, a następnie testowe przywracanie danych; nieprzetestowana kopia zapasowa to tylko plotka. Po drugie, poprawki bezpieczeństwa i restart, którego unikasz, wykonane w zaplanowanym oknie serwisowym, aby dowiedzieć się, co ulegnie awarii, gdy będziesz to obserwować. Po trzecie, wyeliminuj pojedynczy punkt awarii: przenieś DNS i monitoring poza tę maszynę. Wszystko inne może poczekać na spokojniejszy tydzień; te trzy rzeczy nie mogą.