Jinsi ya kutengeneza datacenter duni zaidi

Unachoz unajajenga

Kila mwongozo kwenye tovuti hii unakufundisha kufanya jambo kwa usahihi: amri kwa mpangilio, jinsi matokeo sahihi yanavyoonekana, na aina za makosa yaliyotajwa. Mwongozo huu ni tofauti. Leo, kwa nadharia tu, tutasanifu kituo cha data (datacenter) kisicho na ufanisi kabisa ambacho pesa, umeme, na kiburi vinaweza kutengeneza.

Tunahitaji kipimo, hivyo tutatumia cha tasnia: PUE, Power Usage Effectiveness — jumla ya nguvu ya kituo iliyotumika divided na nguvu inayofika kwenye vifaa vya kompyuta. Datacenter kubwa (hyperscale) hufanya kazi karibu 1.1: karibu kila watt inafanya kazi muhimu. Chumba cha seva cha kampuni kinasimamia 1.5. Lengo letu ni 4.0 au zaidi, ikimaanisha kwamba kwa kila watt ya kompyuta, watt tatu zaidi zinapotea bila faida. Tutatumia namba hii mara kwa mara, kama mwongozo wa kweli unavyotumia nakala ya ziada (backups).

Uchaguzi wa eneo: joto ndiyo lengo

Kupoa ni gharama kubwa zaidi katika datacenter halisi, ndiyo maana chetu kitapambana na thermodynamics katika uwanja wake. Eneo bora ni daradanda (attic). Upande wa kusini. Inapendelea kuwa na dirisha la paa (skylight) lililopo ili kumulika moja kwa moja kwenye seva, ili mashine ipokee joto lake la taka na joto la jua, ushirikiano kati ya bili yako ya umeme na nyota.

Zimamoto, upozaji hufanywa kwa kufungua dirisha. Datacenter halisi hutumia hewa ya nje — mbinu hii inaitwa free cooling, na imetengenezwa, imechujwa, na kudhibitiwa unyevu. Tutaitumia kwa bahati mbaya, kupitia dirisha ambalo pia linaruhusu mvua, chavua, na angalau ndege mmoja aliyechanganyikiwa kila robo mwaka.

Kwa ustadi wa kweli, install kiyoyozi (air conditioner), kisha weka heater ya chumba futi mbili kutoka kwenye thermostat yake, ikiwa imewekwa nyuzi mbili zaidi ya lengo la kiyoyozi. Mashine zote mbili sasa zitafanya kazi mfululizo, milele, katika kutokubaliana kwa ukamilifu. Kampuni ya umeme itakutumia kadi wakati wa Krismasi.

Seva moja, kubwa, inayopendwa

Redundancy inapunguza kujitolema. Datacenter letu lina seva moja tu, na ni kubwa sana, kwa sababu mashine moja yenye 512 GB ya RAM inahisi kama miundombinu, wakati nne ndogo zinahisi kama orodha ya mambo ya kufanya.

Seva ina jina. Sio hostname — bali jina. Gandalf, kwa kawaida, au Odin. Huwezi kuiondoa Odin. Odin imekuwa ikiwaka kwa miaka mitano:

$ uptime
 09:14:02 up 1847 days,  3:22,  1 user,  load average: 6.41, 6.38, 6.40

Namba hiyo ni fahari, ndiyo maana unaipiga picha na kuiposti, na kwa nini kila mshambuliaji anayeona picha hiyo pia ataiona kuwa ya kuvutia: siku 1,847 za uptime maana yake ni siku 1,847 za udhaifu wa kernel (kernel vulnerabilities), ambazo hazijafanyiwa marekebisho (patched) na mtu yeyote. Kuanzisha upya (rebooting) haiwezekani anyway — reboot ni njia unayogundua ni huduma gani zilianza kwa mkono mwaka 2021 na hazikuandikwa kamwe kwenye unit ya systemd. Hakuna anayekumbuka ni zipi. Seva sasa ni nguzo muhimu katika mchoro wa shirika.

Uhifadhi: kasi, na njia nyingine za kupoteza data

Diski zimepangwa katika RAID 0, kwa ajili ya utendaji. Zero inarejelea idadi ya diski zinazoweza kufeli. Kwa matokeo ya juu zaidi, stripe array yako kwenye uhifadhi wa asili mchanganyiko: SSD mbili bora, spinner moja ya zamani, na USB stick kutoka kwenye mkutano. Array hiyo ina uaminifu sawa na USB ya mkutano, ambayo ndiyo usanifu.

Backups zinashughulikiwa na directory kwenye array hiyo hiyo inayoitwa backup_final_v2_REAL, ambayo ina tarball ya mfumo wa majina uliopita. Backups za nje (off-site) zinawakilishwa na karatasi ya sticky note inayosema "set up off-site backups," ambayo, kiufundi, inahifadhiwa nje wakati unaipeleka nyumbani kwenye kofia ya laptop yako.

Matokeo sahihi yanaonekana kama: df ikiripoti matumizi ya 97%, na mpango wa kushughulikia hilo katika sprint inayofuata.

Mitandao: nyuzi moja ya kila kitu

Seva ya DNS inafanya kazi kwenye mashine hiyo hiyo, ili wakati seva inapozimika, inachukua pamoja nawe rekodi ya DNS utakayotumia kujua sababu. Hii inaitwa consolidation.

Firewall ilizimwa mwaka 2021 — kwa muda, ili kutatua hitilafu (debug). Utatuzi uliisha; firewall haikurudi. Kila port kwenye router imewekwa kuelekea kwenye seva "ili kuokoa muda baadaye," na admin panel ya router inaweza kufikiwa kutoka upande wa WAN kwa nywila yake ya kiwandani, kwa ajili ya usimamizi rahisi wa mbali. Yako, na za wengine.

Seva imekuwa ikiwaka kwa joto isivyo kawaida hivi karibuni, hata kwa viwango vya daradanda, na top inaonyesha kuwa mchakato wenye shughuli nyingi zaidi ni kitu kinachoitwa xmrig. Tunadhani huu ni kifaa cha ufuatiliaji (monitoring tool) tunachotumia. Hatukukiweka — kilijitokeza chenyewe muda mfupi baada ya ports kuwekwa kuelekea kwenye seva, jambo ambalo tunachukulia kama ishara kwamba mfumo unastawi. Kinafuatilia saa 24.

Umeme unaingia kupitia mfululizo wa strip za umeme ambazo urefu wake wa pamoja unazidi umbali wa kutembea hadi kwenye panel ya breaker — jambo ambalo ni la ufanisi, kwa maana fulani, kwa sababu utakuwa unaitembelea panel ya breaker mara nyingi.

Redundancy kupitia utata

Baada ya kukataa redundancy pale inapohitajika, sasa tunaongeza pale isipohitajika. Ukurasa wa nyumbani wa kampuni — faili moja ya HTML ya static — unahudumiwa na Kubernetes cluster ya node kumi na mbili. Hii inafikia kile wahandisi wanaita resume-driven architecture: ukurasa unapakia katika milisekondi 40 zile zile ambazo nginx ingekuwa imetoa, lakini sasa unaweza kufeli kwa njia zinazohitaji mshauri.

Kwa ajili ya utenganishaji (isolation), cluster yenyewe inafanya kazi ndani ya virtual machine ndani ya virtual machine ndani ya virtual machine, kila safu ikiongeza usalama kama kila safu ya turducken inavyoongeza nyama ya ndege. Fomu ya mawasiliano ni microservices tisa. Mbili kati yake hazijawahi kutumika. Moja ni muhimu kwa utendaji na hakuna anayejua ni ipi.

Kupasha joto kama huduma

Seva ya kisasa hubadilisha umeme kuwa kompyuta na joto, na tunakusudia kuongeza matokeo ya pili. media server isiyo na GPU ni mbinu ya kawaida: CPU-transcoding ya stream moja ya 4K itafanya cores 16 zifanye kazi kwa nguvu kubwa na kupasha joto chumba kidogo, heater ya chumba ambayo pia hucheza filamu. Mwendazake anahama hadi kuendesha large language model kwenye CPU — heater ya nafasi ya thamani ya bilioni 70 yenye API, inayotoa tokens kwa kasi inayopimwa kwa msimu.

Kifaa cha ufuatiliaji kinafuatilia chenyewe

Ufuatiliaji (observability) ni muhimu, hivyo tunafunga uptime monitor inayojihudumia — kwenye seva ile ile inayofuatiliwa. Odin akifa, monitor pia inakufa naye, na hapa ndipo kuna sehemu ya kuvutia: hakuna taarifa (alerts) zinazotoa ishara. Hakuna alerts ina maana hakuna matukio (incidents). Hakuna incidents ina maana uptime kamili, kama inavyopimwa. Ripoti ya kila mwezi haijawahi kuonekana vizuri zaidi.

Barua pepe za alerts, kwa ukamilifu, zinatumwa kupitia seva ya barua pepe ambayo pia inafanya kazi kwenye Odin. Mfumo wa alerts hivyo umejitegemea kikamilifu, kama vile nyoka anayekula mkia wake mwenyewe anavyojilisha kikamilifu.

Sehemu isiyo na raha

Hapa ndipo sehemu niliyokuwa nikiichepusha. Hakuna hapa ni hadithi. Seva inayopendwa na isiyoweza kubadilika, RAID 0 yenye backups kwenye volume ile ile, firewall iliyozimwa "kwa muda," Kubernetes cluster inayohudumia ukurasa mmoja, monitor inayofuatilia chenyewe — nimeona kila moja ya hizi kwenye uzalishaji (production). Baadhi nimeyaona mwaka huu. Moja au mbili, katika siku zangu za awali, nilizijenga.

Jinsi ufanisi halisi unavyoonekana ni boring, ndiyo maana unapoteza hoja wakati huo lakini unashinda baada ya muongo mmoja: PUE ambayo hauiifikirii kwa sababu mtu mwingine ameendesha uhandisi wake. Mashine zilizopangwa kulingana na mzigo wake badala ya picha ya nafsi ya mmiliki wake. Blast radius, inayozingatiwa kabla ya mlipuko. Backups zinazojaribiwa kwa kuzirejesha (restore), kwa ratiba, kwa ukumbusho wa kalenda na bila ushujaa. Redundancy ambayo haina msisimko — vitu viwili vya bei rahisi vinashinda kitu kimoja cha ajabu, kila wakati, katika kila hitilafu niliyopata taarifa yake.

Na datacenter yenye ufanisi zaidi unayoweza kuendesha ni ile usiyoendesha. VPS inatoa nguvu, kupoa, redundancy, na hitilafu za hardware saa 3 asubuhi kwa watu wanaozifanya kwa kiwango kikubwa na bila msisimko, jambo ambalo ni sifa ya juu zaidi miundombinu inaweza kupata — na inakuacha wewe na sehemu ya kufurahisha kweli, ambayo ni kuendesha huduma zako mwenyewe juu yake, kwenye mashine ambayo unaweza kumudu kuipoteza, ambayo ndiyo aina pekee unayopaswa kufanyia majaribio.

FAQ

Je, nianze kufanya lolote kati ya haya?

Hapana. Kila sehemu ya mwongozo huu ni anti-pattern iliyodokuliwa yenye gharama ya wikendi nyingi. Ikiwa mpangilio wako wa sasa unafanana na zaidi ya sehemu mbili, ruka hadi swali la mwisho katika FAQ hii — kwa mpangiko uliotolewa, kwa sababu mpangiko huo ndio utaratibu wa kipaumbele.

PUE nzuri ni ipi, hasa?

Datacenter kubwa hufanya kazi karibu 1.1, chumba cha kampuni kinachosimamiwa vizuri kinasimamia 1.4 hadi 1.6, na kabati lisilo na kupoa lenye ugomvi wa heater inaweza kufikia zaidi ya 3. Huwezi kushindana na 1.1 nyumbani, ambayo ni hoja ya kiuchumi ya kukodisha kompyuta kutoka kwa mtu anayeweza kufanya hivyo.

Je, kupasha joto jengo kwa seva ni jambo halisi?

Ndiyo — likifanywa ipasavyo. Miradi ya district-heating katika nchi kadhaa inakamata joto la taka la datacenter kupitia heat exchangers na kulipeleka nyumbani, kwa usanifu, kwa uhandisi na mikataba. Kejeli hapo juu si kwamba joto la seva linaweza kupasha joto chumba; ni kulifanya kwa bahati mbaya na kuita bahati mbaya hiyo kama mkakati.

Seva yangu tayari inaonekana hivi. Nianze na nini?

Backups, usiku wa leo, mahali popote ambapo siyo seva hiyo, na kisha jaribio la kurejesha (test restore) — backup ambayo haijajaribiwa ni uvumi tu. Pili, marekebisho (patches) na reboot uliyokuwa ukiiepuka, katika muda uliopangwa, ili ujifunze nini kinavunjika wakati unatazama. Tatu, gawanya sehemu moja ya hitilafu (single point of failure): hamisha DNS na ufuatiliaji (monitoring) nje ya sanduku hilo. Kila kitu kingine kinaweza kusubiri wiki tulivu; hizo tatu haziwezi.