Hoe bouw je het minst efficiënte datacenter?

Wat u bouwt

Elke gids op deze site leert u iets correct uitvoeren: de commando's in de juiste volgorde, hoe een correct resultaat eruitziet en de foutmodi die benoemd worden. Deze gids is anders. Vandaag gaan we, geheel hypothetisch, het minst efficiënte datacenter ontwerpen dat met geld, elektriciteit en hoogmoed te produceren is.

We hebben een metriek nodig, dus we lenen die van de industrie: PUE, Power Usage Effectiveness — het totale vermogen van de faciliteit gedeeld door het vermogen dat daadwerkelijk de computerapparatuur bereikt. Een hyperscale datacenter werkt rond de 1.1: bijna elk watt levert nuttig werk. Een degelijke enterprise serverruimte haalt 1.5. Ons doel is 4.0 of hoger, wat betekent dat voor elk watt aan rekenkracht drie extra watts verloren gaan. We zullen dit getal vaak gebruiken, zoals serieuze gidsen naar backups verwijzen.

Locatiekeuze: hitte is het doel

Koeling is de grootste overhead in een echt datacenter, daarom zal onze locatie de thermodynamica op haar eigen terrein bevechten. De ideale locatie is een zolder. Op het zuiden gericht. Bij voorkeur met een dakraam dat direct op de server schijnt, zodat de machine zowel zijn eigen restwarmte als die van de zon ontvangt; een samenwerking tussen uw energierekening en een ster.

In de winter wordt koeling geregeld door het raam te openen. Echte datacenters gebruiken wel buitenlucht — deze techniek wordt free cooling genoemd, en het is ontworpen, gefilterd en gecontroleerd op vochtigheid. Wij gebruiken het per ongeluk, via een raam dat ook regen, pollen en minstens één verwarde vogel per kwartaal binnenlaat.

Voor echte kunstvaardigheid installeert u een airconditioner en plaatst u vervolgens een kacheltje op 60 cm van de thermostaat, ingesteld op twee graden warmer dan de doeltemperatuur van de airconditioner. Beide apparaten zullen nu continu draaien, voor altijd, in perfecte onenigheid. De energiemaatschappij zal u rond Kerstmis een kaart sturen.

Eén server, groot en geliefd

Redundantie verwatert de toewijding. Ons datacenter bevat exact één server, en deze is enorm, omdat een enkele machine met 512 GB RAM voelt als infrastructuur, terwijl vier kleine machines voelen als een to-do lijst.

De server heeft een naam. Geen hostname — een naam. Meestal Gandalf, of Odin. U kunt Odin niet uitfaseren. Odin is al vijf jaar in bedrijf:

$ uptime
 09:14:02 up 1847 days,  3:22,  1 user,  load average: 6.41, 6.38, 6.40

Dat getal is een bron van trots, wat de reden is dat u een screenshot maakt en deze plaatst, en waarom elke aanvaller die de screenshot ziet het ook indrukwekkend vindt: 1.847 dagen uptime betekent 1.847 dagen aan kernel-kwetsbaarheden die door niemand zijn gepatcht. Herstarten is sowieso geen optie — een reboot is hoe u ontdekt welke services in 2021 handmatig zijn gestart en nooit in een systemd unit zijn geschreven. Niemand weet meer welke dat zijn. De server is nu een essentieel onderdeel van de organisatiestructuur.

Opslag: snelheid en andere manieren om data te verliezen

De schijven zijn geconfigureerd in RAID 0 voor prestaties. De nul verwijst naar het aantal schijven dat mag falen. Voor een maximaal effect maakt u een array aan met opslag van verschillende herkomst: twee echte SSD's, één verouderde draaiende schijf en een USB-stick van een conferentie. De array is precies zo betrouwbaar als de conferentiestick; dat is het ontwerp.

Backups worden afgehandeld door een map op dezelfde array genaamd backup_final_v2_REAL, die een tarball bevat van het vorige naamgevingsschema. Off-site backups worden gerepresenteerd door een post-it met de tekst "set up off-site backups", wat technisch gezien off-site wordt opgeslagen wanneer u deze op de deksel van uw laptop meeneemt.

Een correct resultaat ziet er als volgt uit: df rapporteert 97% verbruik, en een plan om dit in de volgende sprint aan te pakken.

Networking: één enkele draad van alles

De DNS-server draait op de machine zelf, zodat wanneer de server uitvalt, deze ook het DNS-record meeneemt dat u nodig heeft om uit te zoeken waarom. Dit wordt consolidatie genoemd.

De firewall werd in 2021 uitgeschakeld — tijdelijk, om iets te debuggen. Het debuggen was voltooid; de firewall kwam niet terug. Elke poort op de router is doorverwezen naar de server "om later tijd te besparen", en het admin-paneel van de router is bereikbaar vanaf de WAN-zijde met het fabrieksmatige wachtwoord, voor handig beheer op afstand. Van u, en van anderen.

De server is de laatste tijd ongebruikelijk warm geworden, zelfs volgens zolderstandaarden, en top laat zien dat het drukste proces iets is dat xmrig heet. We gaan ervan uit dat dit de monitoringtool is die we gebruiken. We hebben deze niet geïnstalleerd — hij verscheen vanzelf kort nadat de poorten werden doorverwezen, wat we beschouwen als een teken dat het ecosysteem floreert. Het monitort dag en nacht door.

Stroom komt binnen via een keten van consumentenstekkerdozen waarvan de gecombineerde lengte de loopafstand naar de groepenkast overschrijdt — wat op een bepaalde manier efficiënt is, omdat u de groepenkast vaak zult bezoeken.

Redundantie door complexiteit

Nadat we redundantie hebben geweigerd waar het ertoe doet, voegen we het nu toe waar dat niet nodig is. De homepage van het bedrijf — één statisch HTML-bestand — wordt geserveerd door een Kubernetes-cluster met twaalf nodes. Dit bereikt wat ingenieurs resume-driven architecture noemen: de pagina laadt in dezelfde veertig milliseconden als nginx dat zou doen, maar kan nu falen op manieren die een consultant vereisen.

Voor isolatie draait het cluster zelf binnen een virtuele machine in een virtuele machine in een virtuele machine, waarbij elke laag veiligheid toevoegt zoals elke laag van een turducken extra vlees toevoegt. Het contactformulier bestaat uit negen microservices. Twee daarvan zijn nog nooit aangeroepen. Eén daarvan is essentieel voor de werking en niemand weet welke.

Heating as a service

Een moderne server zet elektriciteit om in berekeningen en warmte, en wij zijn van plan om de tweede output te maximaliseren. Een media server zonder GPU is de klassieke aanpak: CPU-transcoding van een enkele 4K-stream zal zestien cores belasten en een kleine slaapkamer verwarmen; een kacheltje dat ook films afspeelt. De ambitieuze operator stapt over op het draaien van een large language model op de CPU — een 70-billion-parameter kacheltje met een API, dat tokens produceert met een snelheid die het best seizoensgebonden gemeten kan worden.

De monitor houdt zichzelf in de gaten

Observability is belangrijk, dus we implementeren een zelfgehoste uptime monitor — op dezelfde server die hij monitort. Wanneer Odin sterft, sterft de monitor met hem, en hier komt het elegante deel: er gaan geen alerts af. Geen alerts betekent geen incidenten. Geen incidenten betekent perfecte uptime, zoals gemeten. Het maandelijkse rapport heeft er nog nooit zo goed uitgezien.

Alert-e-mails worden, voor de volledigheid, doorgestuurd via een mailserver die ook op Odin draait. De alerting-pipeline is dus volledig zelfvoorzienend, op de manier waarop een slang die zijn eigen staart eet, volledig gevoed is.

Het ongemakkelijke deel

Dit is het gedeelte dat ik al een tijdje uitstel. Niets hiervan is fictie. De geliefde onvervangbare server, de RAID 0 met backups op hetzelfde volume, de firewall die "tijdelijk" is uitgeschakeld, het Kubernetes-cluster dat één pagina serveert, de monitor die zichzelf in de gaten houdt — ik heb ze allemaal in productie gezien. Sommige ervan heb ik dit jaar gezien. Een of twee ervan heb ik in mijn beginperiode zelf gebouwd.

Hoe echte efficiëntie eruitziet is saai, wat de reden is dat het het argument op het moment verliest, maar het decennialang wint: een PUE waar u nooit over nadenkt omdat iemand anders het heeft ontworpen. Machines die zijn afgestemd op hun workload in plaats van op het zelfbeeld van de eigenaar. Een blast radius, overwogen voordat de explosie plaatsvindt. Backups die getest worden door ze te herstellen, volgens een schema, met een agenda-herinnering en zonder heroïsme. Redundantie die saai is — twee van het goedkope ding verslaan één van het fantastische ding, elke keer, bij elke fout waarvoor ik ooit ben opgeroepen.

En het meest efficiënte datacenter dat u kunt draaien, is het datacenter dat u niet draait. Een VPS draagt de stroom, koeling, redundantie en hardwarefouten om 3 uur 's nachts over aan mensen die dit op schaal doen, op een saaie manier, wat het hoogste compliment is dat infrastructuur kan krijgen — en het laat u het echt leuke deel over, namelijk het draaien van uw eigen services daarop, op een machine die u kunt verliezen, wat de enige soort is waarop u ooit zou moeten experimenteren.

FAQ

Moet ik dit echt doen?

Nee. Elke sectie van deze gids is een gedocumenteerd anti-pattern met een dodental aan verloren weekenden. Als uw huidige setup meer dan twee secties vertoont, ga dan naar de laatste vraag in deze FAQ — in de gegeven volgorde, want de volgorde is de triage.

Wat is een goede PUE, eigenlijk?

Hyperscale datacenters draaien rond de 1.1, een goed beheerde enterprise ruimte haalt 1.4 tot 1.6, en een ongekoelde kast met een conflict tussen kachels kan echt boven de 3 uitkomen. U kunt thuis niet zinvol concurreren met 1.1, wat het stille economische argument is voor het huren van rekenkracht bij iemand die dat wel kan.

Is het verwarmen van een gebouw met servers een echt ding?

Ja — mits het goed wordt gedaan. Stadsverwarmingsprojecten in verschillende landen vangen de restwarmte van datacenters op via warmtewisselaars en leiden deze via leidingen naar woningen, ontworpen met engineering en contracten. De satire hierboven is niet dat serverwarmte een kamer kan verwarmen; het is dat het per ongeluk gebeurt en dat men het ongeluk een strategie noemt.

Mijn server ziet er nu al zo uit. Wat moet ik als eerste doen?

Backups, vanavond, naar een locatie die niet de server is, en dan een test-restore — een ongeteste backup is een gerucht. Ten tweede: patches en de reboot die u heeft vermeden, in een geplande tijdruimte, zodat u leert wat er breekt terwijl u kijkt. Ten derde: splits het single point of failure op: verplaats DNS en monitoring van de machine af. De rest kan wachten op een rustigere week; deze drie niet.