ద్వారా అత్యంత అసమర్థమైన datacenter ఎలా ఉంటుంది
పూర్తి ఊహాత్మక గైడ్: RAID 0, వేడిని వ్యూహంగా చేసుకునే ఒకే server, తనను తాను చూసుకునే monitor. PUE 4.0 లక్ష్యంతో విద్యుత్, డబ్బు వృథా ఎలా ఉంటుందో తెలుసుకోండి.
మీరు నిర్మించేది ఏమిటి
ఈ సైట్లోని ప్రతి గైడ్ మీకు ఏదైనా సరైన విధంగా చేయడం నేర్పుతుంది: క్రమంలో ఉన్న ఆదేశాలు, సరైన ఫలితం ఎలా ఉంటుంది, వైఫల్య రకాలు పేర్కొనబడతాయి. ఈ గైడ్ వేరు. ఈ రోజు, పూర్తిగా ఊహాత్మకంగా, డబ్బు, విద్యుత్, అహంకారం తయారు చేయగలిగే అత్యంత అసమర్థమైన డేటాసెంటర్ను మేము రూపొందించబోతున్నాము.
మాకు ఒక కొలమానం కావాలి, కాబట్టి పరిశ్రమ స్వంత కొలమానాన్ని మేము తీసుకుంటాము: PUE, Power Usage Effectiveness — మొత్తం సౌకర్య శక్తిని గణన పరికరాలకు వాస్తవంగా చేరే శక్తితో భాగిస్తే వచ్చే నిష్పత్తి. ఒక హైపర్స్కేల్ డేటాసెంటర్ 1.1 చుట్టూ నడుస్తుంది: దాదాపు ప్రతి వాట్ ఉపయోగకరమైన పని చేస్తుంది. ఒక మంచి ఎంటర్ప్రైజ్ సర్వర్ రూమ్ 1.5 నిర్వహిస్తుంది. మా లక్ష్యం 4.0 లేదా అంతకంటే ఎక్కువ, అంటే గణనకు ప్రతి వాట్కు, మరో మూడు వాట్లు వృథాగా మరణిస్తాయి. తీవ్రమైన గైడ్లు బ్యాకప్లను సూచించే విధంగా, మేము ఈ సంఖ్యను తరచుగా సూచిస్తాము.
సైట్ ఎంపిక: వేడి అనేది అసలైన ఉద్దేశం
ఒక నిజమైన డేటాసెంటర్లో కూలింగ్ అతిపెద్ద ఓవర్హెడ్, అందుకే మా డేటాసెంటర్ థర్మోడైనమిక్స్తో దాని స్వంత మైదానంలో పోరాడుతుంది. సరైన స్థానం ఒక అటారిక్. దక్షిణం వైపు ఎదురుగా. సూర్యకాంతి నేరుగా సర్వర్పై పడేలా ఒక స్కైలైట్ ఉండటం ఉత్తమం, తద్వారా ఆ యంత్రం దాని స్వంత వ్యర్థ వేడిని మరియు సూర్యుని వేడిని రెండింటినీ పొందుతుంది, మీ విద్యుత్ బిల్లు మరియు ఒక నక్షత్రం మధ్య ఒక సహకారం.
శీతాకాలంలో, కిటికీ తెరవడం ద్వారా కూలింగ్ నిర్వహించబడుతుంది. నిజమైన డేటాసెంటర్లు బయటి గాలిని నిజంగా ఉపయోగిస్తాయి — ఈ పద్ధతిని free cooling అంటారు, మరియు ఇది ఇంజనీరింగ్, ఫిల్టరింగ్, మరియు తేమ నియంత్రణతో నిర్వహించబడుతుంది. మేము దాన్ని ప్రమాదవశాత్తూ ఉపయోగిస్తాము, వర్షం, పుప్పొడి, మరియు ప్రతి త్రైమాసికానికి కనీసం ఒక గందరగోళ పక్షిని కూడా లోపలికి అనుమతించే కిటికీ ద్వారా.
నిజమైన నైపుణ్యం కోసం, ఒక ఎయిర్ కండిషనర్ ఇన్స్టాల్ చేయండి, తర్వాత దాని థర్మాస్టాట్ నుండి రెండు అడుగుల దూరంలో ఒక స్పేస్ హీటర్ ఉంచండి, ఎయిర్ కండిషనర్ లక్ష్యం కంటే రెండు డిగ్రీలు ఎక్కువ వేడిగా అమర్చండి. రెండు యంత్రాలు ఇప్పుడు నిరంతరం, శాశ్వతంగా, పూర్తి అభిప్రాయ భేదంతో నడుస్తాయి. విద్యుత్ సంస్థ క్రిస్మస్ సందర్భంగా మీకు ఒక కార్డు పంపుతుంది.
ఒక సర్వర్, పెద్దది, ప్రియమైనది
రిడండెన్సీ నిబద్ధతను పలుచన చేస్తుంది. మా డేటాసెంటర్లో ఖచ్చితంగా ఒకే ఒక్క సర్వర్ ఉంది, మరియు అది చాలా పెద్దది, ఎందుకంటే 512 GB RAM తో ఉన్న ఒకే యంత్రం మౌలిక సదుపాయంలా అనిపిస్తుంది, అయితే నాలుగు చిన్నవి ఒక to-do జాబితాలా అనిపిస్తాయి.
ఆ సర్వర్కు ఒక పేరు ఉంది. హోస్ట్నేమ్ కాదు — ఒక పేరు. సాధారణంగా Gandalf, లేదా Odin. మీరు Odinను డీకమిషన్ చేయలేరు. Odin ఐదు సంవత్సరాలుగా అప్ అయింది:
$ uptime
09:14:02 up 1847 days, 3:22, 1 user, load average: 6.41, 6.38, 6.40ఆ సంఖ్య గర్వంగా భావించే అంశం, అందుకే మీరు దానిని స్క్రీన్షాట్ తీసి పోస్ట్ చేస్తారు, మరియు ఆ స్క్రీన్షాట్ను చూసే ప్రతి దుర్మార్గుడు కూడా దానిని ఆకర్షణీయంగా భావిస్తాడు: 1,847 రోజుల అప్టైమ్ అంటే 1,847 రోజుల కర్నల్ లోపభేద్యాలు, ఎవరిచేతా ప్యాచ్ చేయబడనివి. రీబూట్ చేయడం ప్రశ్నే లేదు — ఒక రీబూట్ ద్వారా 2021లో మానవంగా ప్రారంభించబడి ఎప్పుడూ systemd యూనిట్లోకి రాయని సేవలు ఏవి అని మీరు కనుగొంటారు. ఎవరికీ ఏవి అని గుర్తు లేదు. ఆ సర్వర్ ఇప్పుడు సంస్థా చార్టులో భారాన్ని మోసే భాగంగా మారింది.
నిల్వ: వేగం, మరియు డేటాను కోల్పోయే ఇతర మార్గాలు
డిస్క్లు పనితీరు కోసం RAID 0లో కాన్ఫిగర్ చేయబడ్డాయి. ఆ సున్నా విఫలమవ్వగలిగే డిస్క్ల సంఖ్యను సూచిస్తుంది. గరిష్ట ప్రభావం కోసం, మిశ్రమ మూలాల నిల్వ అంతటా అర్రేను స్ట్రైప్ చేయండి: రెండు సరైన SSDలు, ఒక పాత స్పిన్నర్, మరియు ఒక సదస్సు నుండి వచ్చిన USB స్టిక్. ఆ అర్రే సదస్సు స్టిక్ అంతే నమ్మకమైనది, ఇదియే డిజైన్.
బ్యాకప్లు అదే అర్రేలో backup_final_v2_REAL పేరుగల ఒక డైరెక్టరీ ద్వారా నిర్వహించబడతాయి, ఇందులో మునుపటి నేమింగ్ స్కీమ్ యొక్క ఒక టార్బాల్ ఉంటుంది. ఆఫ్-సైట్ బ్యాకప్లు "set up off-site backups" అని రాసిన ఒక స్టికీ నోట్ ద్వారా సూచించబడతాయి, దీన్ని మీరు మీ ల్యాప్టాప్ మూతపై ఇంటికి తీసుకువెళ్లినప్పుడు, సాంకేతికంగా, అది ఆఫ్-సైట్లో నిల్వ చేయబడుతుంది.
ఒక సరైన ఫలితం ఇలా ఉంటుంది: df 97% వినియోగాన్ని నివేదిస్తుంది, మరియు తదుపరి స్ప్రింట్లో దానిని పరిష్కరించడానికి ఒక ప్రణాళిక ఉంటుంది.
నెట్వర్కింగ్: ప్రతిదానికీ ఒకే దారం
DNS సర్వర్ ఆ యంత్రంపైనే నడుస్తుంది, తద్వారా సర్వర్ డౌన్ అయినప్పుడు, ఎందుకు అయిందో తెలుసుకోవడానికి మీరు ఉపయోగించే DNS రికార్డ్ను కూడా దానితో పాటు తీసుకుపోతుంది. దీన్ని కన్సాలిడేషన్ అంటారు.
ఫైర్వాల్ 2021లో నిలిపివేయబడింది — ఏదో డీబగ్ చేయడానికి తాత్కాలికంగా. డీబగ్గింగ్ ముగిసింది; ఫైర్వాల్ తిరిగి రాలేదు. "తర్వాత సమయం ఆదా చేయడానికి" రూటర్లోని ప్రతి పోర్ట్ సర్వర్కు ఫార్వర్డ్ చేయబడింది, మరియు సౌకర్యవంతమైన రిమోట్ నిర్వహణ కోసం రూటర్ యాడ్మిన్ ప్యానెల్ దాని ఫ్యాక్టరీ పాస్వర్డ్తో WAN వైపు నుండి చేరుకోగలదు. మీది, మరియు ఇతరులది కూడా.
సర్వర్ ఇటీవల అటారిక్ ప్రమాణాల ప్రకారం కూడా అసాధారణంగా వేడిగా నడుస్తోంది, మరియు top అత్యంత బిజీగా ఉన్న ప్రాసెస్ xmrig అని చూపిస్తుంది. మేము ఉపయోగిస్తున్న మానిటరింగ్ సాధనం ఇదే అని మేము భావిస్తున్నాము. మేము దాన్ని ఇన్స్టాల్ చేయలేదు — పోర్ట్లు ఫార్వర్డ్ చేయబడిన తర్వాత త్వరలోనే అది స్వయంగా కనిపించింది, పర్యావరణ వ్యవస్థ బలంగా ఉందనే సంకేతంగా మేము దాన్ని భావిస్తున్నాము. అది రాత్రింబవళ మానిటర్ చేస్తుంది.
విద్యుత్ వినియోగదారుల పవర్ స్ట్రిప్ల గొలుసు ద్వారా వస్తుంది, వాటి మొత్తం పొడవు బ్రేకర్ ప్యానెల్కు నడిచే దూరాన్ని మించిపోతుంది — ఇది ఒక రకంగా సమర్థవంతంగా ఉంది, ఎందుకంటే మీరు బ్రేకర్ ప్యానెల్ను తరచుగా సందర్శిస్తారు.
సంక్లిష్టత ద్వారా రిడండెన్సీ
అవసరమైన చోట రిడండెన్సీని తిరస్కరించిన తర్వాత, మేము ఇప్పుడు అవసరం లేని చోట దాన్ని జోడిస్తున్నాము. కంపెనీ హోమ్పేజీ — ఒక స్టాటిక్ HTML ఫైల్ — పన్నెండు-నోడ్ Kubernetes క్లస్టర్ ద్వారా అందించబడుతుంది. ఇది ఇంజనీర్లు రెజ్యూమ్-డ్రైవెన్ ఆర్కిటెక్చర్ అని పిలిచే దాన్ని సాధిస్తుంది: పేజీ nginx అందించే అదే నలభై మిల్లీసెకండ్లలో లోడ్ అవుతుంది, కానీ ఇది ఇప్పుడు ఒక కన్సల్టెంట్ అవసరమయ్యే విధాలుగా విఫలమవ్వగలదు.
ఐసోలేషన్ కోసం, క్లస్టర్ స్వయంగా వర్చువల్ మెషిన్ లోపల వర్చువల్ మెషిన్ లోపల వర్చువల్ మెషిన్ లోపల నడుస్తుంది, ప్రతి పొర భద్రతను జోడిస్తుంది, టర్డకెన్ యొక్క ప్రతి పొర పక్షిని జోడించే విధంగా. కాంటాక్ట్ ఫారమ్ తొమ్మిది మైక్రోసర్వీస్లు. వాటిలో రెండు ఎప్పుడూ కాల్ చేయబడలేదు. వాటిలో ఒకటి భారాన్ని మోసేది, మరియు ఏది అని ఎవరికీ తెలియదు.
సేవగా హీటింగ్
ఒక ఆధునిక సర్వర్ విద్యుత్ను గణన మరియు వేడిగా మారుస్తుంది, మరియు మేము రెండవ అవుట్పుట్ను గరిష్టం చేయాలనుకుంటున్నాము. GPU లేని ఒక మీడియా సర్వర్ సర్వదా ప్రసిద్ధ ప్రయత్నం: ఒకే 4K స్ట్రీమ్ను CPU-ట్రాన్స్కోడింగ్ చేయడం పదహారు కోర్లను పిన్ చేస్తుంది మరియు ఒక చిన్న బెడ్రూమ్ను వేడెక్కిస్తుంది, ఒక స్పేస్ హీటర్ అదే సమయంలో సినిమాలను కూడా ప్లే చేస్తుంది. మహత్వాకాంక్ష గల ఆపరేటర్ CPU పై పెద్ద లాంగ్వేజ్ మోడల్ను నడపడానికి పట్టుదలతో ముందుకు సాగుతాడు — ఒక API తో ఉన్న 70-బిలియన్-పారామీటర్ స్పేస్ హీటర్, టోకెన్లను ఋతుపటి ప్రకారం కొలవడమే ఉత్తమమైన వేగంతో ఉత్పత్తి చేస్తుంది.
మానిటర్ స్వయంగా చూసుకుంటుంది
అబ్జర్వబిలిటీ ముఖ్యం, కాబట్టి మేము స్వయం-హోస్టెడ్ అప్టైమ్ మానిటర్ను డిప్లాయ్ చేస్తాము — అది మానిటర్ చేసే అదే సర్వర్పై. Odin మరణించినప్పుడు, మానిటర్ కూడా దానితో పాటు మరణిస్తుంది, మరియు ఇక్కడే సొగసైన భాగం ఉంది: ఏ అలర్ట్లు ఫైర్ అవ్వవు. అలర్ట్లు లేవు అంటే యావే లేవు. యావే లేవు అంటే కొలిచిన ప్రకారం పరిపూర్ణ అప్టైమ్. నెలవారీ నివేదిక ఎప్పుడూ ఇంత మంచిగా కనిపించలేదు.
పూర్తితనం కోసం, అలర్ట్ ఇమెయిల్లు Odin పైనే నడుస్తున్న ఒక మెయిల్ సర్వర్ ద్వారా రిలే చేయబడతాయి. అలర్టింగ్ పైప్లైన్ పూర్తిగా స్వయం-నిహితమైనది, తన తోకను తాను తినే పాము పూర్తిగా తిండి పడినట్లు.
అసౌకర్య భాగం
ఇదిగో, నేను వాయిదా వేసిన విభాగం. ఇది కల్పన కాదు. ప్రియమైన భర్తీ చేయలేని సర్వర్, అదే వాల్యూమ్లో బ్యాకప్లతో RAID 0, "తాత్కాలికంగా" నిలిపివేసిన ఫైర్వాల్, ఒకే పేజీకి సేవ చేసే Kubernetes క్లస్టర్, స్వయంగా చూసుకునే మానిటర్ — వీటిలో ప్రతి ఒక్కటి నేను ప్రొడక్షన్లో చూశాను. వాటిలో కొన్ని ఈ సంవత్సరం చూశాను. వాటిలో ఒకటి లేదా రెండు, నా ప్రారంభ రోజుల్లో, నేనే నిర్మించాను.
వాస్తవ సామర్థ్యత ఎలా ఉంటుందో చూడండి, అది విసుగు పుట్టించేది, అందుకే అది ఆ క్షణంలో వాదనలో ఓడిపోయి ఒక దశాబ్దంలో గెలుస్తుంది: మీరు గురించి ఆలోచించని PUE, ఎందుకంటే మరొకరు దాన్ని ఇంజనీర్ చేశారు. యజమాని స్వీయ-చిత్రానికి బదులుగా వాటి పనిభారానికి అనుగుణంగా పరిమాణంలో ఉన్న యంత్రాలు. ఒక బ్లాస్ట్ రేడియస్, పేలుడుకు ముందు పరిగణించబడింది. పరీక్షించబడిన బ్యాకప్లు, వాటిని రిస్టోర్ చేయడం ద్వారా, ఒక షెడ్యూల్పై, ఒక క్యాలెండర్ రిమైండర్ మరియు హీరోయిజం లేకుండా. విసుగు పుట్టించే రిడండెన్సీ — రెండు చౌకమైన వస్తువులు ఒక అద్భుతమైన వస్తువును ప్రతిసారీ ఓడిస్తాయి, నేను పేజ్ చేయబడిన ప్రతి వైఫల్యంలో.
మరియు మీరు నడపగలిగే అత్యంత సమర్థవంతమైన డేటాసెంటర్ మీరు నడపనిది. ఒక VPS విద్యుత్, కూలింగ్, రిడండెన్సీ, మరియు ఉదయం 3 గంటల హార్డ్వేర్ వైఫల్యాలను వాటిని స్కేల్లో, విసుగుగా చేసే వ్యక్తులకు అప్పగిస్తుంది, ఇది మౌలిక సదుపాయం సంపాదించగలిగే అత్యున్నత ప్రశంస — మరియు ఇది మీకు నిజంగా సరదాగా ఉండే భాగాన్ని వదిలివేస్తుంది, అది దాని పైన మీ స్వంత సేవలను నడపడం, మీరు పోగొట్టుకోగలిగే ఒక యంత్రంపై, ఇది మీరు ప్రయోగం చేయాల్సిన ఏకైక రకం.
FAQ
నేను వాస్తవంగా వీటిలో దేనినైనా చేయాలా?
లేదు. ఈ గైడ్లోని ప్రతి విభాగం వారాంతాల సంఖ్యతో ఒక డాక్యుమెంటెడ్ యాంటీ-ప్యాటర్న్. మీ ప్రస్తుత సెటప్ రెండు కంటే ఎక్కువ విభాగాలను పోలిఉంటే, ఈ FAQలోని చివరి ప్రశ్నకు దూకండి — ఇవ్వబడిన క్రమంలో, ఎందుకంటే ఆ క్రమమే ట్రయేజ్.
వాస్తవానికి మంచి PUE అంటే ఏమిటి?
హైపర్స్కేల్ డేటాసెంటర్లు 1.1 చుట్టూ నడుస్తాయి, ఒక బాగా నడిచే ఎంటర్ప్రైజ్ రూమ్ 1.4 నుండి 1.6 నిర్వహిస్తుంది, మరియు స్పేస్ హీటర్ శత్రుత్వంతో కూలింగ్ లేని ఒక క్లోసెట్ నిజంగా 3 కంటే ఎక్కువగా ఉండగలదు. మీరు ఇంట్లో 1.1తో అర్థవంతంగా పోటీ చేయలేరు, ఇది చేయగలిగే వ్యక్తి నుండి కంప్యూట్ను అద్దెకు తీసుకోవడానికి నిశ్శబ్ద ఆర్థిక వాదన.
సర్వర్లతో ఒక భవనాన్ని వేడి చేయడం నిజమైన విషయమా?
అవును — సరిగా చేస్తే. అనేక దేశాలలోని జిల్లా-హీటింగ్ ప్రాజెక్ట్లు హీట్ ఎక్స్ఛేంజర్ల ద్వారా డేటాసెంటర్ వ్యర్థ వేడిని స్వీకరించి, దాన్ని ఇంజనీరింగ్ మరియు ఒప్పందాలతో, డిజైన్ ప్రకారం గృహాలకు పైప్ చేస్తాయి. పైన ఉన్న వ్యంగ్యం సర్వర్ వేడి ఒక గదిని వేడెక్కించగలదు అని కాదు; అది ప్రమాదవశాత్తూ చేసి, ఆ ప్రమాదాన్ని ఒక వ్యూహంగా పిలవడం.
నా సర్వర్ ఇప్పటికే ఇలా ఉంది. నేను ముందుగా ఏమి చేయాలి?
బ్యాకప్లు, ఈ రాత్రి, సర్వర్ కాని ఎక్కడోకి, మరియు తర్వాత ఒక టెస్ట్ రిస్టోర్ — పరీక్షించని బ్యాకప్ అనేది ఒక పుకారు. రెండవది, ప్యాచ్లు మరియు మీరు నివారిస్తున్న రీబూట్, ఒక ప్రణాళిక చేసిన విండోలో, తద్వారా మీరు చూస్తున్నప్పుడు ఏమి విరిగిందో తెలుసుకుంటారు. మూడవది, ఒకే వైఫల్య బిందువును విభజించండి: DNS మరియు మానిటరింగ్ను ఆ బాక్స్ నుండి తరలించండి. మిగతా ప్రతిదీ ఒక ప్రశాంతమైన వారం కోసం వేచి ఉండగలదు; ఆ మూడు వేచి ఉండలేవు.