VPS मधील CPU steal time आणि noisy neighbour ओळखा
VPS ला CPU मिळत नसल्यास vmstat मधील st column वाचा. CPU overload आणि noisy neighbour यांतील फरक, तसेच steal time नेमके काय मोजते, उदाहरणांसह समजा.
CPU steal time प्रत्यक्षात काय मोजते
CPU steal time म्हणजे तुमचा virtual CPU चालण्यासाठी तयार होता, त्याला प्रतीक्षा करण्यासारखे काहीही नव्हते, पण hypervisor ने physical core दुसऱ्या guest ला दिला त्या वेळेचा हिस्सा. काम run queue मध्ये प्रतीक्षेत होते. Core दुसरीकडे वापरला जात होता. Linux हे cycles स्वतंत्रपणे मोजते आणि त्यांना st म्हणून दर्शवते. यामुळे “माझा server व्यस्त आहे” आणि “माझा server आपली पाळी येण्याची प्रतीक्षा करत आहे” यांमधील फरक समजतो.
हा counter असण्याचे संपूर्ण कारण हाच फरक आहे. तुमच्या स्वतःच्या processes नी CPU वर घालवलेला वेळ us (user) किंवा sy (system) म्हणून दर्शवला जातो. एखादे task storage वर blocked राहिलेला वेळ wa (I/O wait) म्हणून दर्शवला जातो. एखादा vCPU (virtual CPU) runnable अवस्थेत run queue वर असतो, त्याचे कोणतेही I/O प्रलंबित नसते आणि तरीही तो execute होत नसतो, तेव्हा तो st म्हणून दर्शवला जातो. तुमच्या server मधील कोणतीही गोष्ट ही स्थिती दूर करू शकत नाही, कारण scheduling चा निर्णय तुमच्या स्तराखाली, host वर घेतला जातो.
हे अनेक guests मध्ये एक physical machine VPS कसा share करतो यावरून थेट स्पष्ट होते. नेहमीचे कारण म्हणजे शेजारील guest. त्याच node वरील दुसरा guest मोठ्या प्रमाणात CPU वापरत असतो, त्यामुळे host cores तुमच्यात आणि त्या guest मध्ये वाटतो. आणखी एक कारण अनेकदा दुर्लक्षित राहते. अनेक providers shared vCPU ला physical core च्या काही अंशापुरते मर्यादित ठेवतात. अनेक hypervisors वर ही लागू केलेली मर्यादा guest च्या आत steal म्हणून मोजली जाते. त्यामुळे st चे उच्च मूल्य core तुम्हाला दिला गेला नव्हता हे सांगते. तो core कोणी वापरला हे मात्र नेहमी समजत नाही.
steal संख्या कुठून येते
तुमचा kernel स्वतःहून steal मोजू शकत नाही, कारण त्याला host दिसत नाही. Hypervisor ही माहिती देतो. KVM वर host प्रत्येक vCPU साठीचा counter guest सोबत share केलेल्या page मध्ये लिहितो. kernel CONFIG_PARAVIRT_TIME_ACCOUNTING सह build केलेला असल्यास guest ही मूल्ये एकत्र करतो. प्रत्येक distribution kernel मध्ये CONFIG_PARAVIRT_TIME_ACCOUNTING असते. Xen हीच माहिती त्याच्या runstate area द्वारे देतो. एकूण मूल्य userspace मध्ये नेमक्या एका ठिकाणी उपलब्ध होते:
head -1 /proc/statया cpu ओळीत boot पासून USER_HZ ticks मध्ये दहा counters असतात. त्यांचा क्रम असा आहे: user, nice, system, idle, iowait, irq, softirq, steal, guest, guest_nice. label नंतर steal हे आठवे मूल्य असते. खालील प्रत्येक tool, vmstat, top, mpstat आणि कोणताही Prometheus exporter, हेच field वाचतात आणि दोन samples चे percentage मध्ये रूपांतर करतात.
यातील एक परिणाम इतर सर्वांपेक्षा महत्त्वाचा आहे. Hypervisor ने counter कधीच export केला नाही, तर हे field कायम zero राहते. त्यामुळे त्यावर आधारित प्रत्येक tool host वर जास्त भार असतानाही शांत 0.0 दाखवतो. KVM आणि Xen हे field export करतात. VMware आणि Hyper-V यांसह इतर platforms वर steal दिसेल की नाही हे host काय उपलब्ध करून देतो आणि guest kernel कशाला support करतो यावर अवलंबून असते. त्यामुळे अशा ठिकाणी कायम zero दिसणे हे स्वतःहून काहीही सिद्ध करत नाही. zero वर विश्वास ठेवण्यापूर्वी platform तपासा:
systemd-detect-virtहा command platform चे नाव दाखवतो. उदाहरणार्थ kvm, xen, vmware किंवा microsoft. Bare metal वर तो none दाखवतो. Container मध्ये तो त्याऐवजी runtime दाखवतो. उदाहरणार्थ lxc, docker किंवा podman. यावरून container विषयी माहिती मिळते; त्याखालील machine विषयी नाही. kvm वर zero दिसणे म्हणजे host तुमच्यावर योग्य प्रकारे भार हाताळत असल्याचा वास्तविक पुरावा आहे. ज्या platform वर हे field कधीच भरले जात नाही, तिथे zero हा कोणताही पुरावा नाही. अशा वेळी प्रत्यक्ष कामाच्या timing चे मोजमाप करून contention ठरवावे लागते.
VPS वर CPU steal time कसा तपासायचा?
vmstat हे procps पॅकेजमधून येते. हे जवळजवळ प्रत्येक Ubuntu आणि Debian VPS image मध्ये उपलब्ध असते. काही minimal container image मध्ये ते नसते. त्यामुळे त्यावर अवलंबून राहण्यापूर्वी ते install करा.
sudo apt-get update
sudo apt-get install -y procps
vmstat --version
vmstat 1 5vmstat --version vmstat from procps-ng 4.0.4 सारखी ओळ दाखवते. ही ओळ दिसल्यास tool install केलेले आहे आणि तुम्ही kernel चे वास्तविक counters वाचत आहात. त्यानंतर vmstat 1 5 पाच reports दाखवते: पहिला reboot पासूनची सरासरी असतो आणि पुढील चार reports एक-एक सेकंदांचे samples असतात.
procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu-------
r b swpd free buff cache si so bi bo in cs us sy id wa st gu
1 0 0 3216484 98304 1284360 0 0 4 18 62 110 3 1 96 0 0 0
2 0 0 3216232 98304 1284360 0 0 0 0 248 431 6 2 84 0 8 0उजवीकडील cpu block मध्ये st column शोधा. सध्याच्या procps-ng build मध्ये KVM guest time साठी त्यानंतर gu column दाखवला जातो. त्यामुळे st हा उजवीकडून दुसरा column असतो, शेवटचा नाही. Header name पाहून column वाचा, कारण releases नुसार त्याची स्थिती बदलली आहे.
Reading अचूक ठेवण्यासाठी दोन गोष्टी लक्षात ठेवा. पहिली data line ही reboot पासूनची सरासरी असते, त्यामुळे ती वगळा आणि तिच्यानंतरच्या lines वाचा. तसेच एक sample म्हणजे मोजमाप नाही, कारण steal bursts मध्ये येतो. vmstat 1 61 चालवा. यामुळे त्या reboot-नंतरच्या line नंतर एक-एक सेकंदांचे साठ samples मिळतात. निष्कर्ष काढण्यापूर्वी पूर्ण एक मिनिट निरीक्षण करा.
top त्याच्या %Cpu(s) summary line वर तोच आकडा दाखवते. तो st म्हणून चिन्हांकित केलेल्या field मध्ये असतो:
%Cpu(s): 6.2 us, 2.1 sy, 0.0 ni, 83.9 id, 0.0 wa, 0.0 hi, 0.3 si, 7.5 stप्रत्येक core चा तपशील पाहण्यासाठी sysstat जोडा:
sudo apt-get install -y sysstat
mpstat -P ALL 1 5mpstat प्रत्येक CPU साठी एक row दाखवते. त्यात %steal column असतो. त्यामुळे प्रत्येक vCPU प्रभावित आहे की फक्त एक, हे दिसते. Support ticket साठी आवश्यक history मिळवण्यासाठी samples screen वरून वाचण्याऐवजी जतन करा:
date -u | tee -a ~/steal.log
mpstat -P ALL 1 5 | tee -a ~/steal.logतुम्हाला समस्या जाणवणाऱ्या तासांमध्ये ते cron मधून चालवा. त्यानंतर file मुळे provider ला “काल रात्री ते धीमे वाटले” असे सांगण्याऐवजी नेमके दहा मिनिटांचे पुरावे दाखवता येतील.
Steal चे आकडे काय दर्शवतात?
- स्थिर
0.0. सर्व काही निरोगी आहे किंवा प्लॅटफॉर्म steal नोंदवत नाही. आनंद व्यक्त करण्यापूर्वीsystemd-detect-virtने खात्री करा. - काही सेकंद टिकणारे काही टक्क्यांचे spikes. कोणत्याही shared node वर हे सामान्य आहे. शेजारच्या वापरकर्त्याचा build सुरू होतो किंवा host त्याचे backups चालवतो.
- shared plan वर सतत 1 ते 5 टक्के. हे अपेक्षित आहे. किंमत shared CPU चा वापर प्रतिबिंबित करते.
- सतत 5 ते 10 टक्के. मोजता येईल असा slowdown. पुरावे नोंदवण्यास सुरुवात करा आणि अनेक दिवसांतील समान वेळांची तुलना करा.
- एकावेळी अनेक तास 10 टक्क्यांपेक्षा जास्त. तुमच्या workload साठी node वर जास्त भार असू शकतो किंवा तुमच्या plan ची CPU limit लागू केली जात असू शकते. काही providers ही limit steal म्हणून नोंदवतात. या पातळीवर support ticket उघडणे किंवा दुसऱ्या plan वर जाणे योग्य ठरते.
या श्रेणींना specification ऐवजी मार्गदर्शक म्हणून वापरा, कारण कोणताही provider shared plan साठी steal ची हमी प्रकाशित करत नाही. तुम्ही चालवत असलेल्या workload च्या संदर्भात त्यांचे मूल्यमापन करा. overnight batch job मध्ये 15 टक्के steal असूनही कोणाच्या लक्षात येणार नाही. latency-sensitive सेवा सरासरी चिंताजनक दिसण्यापूर्वीच p99 मध्ये त्याचा परिणाम दाखवते. म्हणूनच trading bots सारखे latency-sensitive workloads dedicated cores वर ठेवावेत.
तुमच्यासाठी steal time ची किंमत किती?
ही गणना थोडक्यात करता येते. तुमच्या CPU वेळेतील s भाग घेतला गेला, तर ठरावीक CPU वेळ लागणाऱ्या job ला घड्याळानुसार 1 / (1 - s) पट अधिक वेळ लागतो. 60 seconds CPU वेळ लागणाऱ्या job साठी:
या तक्त्यामागील डेटा
[
{
"steal_percent": 0,
"wall_clock_seconds": "60.0"
},
{
"steal_percent": 3,
"wall_clock_seconds": "61.9"
},
{
"steal_percent": 8,
"wall_clock_seconds": "65.2"
},
{
"steal_percent": 15,
"wall_clock_seconds": "70.6"
},
{
"steal_percent": 25,
"wall_clock_seconds": "80.0"
},
{
"steal_percent": 40,
"wall_clock_seconds": "100.0"
}
]3 टक्के steal time हा सामान्य shared-plan reading आहे. या स्थितीत job ला 61.9 seconds लागतात, 60.0 seconds ऐवजी. यासाठी कोणी ticket उघडत नाही. 8 टक्क्यांवर हा वेळ 65.2 seconds होतो. 40 टक्क्यांवर त्याच job ला 100.0 seconds लागतात. पूर्वी रिकामी होणारी queue वाढू लागते.
ही calculated values आहेत, measurements नाहीत. या model मध्ये एकच runnable thread आहे आणि संपूर्ण interval मध्ये steal time समान प्रमाणात पसरलेला आहे असे गृहीत धरले आहे. प्रत्यक्ष services ला हा परिणाम curve पेक्षा अधिक गंभीर जाणवतो. कारण stolen slice एखाद्या request च्या मध्यभागी येतो. त्यानंतर त्या request ची वाट पाहणाऱ्या प्रत्येक घटकाला तो delay पुन्हा सहन करावा लागतो. Formula ऐवजी तुमचा स्वतःचा आकडा मिळवण्यासाठी, शांत वेळेत आणि पुन्हा व्यस्त वेळेत VPS चे benchmark घ्या आणि दोन्ही windows साठी st नोंदवा.
हे steal आहे की आणखी काही?
Steal चे इतर लक्षणांशी सहज गोंधळ होऊ शकतो. त्याच vmstat ओळीवरील counters एकत्र वाचा.
stजास्त असतानाrआणिusकमी राहतात: host तुम्हाला CPU core देत नाही. हे steal आहे.- तुमच्या vCPU संख्येपेक्षा
rलक्षणीयरीत्या जास्त आहे,usजास्त आहे आणिstजवळजवळ शून्य आहे: तुमचे स्वतःचे CPUs हाताळू शकतील त्यापेक्षा जास्त काम तुम्ही चालवत आहात.rची तुलनाnprocच्या output शी करा. ही तुमची स्वतःची oversubscription आहे; शेजारी tenant याला कारणीभूत नाही. waजास्त आणिstजवळजवळ शून्य आहे: tasks storage वर blocked आहेत. ही वेगळी समस्या असून तिचे निराकरणही वेगळे आहे.- Load average जास्त असताना
stआणिusदोन्ही कमी आहेत: load figure मध्ये uninterruptible tasks देखील मोजले जातात. त्यामुळे हे सहसा CPU ऐवजी अडकलेल्या device किंवा प्रतिसाद न देणाऱ्या network mount कडे निर्देश करते.
Burstable plans साठी स्वतंत्रपणे विचार करणे आवश्यक आहे. तुम्ही idle असताना त्यामध्ये credit balance जमा होते आणि busy असताना ते कमी होते. ते संपल्यावर provider तुम्हाला baseline rate वर मर्यादित ठेवतो. काही platforms वर ही throttle स्थिती steal म्हणून नोंदवली जाते. इतर platforms वर ती आतून दिसत नाही आणि तुम्हाला फक्त प्रति सेकंद कमी cycles मिळतात. शेजारी tenant कारणीभूत आहे असे ठरवण्यापूर्वी plan description वाचा.
कंटेनरमध्ये steal time का दिसत नाही
Steal ही virtual machine ची विशेषता आहे; तिच्यामध्ये चालणाऱ्या कंटेनरची नाही. तुमच्या स्वतःच्या VPS वरील Docker कंटेनर host चे /proc सामायिक करतो. त्यामुळे कंटेनरमध्ये वाचलेले st मूल्य हे VPS वरील steal असते, आणि तेच तुम्हाला अपेक्षित आहे. VPS म्हणून विकली जाणारी container-based virtualisation वेगळ्या पद्धतीने कार्य करते. lxcfs लागू असताना, कंटेनरमधील /proc/stat ची गणना cgroup accounting वरून केली जाते. त्यामुळे steal चे मूल्य रचनेनुसार शून्य असते. फक्त कंटेनरच्या आतून metrics गोळा करणारा monitoring stack, त्याखालील physical machine वर संसाधनांची कमतरता असतानाही, स्थिर आणि शांत शून्य दाखवू शकतो.
कंटेनरमध्ये समान अर्थ दर्शवणारा counter म्हणजे CPU quota throttling. cgroup v2 वर:
cat /sys/fs/cgroup/cpu.statnr_throttled मध्ये group ने CPU quota गाठलेल्या enforcement periods ची संख्या मोजली जाते. throttled_usec मध्ये तो throttled राहिलेला एकूण वेळ मोजला जातो. nr_throttled वाढत असल्यास तुमची process runnable होती, परंतु चालत नव्हती. हा अनुभव steal सारखाच आहे, मात्र त्याचे कारण तुम्ही स्वतः लागू केलेली मर्यादा आहे. Host ला दोष देण्यापूर्वी स्वतःच्या मर्यादा तपासा. विशेषतः compose file मध्ये CPU limits देऊन तुम्ही VPS वर Docker मध्ये तुमच्या सेवा चालवत असल्यास हे तपासणे महत्त्वाचे आहे. Layered virtualisation मुळे वेळ नष्ट होण्याचे आणखी एक ठिकाण निर्माण होते. तुमच्या VPS मधील VM ला स्वतःचा steal आणि scheduling delay, दोन्ही सहन करावे लागतात. तुम्ही VPS वर nested virtualisation चालवत असल्यास हे लक्षात ठेवा.
सतत steal बाबत काय करावे
guest मधील कोणतीही setting steal समस्या दूर करू शकत नाही, कारण हा निर्णय घेणारा scheduler guest च्या बाहेर चालतो. Kernel upgrade केल्यानेही हे बदलत नाही: Linux kernel 7.2 मध्ये जोडलेले cache aware scheduling तुम्हाला प्रत्यक्षात दिलेल्या cores वर तुमची tasks पुन्हा मांडते; शेजारच्या guest ने आधीच घेतलेले CPU cycles ती परत मिळवू शकत नाही. यासाठी चार प्रत्यक्ष उपाय आहेत.
प्रथम पुरावे गोळा करा. timestamps UTC मध्ये नोंदवा. प्रत्येक घटनेचा कालावधी, ती किती वेळा पुन्हा घडते आणि mpstat मध्ये एक vCPU प्रभावित दिसतो की सर्व vCPUs, हे नोंदवा. एका आठवड्याचे logged samples screenshot पेक्षा अधिक उपयुक्त असतात.
ही माहिती देऊन ticket उघडा. दोन थेट प्रश्न विचारा: या कालावधीत node oversubscribed आहे का, आणि माझे instance दुसऱ्या node वर हलवता येईल का. vmstat चे output आणि अचूक वेळा जोडा. पुन्हा निर्माण करता येणाऱ्या कालावधीवर providers कार्यवाही करतात. फक्त server slow आहे असे सांगणाऱ्या ticket ला त्या कालावधीची माहिती मागणारे उत्तर मिळते. या कामापैकी किती भाग तुम्ही provider कडे सोपवू शकता, हा managed आणि unmanaged VPS मधील व्यावहारिक फरकांपैकी एक आहे.
Migration मागा. guest ला कमी load असलेल्या node वर हलवणे हे provider साठी नेहमीचे काम आहे आणि त्यासाठी सहसा अल्प reboot पुरेसा असतो. या उपायासाठी अतिरिक्त खर्च होत नाही. एकाच node वर एकाच वेळी अनेक heavy neighbours असणे, ही सामान्य परिस्थिती यात दूर होते.
Contention साठी स्वतंत्र CPU capacity घ्या. dedicated vCPU plan तुमच्या instance साठी CPU capacity reserve करते. Provider नुसार यात full core किंवा full hardware thread मिळतो. त्यामुळे neighbours तुमचे cycles घेणे थांबवतात आणि counter शून्यावर किंवा त्याच्या अगदी जवळ राहतो. Hypervisor ची स्वतःची housekeeping काही लहान residue ठेवू शकते. याचा मासिक खर्च अधिक असतो. Variance सहन न करू शकणाऱ्या workload साठी हा योग्य उपाय आहे. तोही पुरेसा नसेल, किंवा memory bandwidth देखील फक्त तुमच्यासाठी हवी असेल, तर पुढील पर्याय म्हणजे VPS ऐवजी dedicated server.
यापैकी कोणत्याही उपायाची प्रतीक्षा करत असताना steal मुळे होणारा परिणाम कमी करा. तुमच्याकडे जितके vCPUs आहेत त्यापेक्षा कमी worker threads चालवा, कारण core मिळू न शकणारे threads फक्त context switches वाढवतात. Node शांत असलेल्या वेळेत batch work चालवा; तुमचा log आता त्या वेळा दाखवतो. त्यानंतर त्याच command ने त्याच कालावधीत पुन्हा मोजमाप करा. त्यामुळे अंदाज न लावता बदलाचा परिणाम झाला की नाही हे सांगता येईल.
FAQ
VPS वरील सामान्य CPU steal time किती असतो?
Shared plan मध्ये अल्पकाळ होणारे spikes आणि सुमारे 5 percent पेक्षा कमी असलेली सततची value सामान्य असते, कारण shared CPU मध्ये host भौतिक cores वेगवेगळ्या guests मध्ये विभागतो. अनेक तास double digits value सतत दिसत असेल, तर ते सामान्य नाही आणि त्यासाठी ticket नोंदवणे योग्य आहे. Dedicated vCPU plan मध्ये अपेक्षित reading 0.0 च्या बरोबरीची किंवा त्याच्या अगदी जवळची असते, कारण hypervisor housekeeping साठी तरीही CPU चा लहान भाग वापरला जाऊ शकतो. त्यामुळे त्यापेक्षा जास्त steal time सतत दिसत असेल, तर त्याची नोंद करून समस्या कळवा. ही संख्या तुमच्या स्वतःच्या workload च्या संदर्भात तपासा: latency-sensitive API च्या तुलनेत overnight batch job steal time अधिक सहज सहन करू शकते.
जास्त steal time मोठा plan घेतल्याने कमी होईल का?
स्वतःहून नाही. त्याच shared node वर अधिक vCPUs घेतल्यास समान contended physical cores साठी स्पर्धा करणारे virtual CPUs वाढतात आणि percentage पूर्वीसारखीच राहू शकते. Steal time जवळजवळ पूर्णपणे दूर करण्यासाठी dedicated CPU allocation किंवा कमी load असलेल्या node वर migration आवश्यक आहे. व्यस्त machine मधील मोठा हिस्सा घेतला तरी तो व्यस्त machine मधीलच हिस्सा असतो.
VPS स्पष्टपणे slow असताना steal time 0 का दाखवतो?
याची दोन सामान्य कारणे आहेत. Hypervisor हा counter अजिबात export करत नसू शकतो. काही platforms वर host आणि guest kernel नुसार असे घडते. त्यामुळे host वर काहीही स्थिती असली तरी field zero राहते. तुम्ही कोणत्या platform वर आहात हे पाहण्यासाठी systemd-detect-virt चालवा. अन्यथा bottleneck दुसरीकडे असतो: storage waits तपासण्यासाठी wa तपासा, तुमच्या स्वतःच्या overload साठी r आणि nproc यांची तुलना करा, आणि quota throttling तपासण्यासाठी containers मध्ये /sys/fs/cgroup/cpu.stat वाचा.
माझ्या server मधून steal time कमी करता येईल का?
Guest मधून host चे scheduling बदलता येत नाही. त्याचा परिणाम किती होतो ते मात्र कमी करता येते. तुमच्याकडे असलेल्या vCPUs पेक्षा कमी worker threads चालवा, जेणेकरून उपलब्ध नसलेल्या core ची वाट पाहत run queue वर कमी काम साचेल. Node वर कमी load असलेल्या वेळेत batch jobs चालवा. Results cache करा, जेणेकरून प्रत्येक request साठी CPU ची गरज कमी होईल. Steal time प्रत्यक्षात दूर करणारे बदल, म्हणजे दुसऱ्या node वर migration किंवा dedicated cores, provider च्या बाजूने करावे लागतात.