علت بالا رفتن CPU steal time در سرور مجازی و همسایههای
شاخص CPU steal time نشاندهنده زمان از دست رفته vCPU شماست. با دستور vmstat و بررسی ستون st، تفاوت بین بار کاری سرور خود و تاثیر منفی همسایههای پرمصرف را تشخیص دهید.
معنای واقعی CPU steal time
زمان CPU steal سهمی از زمان است که CPU مجازی شما آماده اجرا بوده و هیچ انتظاری نداشته است، اما هایپروایزر هسته فیزیکی را به یک مهمان دیگر اختصاص داده است. کار در صف انتظار قرار گرفته و هسته در جای دیگری مشغول بوده است. لینوکس این چرخهها را بهطور جداگانه محاسبه کرده و آنها را به عنوان st گزارش میکند؛ این همان روشی است که با آن متوجه میشوید «سرور من مشغول است» یا «سرور من منتظر نوبت خود است».
همین تفاوت، دلیل اصلی وجود این شمارنده است. زمانی که پردازشهای خودتان روی CPU صرف میکنند به عنوان us (کاربر) یا sy (سیستم) گزارش میشود. زمانی که یک تسک به دلیل ذخیرهسازی مسدود شده است، به عنوان wa (انتظار I/O) گزارش میشود. یک vCPU (CPU مجازی) که قابل اجراست، در صف اجرا قرار دارد، هیچ I/O معلقی ندارد و با این حال اجرا نمیشود، به عنوان st گزارش میشود. هیچ چیزی در داخل سرور شما نمیتواند این وضعیت را برطرف کند، زیرا تصمیم زمانبندی یک لایه پایینتر از شما، یعنی در سطح میزبان (host) گرفته میشود.
این موضوع مستقیماً از نحوه اشتراکگذاری یک ماشین فیزیکی توسط VPS بین چندین مهمان ناشی میشود. دلیل معمول آن یک همسایه است: مهمان دیگری روی همان نود در حال اجرای پردازشهای سنگین است، بنابراین میزبان هستهها را بین شما تقسیم میکند. دلیل دومی هم وجود دارد که اغلب نادیده گرفته میشود. بسیاری از ارائهدهندگان، یک vCPU اشتراکی را به کسری از یک هسته فیزیکی محدود میکنند و در چندین هایپروایزر، آن سقف اعمالشده به عنوان steal در داخل مهمان محاسبه میشود. بنابراین، یک مقدار بالای st به شما میگوید که هسته به شما اختصاص داده نشده است. این شاخص همیشه به شما نمیگوید که چه کسی آن را اشغال کرده است.
منشأ عدد steal
هسته سیستمعامل شما نمیتواند steal را بهتنهایی اندازهگیری کند، زیرا دیدی نسبت به میزبان (host) ندارد. هایپروایزر (hypervisor) این اطلاعات را به آن اعلام میکند. در KVM، میزبان یک شمارنده برای هر vCPU را در صفحهای که با مهمان (guest) به اشتراک گذاشته شده مینویسد و مهمان زمانی که هسته با CONFIG_PARAVIRT_TIME_ACCOUNTING کامپایل شده باشد (که تمام هستههای توزیعهای استاندارد اینگونه هستند)، آن را جمع میزند. Xen نیز همین اطلاعات را از طریق ناحیه runstate گزارش میدهد. مجموع این مقادیر دقیقاً در یک مکان به فضای کاربری (userspace) میرسد:
head -1 /proc/statآن خط cpu شامل ده شمارنده است که بر حسب تیکهای USER_HZ از زمان بوت محاسبه شدهاند و به این ترتیب هستند: user، nice، system، idle، iowait، irq، softirq، steal، guest، guest_nice. مقدار steal هشتمین عدد پس از برچسب است. تمام ابزارهای زیر، یعنی vmstat، top، mpstat و هر Prometheus exporter، همان فیلد را میخوانند و با مقایسه دو نمونه، آن را به درصد تبدیل میکنند.
یک پیامد از بقیه مهمتر است. اگر هایپروایزر هرگز این شمارنده را صادر نکند، فیلد برای همیشه صفر باقی میماند و تمام ابزارهای مبتنی بر آن، در حالی که میزبان تحت فشار شدید است، مقدار 0.0 را گزارش میدهند. KVM و Xen این مقدار را صادر میکنند. در پلتفرمهای دیگر، از جمله VMware و Hyper-V، اینکه آیا steal را مشاهده میکنید یا خیر، به آنچه میزبان در معرض دید قرار میدهد و آنچه هسته مهمان پشتیبانی میکند بستگی دارد؛ بنابراین صفر بودن این مقدار در آن پلتفرمها بهتنهایی چیزی را اثبات نمیکند. پیش از اعتماد به عدد صفر، پلتفرم را بررسی کنید:
systemd-detect-virtاین دستور نام پلتفرم، مانند kvm، xen، vmware یا microsoft و در حالت bare metal مقدار none را چاپ میکند. داخل یک کانتینر، این دستور به جای آن، runtime را گزارش میدهد، مانند lxc، docker یا podman که درباره کانتینر به شما اطلاعات میدهد و نه درباره ماشینی که زیر آن قرار دارد. روی kvm، عدد صفر مدرک واقعی بر این است که میزبان با شما بهخوبی رفتار میکند. در پلتفرمی که هرگز این فیلد را پر نمیکند، عدد صفر هیچ مدرکی نیست و برای تشخیص contention باید زمان انجام کارهای واقعی را ملاک قرار داد.
چگونه میتوانم CPU steal time را در یک VPS بررسی کنم؟
vmstat از بسته procps میآید. این ابزار تقریباً در تمام ایمیجهای VPS اوبونتو و دبیان موجود است، اما در برخی ایمیجهای حداقلی کانتینر وجود ندارد؛ بنابراین پیش از آنکه به آن وابسته شوید، آن را نصب کنید.
sudo apt-get update
sudo apt-get install -y procps
vmstat --version
vmstat 1 5vmstat --version خطی مانند vmstat from procps-ng 4.0.4 را چاپ میکند. اگر این خروجی نمایش داده شد، ابزار نصب شده است و شما در حال خواندن شمارندههای واقعی هسته هستید. vmstat 1 5 سپس پنج گزارش چاپ میکند: اولین گزارش میانگین از زمان بوت است و چهار گزارش بعدی نمونههای یکثانیهای هستند.
procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu-------
r b swpd free buff cache si so bi bo in cs us sy id wa st gu
1 0 0 3216484 98304 1284360 0 0 4 18 62 110 3 1 96 0 0 0
2 0 0 3216232 98304 1284360 0 0 0 0 248 431 6 2 84 0 8 0ستون st را در بلوک cpu در سمت راست پیدا کنید. نسخههای فعلی procps-ng یک ستون gu را بعد از آن برای زمان مهمان KVM چاپ میکنند، بنابراین st به جای آخرین ستون، دومین ستون از سمت راست است. ستون را بر اساس نام سرتیتر آن بخوانید، زیرا این موقعیت بین نسخههای مختلف تغییر کرده است.
دو عادت باعث میشود خوانش شما دقیق باقی بماند. اولین خط داده، میانگین از زمان بوت است، بنابراین آن را نادیده بگیرید و خطوط بعد از آن را بخوانید. همچنین یک نمونه، اندازهگیری محسوب نمیشود، زیرا steal به صورت انفجاری رخ میدهد: دستور vmstat 1 61 را اجرا کنید که شصت نمونه یکثانیهای را پس از آن خطِ «از زمان بوت» ارائه میدهد و قبل از نتیجهگیری، یک دقیقه کامل را مشاهده کنید.
top همان عدد را در خط خلاصه %Cpu(s) خود، در فیلد مشخصشده با st گزارش میدهد:
%Cpu(s): 6.2 us, 2.1 sy, 0.0 ni, 83.9 id, 0.0 wa, 0.0 hi, 0.3 si, 7.5 stبرای جزئیات به تفکیک هسته، sysstat را اضافه کنید:
sudo apt-get install -y sysstat
mpstat -P ALL 1 5mpstat یک ردیف برای هر CPU با ستون %steal چاپ میکند که نشان میدهد آیا تمام vCPUها تحت تأثیر قرار گرفتهاند یا فقط یکی از آنها. برای تاریخی که یک تیکت پشتیبانی نیاز دارد، به جای خواندن از روی صفحه، نمونهها را ذخیره کنید:
date -u | tee -a ~/steal.log
mpstat -P ALL 1 5 | tee -a ~/steal.logآن را از طریق cron در ساعاتی که مشکوک هستید اجرا کنید؛ این فایل تفاوت بین گفتنِ «دیشب احساس کندی میکرد» به ارائهدهنده خدمات و نشان دادن دقیق آن ده دقیقه به آنهاست.
اعداد steal چه معنایی دارند؟
- یک
0.0ثابت. وضعیت سالم است، یا پلتفرم اصلاً steal را گزارش نمیکند. پیش از خوشحالی، باsystemd-detect-virtتأیید کنید. - جهشهای چند درصدی که چند ثانیه طول میکشند. در هر نود اشتراکی عادی است. بیلد یکی از همسایهها شروع شده یا میزبان در حال اجرای بکآپهای خود است.
- 1 تا 5 درصد پایدار در یک پلن اشتراکی. مورد انتظار است. قیمت پلنهای اشتراکی، بازتابدهنده CPU اشتراکی است.
- 5 تا 10 درصد پایدار. یک کندی که میتوانید اندازهگیری کنید. شروع به ثبت شواهد کنید و ساعات مشابه را در طول چندین روز مقایسه کنید.
- بیش از 10 درصد برای ساعتهای متوالی. یا نود برای حجم کاری شما بیش از حد شلوغ است یا محدودیت CPU پلن شما در حال اعمال است و برخی ارائهدهندگان آن محدودیت را به عنوان steal گزارش میکنند. این سطحی است که توجیهکننده ارسال تیکت پشتیبانی یا جابهجایی است.
این بازهها را به عنوان یک راهنمای خواندن در نظر بگیرید، نه یک مشخصات فنی؛ زیرا هیچ ارائهدهندهای تضمین steal برای پلنهای اشتراکی منتشر نمیکند. آنها را با آنچه اجرا میکنید بسنجید. یک تسک دستهای (batch job) شبانه میتواند 15 درصد steal را تحمل کند و کسی متوجه نشود. یک سرویس حساس به تأخیر (latency-sensitive)، این موضوع را خیلی زودتر از زمانی که میانگین نگرانکننده به نظر برسد، در p99 نشان میدهد؛ به همین دلیل است که بارهای کاری حساس به تأخیر مانند رباتهای معاملاتی باید روی هستههای اختصاصی اجرا شوند.
هزینه steal time برای شما چقدر است؟
محاسبه آن کوتاه است. اگر کسری از زمان CPU شما به میزان s گرفته شود، کاری که به مقدار ثابتی از CPU نیاز دارد، 1 / (1 - s) برابر بیشتر در زمان واقعی (wall clock) طول میکشد. برای کاری که به 60 ثانیه زمان CPU نیاز دارد:
دادههای پشت این نمودار
[
{
"steal_percent": 0,
"wall_clock_seconds": "60.0"
},
{
"steal_percent": 3,
"wall_clock_seconds": "61.9"
},
{
"steal_percent": 8,
"wall_clock_seconds": "65.2"
},
{
"steal_percent": 15,
"wall_clock_seconds": "70.6"
},
{
"steal_percent": 25,
"wall_clock_seconds": "80.0"
},
{
"steal_percent": 40,
"wall_clock_seconds": "100.0"
}
]در نرخ 3 درصد، که یک مقدار معمول در پلنهای اشتراکی است، آن کار به جای 60.0 ثانیه، 61.9 ثانیه طول میکشد. هیچکس برای این مقدار تیکت پشتیبانی باز نمیکند. در نرخ 8 درصد، این زمان 65.2 ثانیه است. در نرخ 40 درصد، همان کار به 100.0 ثانیه زمان نیاز دارد و صفی که قبلاً تخلیه میشد، حالا شروع به رشد میکند.
اینها مقادیر محاسبهشده هستند، نه اندازهگیریشده. این مدل فرض میکند که یک thread قابلاجرا وجود دارد و steal بهطور یکنواخت در طول بازه زمانی پخش شده است. سرویسهای واقعی اغلب عملکردی بدتر از این منحنی نشان میدهند، زیرا یک slice دزدیدهشده (stolen slice) در میانه یک درخواست رخ میدهد و تأخیر آن دوباره توسط تمام مواردی که منتظر آن درخواست هستند، پرداخت میشود. برای بهدست آوردن عدد واقعی خودتان به جای استفاده از فرمول، در یک ساعت خلوت و دوباره در یک ساعت شلوغ، VPS خود را بنچمارک کنید و در هر دو بازه زمانی، مقدار st را ثبت کنید.
آیا این steal است یا مسئلهای دیگر؟
تشخیص steal از سایر علائم ممکن است دشوار باشد. شمارندهها را با هم و در یک خط vmstat بخوانید.
stبالا است در حالی کهrوusپایین باقی میمانند: میزبان (host) هسته پردازشی را در اختیار شما قرار نمیدهد. این همان steal است.rبسیار بالاتر از تعداد vCPU شما است، در حالی کهusبالا وstنزدیک به صفر است: شما حجم کاری بیش از توان پردازندههای خود اجرا میکنید.rرا با خروجیnprocمقایسه کنید. این بیشفروشی (oversubscription) توسط خود شماست، نه یک همسایه.waبالا است در حالی کهstنزدیک به صفر است: وظایف (tasks) در بخش ذخیرهسازی مسدود شدهاند، که مشکلی متفاوت با راهحلی متفاوت است.- میانگین بار (load average) بالا است در حالی که
stوusهر دو پایین هستند: عدد بار، وظایف غیرقابلوقفه (uninterruptible) را نیز میشمارد، بنابراین این وضعیت معمولاً به یک دستگاه گیر کرده یا یک mount شبکه معلق اشاره دارد تا به CPU.
طرحهای قابلانفجار (Burstable plans) نیاز به توجه ویژهای دارند. این طرحها به شما موجودی اعتباری میدهند که در زمان بیکاری افزایش و در زمان فعالیت کاهش مییابد، و هنگامی که تمام شود، ارائهدهنده شما را در نرخ پایه محدود میکند. در برخی پلتفرمها، این محدودیت (throttle) به عنوان steal گزارش میشود. در برخی دیگر، این موضوع از داخل سیستم قابل مشاهده نیست و شما صرفاً چرخههای کمتری در ثانیه دریافت میکنید. پیش از آنکه نتیجه بگیرید همسایهای مقصر است، توضیحات طرح خود را مطالعه کنید.
چرا یک کانتینر steal time را گزارش نمیکند
Steal ویژگی ماشین مجازی است، نه کانتینری که داخل آن اجرا میشود. یک کانتینر Docker روی VPS شما از /proc میزبان استفاده میکند، بنابراین مقدار st که در داخل آن خوانده میشود، همان steal مربوط به VPS است که همان چیزی است که به دنبالش هستید. مجازیسازی مبتنی بر کانتینر که به عنوان VPS فروخته میشود، رفتار متفاوتی دارد. با وجود lxcfs، مقدار /proc/stat در داخل کانتینر از روی محاسبات cgroup سنتز میشود و مقدار steal بهطور ساختاری صفر است. یک استک مانیتورینگ که فقط از داخل کانتینر داده جمعآوری میکند، ممکن است عدد صفرِ ثابت و آرامی را نشان دهد، در حالی که ماشین فیزیکی زیرین در حال کمبود منابع است.
در داخل یک کانتینر، شمارندهای که همان معنا را دارد، CPU quota throttling است. در cgroup v2:
cat /sys/fs/cgroup/cpu.statnr_throttled دورههای اعمال محدودیتی را میشمارد که در آن گروه به سقف سهمیه CPU خود رسیده است و throttled_usec مجموع زمانی را که در حالت فریز سپری کرده، نشان میدهد. یک nr_throttled رو به افزایش به این معنی است که پردازش شما قابل اجرا بوده اما اجرا نشده است؛ تجربهای مشابه steal، اما ناشی از محدودیتی که خودتان تعیین کردهاید. پیش از مقصر دانستن میزبان، محدودیتهای خود را بررسی کنید، بهویژه اگر سرویسهای خود را در Docker روی یک VPS با محدودیتهای CPU در فایل compose اجرا میکنید. مجازیسازی لایهای یک مکان دیگر برای ناپدید شدن زمان اضافه میکند، زیرا یک VM داخل VPS شما، علاوه بر تأخیر زمانبندی خودش، هزینه steal شما را نیز میپردازد. اگر مجازیسازی تو در تو (nested) روی یک VPS اجرا میکنید، این نکته را در نظر داشته باشید.
چگونه با steal پایدار مقابله کنیم
هیچ تنظیمی در داخل guest نمیتواند steal را برطرف کند، زیرا زمانبندی (scheduler) که این تصمیم را میگیرد، خارج از guest اجرا میشود. ارتقای هسته (kernel) نیز تغییری ایجاد نمیکند: زمانبندی آگاه از کش که در هسته لینوکس 7.2 اضافه شد، وظایف شما را در هستههایی که واقعاً به شما اختصاص داده شدهاند مرتب میکند و نمیتواند چرخههایی را که یک همسایه قبلاً اشغال کرده است، بازیابی کند. چهار اقدام واقعی وجود دارد.
ابتدا شواهد را جمعآوری کنید. زمانها را به UTC ثبت کنید، مدت زمان هر دوره، میزان تکرار آن و اینکه آیا mpstat نشان میدهد یک vCPU تحت تأثیر قرار گرفته یا همه آنها را یادداشت کنید. یک هفته نمونهبرداری ثبتشده، ارزشمندتر از یک اسکرینشات است.
با استفاده از آن دادهها یک تیکت باز کنید. دو سؤال مستقیم بپرسید: آیا این نود در این بازههای زمانی بیش از حد اشتراکگذاری (oversubscribed) شده است و آیا میتوان instance من را جابهجا کرد؟ خروجی vmstat و زمانهای دقیق را در تیکت قرار دهید. ارائهدهندگان بر اساس یک بازه زمانی قابلتکرار عمل میکنند و تیکتی که فقط میگوید سرور کند است، با پاسخی مواجه میشود که از شما درخواست ارائه مستندات میکند. اینکه چه مقدار از این کار را میتوانید به ارائهدهنده واگذار کنید، یکی از تفاوتهای عملی بین یک VPS مدیریتشده و مدیریتنشده است.
درخواست مهاجرت (migration) کنید. انتقال یک guest به یک نود با بار کمتر، کاری روتین برای ارائهدهنده است و معمولاً یک reboot کوتاه است. این راهکاری است که هزینهای ندارد و موارد رایجی را که در آن یک نود بهطور اتفاقی چندین همسایه سنگین را همزمان میزبانی میکند، حل میکند.
با خرید منابع، مشکل رقابت (contention) را حذف کنید. یک پلن vCPU اختصاصی، ظرفیت CPU را برای instance شما رزرو میکند (بسته به ارائهدهنده، یک هسته کامل یا یک thread سختافزاری کامل)، بنابراین همسایهها دیگر چرخههای شما را اشغال نمیکنند و شمارنده در صفر یا بسیار نزدیک به آن باقی میماند. کارهای داخلی خودِ hypervisor ممکن است همچنان مقدار ناچیزی باقی بگذارد. این کار هزینه ماهانه بیشتری دارد و پاسخ صادقانهای برای workloadهایی است که نمیتوانند نوسان را تحمل کنند. اگر این هم کافی نیست، یا میخواهید پهنای باند حافظه را نیز بهطور کامل در اختیار داشته باشید، گام بعدی استفاده از یک سرور اختصاصی بهجای VPS است.
در حالی که منتظر هر یک از این اقدامات هستید، آسیب ناشی از steal را کاهش دهید. تعداد threadهای کاری کمتری نسبت به vCPUهای خود اجرا کنید، زیرا threadهایی که نمیتوانند هسته دریافت کنند، فقط باعث افزایش context switch میشوند. کارهای دستهای (batch) را به ساعاتی که نود خلوت است منتقل کنید؛ ساعاتی که لاگهای خودتان اکنون به شما نشان میدهند. سپس دوباره با همان دستور و در همان ساعات اندازهگیری کنید تا بتوانید بهجای حدس زدن، بگویید که آیا تغییر اعمالشده مؤثر بوده است یا خیر.
FAQ
مقدار نرمال CPU steal time در یک VPS چقدر است؟
در پلنهای اشتراکی، جهشهای کوتاه و مقدار پایدار زیر حدود 5 درصد عادی است، زیرا CPU اشتراکی به این معناست که میزبان، هستههای فیزیکی را بین مهمانها تقسیم میکند. مقادیر دورقمی پایدار در طول چندین ساعت عادی نیست و ارزش ارسال تیکت را دارد. در پلنهای vCPU اختصاصی، مقدار مورد انتظار در حدود یا بسیار نزدیک به 0.0 است، زیرا کارهای سیستمی هایپروایزر همچنان ممکن است بخش کوچکی را اشغال کنند؛ بنابراین steal پایدار بالاتر از آن، یک نقص فنی است که باید گزارش شود. این عدد را با توجه به بار کاری خود بسنجید: یک job دستهای شبانه میتواند steal را تحمل کند، اما یک API حساس به تأخیر (latency) خیر.
آیا پلن بزرگتر مشکل steal time بالا را حل میکند؟
بهتنهایی خیر. vCPUهای بیشتر روی همان نود اشتراکی به معنای رقابت vCPUهای مجازی بیشتر برای همان هستههای فیزیکی تحت فشار است و درصد آن میتواند دقیقاً در همان مقدار قبلی باقی بماند. آنچه تقریباً تمام steal را از بین میبرد، تخصیص CPU اختصاصی یا انتقال به یک نود با بار کمتر است. سهم بزرگتر از یک ماشین شلوغ، همچنان سهمی از یک ماشین شلوغ است.
چرا با وجود کندی مشهود، VPS من steal time صفر را نشان میدهد؟
دو دلیل رایج برای این موضوع وجود دارد. هایپروایزر ممکن است اصلاً این شمارنده را ارائه ندهد که در برخی پلتفرمها بسته به میزبان و هسته (kernel) مهمان رخ میدهد، بنابراین این فیلد فارغ از عملکرد میزبان، روی صفر باقی میماند. دستور systemd-detect-virt را اجرا کنید تا ببینید روی چه پلتفرمی هستید. در غیر این صورت، گلوگاه جای دیگری است: wa را برای انتظار در ذخیرهسازی (storage waits) بررسی کنید، r را با nproc برای بار کاری خود مقایسه کنید و /sys/fs/cgroup/cpu.stat را در داخل کانتینرها برای محدودیت سهمیه (quota throttling) بخوانید.
آیا میتوانم steal time را از داخل سرور خود کاهش دهم؟
شما نمیتوانید زمانبندی (scheduling) میزبان را از داخل مهمان تغییر دهید. فقط میتوانید میزان آسیب آن را کاهش دهید. تعداد threadهای کاری کمتری نسبت به vCPUهای خود اجرا کنید تا کار کمتری در صف اجرا منتظر هستهای بماند که در دسترس نیست. jobهای دستهای را به ساعاتی که نود خلوتتر است منتقل کنید. نتایج را کش کنید تا درخواستهای کمتری اصلاً به CPU نیاز داشته باشند. تغییراتی که واقعاً steal را حذف میکنند، یعنی مهاجرت به نود دیگر یا استفاده از هستههای اختصاصی، در سمت ارائهدهنده خدمات قرار دارند.