محدود کردن مصرف CPU و RAM پردازشها با systemd
با تنظیم MemoryMax و CPUQuota در فایل drop-in سرویسهای systemd، منابع سرور را مدیریت کنید. این راهنما نحوه جلوگیری از خطای Unit configuration و مدیریت OOM kill را توضیح میدهد.
محدود کردن حافظه و پردازنده پردازش با استفاده از drop-in در systemd
شما میتوانید حافظه و پردازنده یک پردازش را در VPS لینوکسی خود با افزودن چند خط به unit مربوط به آن پردازش محدود کنید. MemoryMax= سقف سخت (hard ceiling) برای حافظه است. CPUQuota= سقف زمانی برای پردازنده است. هر دو مورد توسط cgroup v2 (گروههای کنترلی نسخه 2) اعمال میشوند؛ قابلیتی در هسته لینوکس که systemd از آن برای مدیریت منابع هر سرویس روی سرور استفاده میکند.
sudo systemctl edit myapp.serviceاین دستور یک فایل drop-in را باز میکند که شامل دستورالعملهایی در قالب کامنت است. موارد زیر را در بالای آنها اضافه کنید:
[Service]
MemoryHigh=512M
MemoryMax=768M
MemorySwapMax=0
CPUQuota=80%
TasksMax=128sudo systemctl daemon-reload
sudo systemctl restart myapp.service
systemctl show myapp.service -p MemoryHigh -p MemoryMax -p CPUQuotaPerSecUSec -p TasksMaxsystemctl show باید اعداد شما را با واحدهای استاندارد هسته بازگرداند: MemoryMax=805306368 و CPUQuotaPerSecUSec=800ms. اگر خروجی دستور MemoryMax=infinity باشد، یعنی فایل drop-in بارگذاری نشده است. بررسی کنید که فایل در مسیر /etc/systemd/system/myapp.service.d/override.conf قرار گرفته باشد و با هدر [Service] شروع شود؛ زیرا اگر یک خط تنظیمات بدون هدر بخش در بالای آن قرار گیرد، systemd خطای Assignment outside of section. Ignoring. را در لاگ ثبت کرده و سرویس را بدون هیچ محدودیتی اجرا میکند.
باقی این راهنما به نحوه انتخاب این اعداد و مشکلاتی که ممکن است پس از تنظیم آنها رخ دهد، میپردازد.
چرا یک پردازش سرکش باعث فریز شدن VPS میشود، حتی اگر حافظه را کاملاً پر نکند
پردازشی که به سقف سخت حافظه میرسد، در حدود یک ثانیه متوقف شده و سرویس مربوطه مجدداً راهاندازی میشود. این حالت مطلوب است. حالت نامطلوب زمانی رخ میدهد که هیچچیز متوقف نمیشود: سرور به ping پاسخ میدهد، SSH اتصال را میپذیرد، اما prompt پوسته هرگز ظاهر نمیشود. ماشین زنده و مشغول است، اما هیچکدام از این فعالیتها مفید نیستند.
مکانیسم این اتفاق به این شرح است، زیرا چندان بدیهی نیست. وقتی حافظه آزاد کم میشود، هسته (kernel) بهجای تخصیص صفحات جدید، شروع به بازپسگیری (reclaim) صفحات موجود میکند. ارزانترین صفحات برای بازپسگیری، صفحاتی هستند که با فایل پشتیبانی میشوند (file-backed) و page cache شامل کد اجرایی تمام برنامههای در حال اجراست. بنابراین هسته، صفحات متنی مربوط به sshd را تخلیه میکند و دستور بعدی که sshd اجرا میکند، یک page fault است که باید آن بایتها را دوباره از حافظه ذخیرهسازی بخواند. هر پردازش در نهایت بهجای اجرا شدن، منتظر دیسک میماند. این صفحات بهطور مداوم خارج و وارد میشوند که به این وضعیت thrashing گفته میشود.
دو عامل باعث میشود این وضعیت در یک VPS بدتر از لپتاپ باشد. حافظه ذخیرهسازی اغلب به شبکه متصل است یا اشتراکی است، بنابراین هر fault میلیثانیههای بیشتری نسبت به یک دستگاه NVMe محلی هزینه دارد. همچنین هسته زمان را اندازهگیری نمیکند، بلکه شکست را میسنجد: تا زمانی که بازپسگیری (reclaim) بتواند صفحهای را برگرداند، هرچند بهکندی، هسته تصور میکند که در حال پیشرفت است و قاتل حافظه (OOM killer) را فراخوانی نمیکند. یک سرور میتواند برای دقایق طولانی در این وضعیت باقی بماند پیش از آنکه چیزی کشته شود.
شما میتوانید این اتفاق را مشاهده کنید. هسته در لینوکس 4.20 و نسخههای جدیدتر، اطلاعات فشار (PSI) را ارائه میدهد:
cat /proc/pressure/memory
cat /proc/pressure/iosome avg10=63.72 avg60=41.02 avg300=12.33 total=13729481
full avg10=48.15 avg60=30.44 avg300=8.90 total=9114233خط full همان چیزی است که اهمیت دارد. full avg10=48.15 به این معنی است که در 48 درصد از ده ثانیه گذشته، تمام وظایف غیرفعال (non-idle) روی سرور در همان لحظه به دلیل کمبود حافظه متوقف شده بودند، بنابراین هیچکدام از کارهای شما پیشرفتی نداشته است. یک سرور سالم در full عددی نزدیک به صفر را نشان میدهد. بالای 10 برای کاربر کند احساس میشود و 40 یا بیشتر، وضعیتی است که افراد آن را فریز شده توصیف میکنند.
به همین دلیل است که یک محدودیت (limit) بهتنهایی یک تضمین نیست. واحدی که تحت MemoryHigh= نگه داشته میشود، بهجای کشته شدن، throttled میشود؛ بنابراین زنده و کند باقی میماند و هیچچیز آن را مجدداً راهاندازی نمیکند، زیرا از دیدگاه systemd هرگز شکست نخورده است. یک واحد محدود شده که همچنان اجازه استفاده از swap را دارد، عملیات خواندن و نوشتنی ایجاد میکند که به حساب آن واحد گذاشته میشود اما توسط یک دستگاه مشترک سرویسدهی میشود، بنابراین میتواند /proc/pressure/io را برای سایر سرویسهای روی سرور بالا ببرد. محدودیتها تعیین میکنند چه کسی هزینه کمبود را میپردازد، اما نمیتوانند ظرفیت ایجاد کنند.
بررسی اجرای cgroup v2 روی VPS
stat -fc %T /sys/fs/cgroupcgroup2fs سلسلهمراتب یکپارچهای است که تنظیمات حافظه در ادامه به آن نیاز دارند. tmpfs به این معناست که سیستم با طرحبندی قدیمی v1 بوت شده است؛ جایی که MemoryHigh= و MemorySwapMax= پشتیبانی نمیشوند و رفتار OOM در هر واحد متفاوت است، هرچند CPUQuota= همچنان از طریق فایل قدیمی cpu.cfs_quota_us در آنجا کار میکند. توزیعهای Ubuntu 22.04 و نسخههای بعد از آن، و Debian 11 و نسخههای بعد از آن، بهصورت پیشفرض از v2 استفاده میکنند. ایمیجهای قدیمی اینگونه نیستند و در systemd 255 یا قدیمیتر، هستهای که با systemd.unified_cgroup_hierarchy=0 بوت شده باشد نیز از v2 استفاده نمیکند. نسخههای systemd 256 و 257 از بوت شدن تحت v1 خودداری میکنند، مگر اینکه SYSTEMD_CGROUP_ENABLE_LEGACY_FORCE=1 نیز در خط فرمان هسته (kernel command line) وجود داشته باشد. نسخه systemd 258 پشتیبانی از cgroup v1 را حذف کرده و همیشه سلسلهمراتب یکپارچه را هنگام بوت mount میکند، بنابراین در نسخههایی که این نسخه را ارائه میدهند، هیچکدام از این آرگومانها v1 را بازنمیگردانند.
در cgroup v2، سرویس systemd بهصورت پیشفرض حسابرسی حافظه (memory accounting) را برای هر واحد فعال میکند، بنابراین اعداد از قبل موجود هستند:
systemd-cgtop -mاین دستور cgroupها را بر اساس میزان مصرف حافظه مرتب میکند، که سریعترین راه برای پاسخ به این پرسش است که «چه چیزی در حال مصرف منابع این سرور است»، البته تا زمانی که سرور هنوز پاسخگو باشد. اگر سرور جدید است، کارهای مربوط به حساب کاربری و فایروال در ده دقیقه اول روی یک VPS جدید باید پیش از این مرحله انجام شود.
محدودیتهای MemoryHigh و MemoryMax
تفاوت بین این دو تنظیم حافظه، تعیینکننده نحوه بروز خطا در سرویس است.
MemoryHigh=یک سقف نرم (soft cap) است. با عبور از این مقدار، هسته سیستمعامل (kernel) بهطور تهاجمی حافظه را از آن cgroup بازپس میگیرد و تخصیصهای جدید را عمداً کند میکند. میزان مصرف میتواند از این عدد فراتر برود و هیچ فرآیندی کشته نمیشود.MemoryMax=یک سقف سخت (hard cap) است. زمانی که تخصیص حافظه در این محدوده امکانپذیر نباشد، OOM killer درون همان cgroup فعال شده و یکی از فرآیندهای همان واحد را میکشد.
بخش دوم، دلیل اصلی تنظیم MemoryMax= برای هر سرویسی است که به آن اعتماد کامل ندارید. بدون سقف، کمبود حافظه به مشکلی برای کل سرور تبدیل میشود و OOM killer سراسری، قربانی خود را بر اساس oom_score انتخاب میکند که معمولاً به معنای بزرگترین فرآیند است. بزرگترین فرآیند معمولاً دیتابیس شماست، نه آن اسکریپتی که نشت حافظه (leak) دارد. با تعیین سقف، عمل کشتن فرآیند فقط در واحدی که باعث مشکل شده رخ میدهد.
هر دو را تنظیم کنید و مقدار MemoryHigh= را حدود 20 تا 30 درصد پایینتر از MemoryMax= قرار دهید. این فاصله، منطقه هشدار است: یک نشت حافظه تدریجی از High عبور میکند و باعث کندی سرویس میشود، در حالی که یک جهش ناگهانی مستقیماً از Max عبور کرده و منجر به توقف سرویس میشود.
مقادیر درصدی نسبت به حافظه فیزیکی نصبشده محاسبه میشوند؛ بنابراین MemoryMax=25% در یک پلن 4 GB برابر با 1 GB است و پس از ارتقای پلن، همچنان یکچهارم ظرفیت سرور باقی میماند. MemorySwapMax=0 آن واحد را کاملاً از swap دور نگه میدارد، بنابراین وقتی به MemoryMax= میرسد، عمل کشتن بهجای انتظار طولانی در swap، بهسرعت انجام میشود. زیر آن نقطه، MemoryHigh= همچنان میتواند آن را محدود (throttle) کند و عبور از سقف بالا هرگز OOM killer را فعال نمیکند؛ بنابراین واحدی که بین این دو مقدار نوسان میکند، بهجای مرگ، فقط کند میماند.
برخی سرویسها به شما اجازه میدهند بهجای اندازهگیری، میزان مصرف را از پیش تعیین کنید: یک واحد Ollama حافظه کش KV خود را بر اساس پنجره متنی (context window) که به آن میدهید تنظیم میکند، پس پیش از انتخاب سقف برای آن، هزینه افزایش num_ctx در RAM را مطالعه کنید.
سقف حافظه باید در کنار یک سیاست راهاندازی مجدد (restart policy) باشد، در غیر این صورت پس از کشته شدن فرآیند، سرویس متوقف میماند.
[Unit]
StartLimitIntervalSec=300
StartLimitBurst=5
[Service]
Restart=on-failure
RestartSec=5sStartLimit* باید در [Unit] و Restart= در [Service] قرار گیرد. اگر هر کدام را در بخش اشتباه بگذارید، systemd آن را نادیده میگیرد. پنج بار راهاندازی مجدد در پنج دقیقه نشاندهنده نشت حافظه است، نه یک اختلال گذرا؛ بنابراین پس از آن، systemd تلاش را متوقف کرده و واحد را در وضعیت failed باقی میگذارد. این همان وضعیتی است که میخواهید بعداً مشاهده کنید تا از یک چرخه کرش (crash loop) که مشکل را پنهان میکند، جلوگیری شود.
محدود کردن CPU با CPUQuota یا اشتراکگذاری آن با CPUWeight
CPUQuota= درصدی از زمان در دسترس روی یک هسته CPU را اختصاص میدهد. CPUQuota=50% معادل نیمی از یک هسته است. CPUQuota=200% معادل دو هسته کامل است که واحد میتواند آن را بین هر تعداد ترد که نیاز دارد، توزیع کند. در یک پلن با 2 vCPU، مقدار CPUQuota=200% کل توان دستگاه است.
CPUWeight= برای اکثر سرویسها گزینه پیشفرض بهتری است. این یک سهم نسبی از 1 تا 10000 است و مقدار پیشفرض هسته (kernel) برابر با 100 میباشد. این محدودیت تنها زمانی اعمال میشود که رقابتی برای منابع وجود داشته باشد: یک job پشتیبانگیری با مقدار CPUWeight=20 در زمان فشار کاری، منابع را به یک وبسرور با مقدار 100 واگذار میکند، اما در زمان بیکاری سیستم، همچنان میتواند از تمام توان دستگاه استفاده کند. یک سهمیه سخت (hard quota) این ظرفیت خالی را هدر میدهد.
در مورد مزایای محدودیت CPU واقعبین باشید. یک پردازش CPU-bound بهندرت باعث فریز شدن لینوکس میشود، زیرا زمانبند (scheduler) سیستمعامل همچنان زمان پردازنده را بین همه تقسیم میکند. حافظه (RAM) همان چیزی است که باعث از کار افتادن دستگاه میشود. زمانی که به یک سقف پیشبینیپذیر نیاز دارید، از CPUQuota= استفاده کنید؛ مثلاً برای یک فرآیند build یا عاملی (agent) که در غیر این صورت ممکن است یک ساعت با تمام توان اجرا شود. تعیین اندازه برای این نوع workload موضوعی جداگانه است که در میزان RAM و CPU مورد نیاز برای یک VPS عامل کدنویسی به آن پرداخته شده است.
اگر CPU در حالی که هیچکدام از پردازشهای شما فعالیت زیادی ندارند، مشغول نشان داده میشود، علت ممکن است در سمت دیگر هایپروایزر باشد. این پدیده زمان CPU steal از یک همسایه پرمصرف نام دارد و هیچ سهمیهای که تنظیم کنید، آن را تغییر نخواهد داد.
پارامتر TasksMax از ایجاد حلقه fork جلوگیری میکند
TasksMax= تعداد پردازشها و تردهایی است که یک واحد (unit) میتواند در خود نگه دارد. تردها نیز در این شمارش لحاظ میشوند، بنابراین سرویسهای Java یا Go به فضای بیشتری نسبت به آنچه لیست پردازشها نشان میدهد، نیاز دارند. این ارزانترین روش محافظت در برابر اسکریپتی است که در یک حلقه، fork ایجاد میکند؛ زیرا عملیات fork درون همان واحد با شکست مواجه میشود و کل سیستم با کمبود شناسه پردازش (PID) مواجه نخواهد شد.
TasksMax=128هنگامی که یک واحد به این محدودیت میرسد، هسته سیستمعامل خطی را در لاگ ثبت میکند که نام cgroup مربوطه را نشان میدهد:
cgroup: fork rejected by pids controller in /system.slice/myapp.serviceخود برنامه معمولاً خطای fork: retry: Resource temporarily unavailable را گزارش میدهد. برای بررسی مقداری که مدیر سیستم بهصورت پیشفرض اعمال میکند، از systemctl show -p DefaultTasksMax استفاده کنید.
محدود کردن یک وظیفه موقت با systemd-run
برای استفاده از این قابلیت، نیازی به فایل unit ندارید. systemd-run یک unit گذرا (transient) پیرامون یک دستور واحد ایجاد میکند.
sudo systemd-run --scope -p MemoryMax=1G -p MemorySwapMax=0 -p CPUQuota=50% -p TasksMax=64 ./import-data.sh--scope دستور را در ترمینال شما اجرا میکند، پس از آنکه Running scope as unit: run-r7c1a....scope را چاپ کرد. خروجی روی صفحه باقی میماند و محدودیتها پس از خروج دستور از بین میروند. هر ویژگی از systemd.resource-control پس از -p کار میکند.
برای یک وظیفه طولانیمدت، --scope را حذف کرده و به آن یک نام بدهید. سپس این وظیفه در پسزمینه به عنوان یک سرویس گذرا اجرا شده و در journal لاگ میشود:
sudo systemd-run --unit=nightly-import -p MemoryMax=1G -p CPUWeight=20 ./import-data.sh
journalctl -u nightly-import -fهمین گزینهها با --user نیز کار میکنند، حتی زمانی که root نیستید؛ اگرچه مدیر سرویس کاربر شما فقط کنترلرهایی را دارد که به آن تفویض شدهاند، بنابراین ممکن است یک ویژگی در آنجا رد شود. در صورت بروز این مشکل، آن را با sudo اجرا کنید. هنگامی که یک وظیفه به یک جایگاه دائمی نیاز پیدا کرد، تنظیمات بدون تغییر به یک unit واقعی منتقل میشوند: به اجرای یک اسکریپت به عنوان سرویس و تایمر systemd مراجعه کنید.
پاسخ صادقانه به پرسش swap
استفاده از swap ماهیت خرابی را تغییر میدهد، نه اینکه از آن جلوگیری کند.
بدون swap، اگر نشت حافظه (memory leak) به سقف برسد، سرویس در عرض چند ثانیه از کار میافتد. این قطعی سریع و پرصدا است و بررسی آن در لاگها پس از حادثه آسان است. با وجود swap، هسته سیستمعامل صفحات حافظه غیرفعال (cold anonymous pages) را روی دیسک مینویسد و زمان میخرد. اگر روند مصرف حافظه قرار بود تثبیت شود، swap شما را نجات میدهد. اما اگر با یک فرآیند سرکش (runaway) روبرو باشید، swap یک قطعی 5 ثانیهای را به 20 دقیقه کندی شدید تبدیل میکند؛ این وضعیت بدتر است، زیرا یک فرآیند ازکارافتاده همچنان به شما اجازه میدهد از shell استفاده کنید، اما سیستمی که در حال thrashing است، پاسخگو نخواهد بود.
swapon --show
free -hیک راهکار میانه و عملی برای VPSهای کوچک: یک فایل swap با حجم متوسط برای صفحاتی که یکبار تخصیص یافته و دیگر استفاده نمیشوند نگه دارید، و برای سرویسهایی که حاضرید از دست بدهید، MemorySwapMax=0 را تنظیم کنید. سرویسهای مهم swap خود را حفظ میکنند. سرویسهای غیرقابلپیشبینی سریع به دیوار میخورند و سیاست restart که در کنار محدودیت حافظه تعریف شده، آنها را دوباره بالا میآورد.
کاهش vm.swappiness اهرم ضعیفی است و دانستن دلیل آن اهمیت دارد. این کار فقط تعادل بین تخلیه page cache و swap کردن صفحات anonymous را تغییر میدهد، و هر دو در نهایت هزینه خواندن از دیسک را به همراه دارند. این تنظیم فقط تعیین میکند کدام صفحات باعث thrashing شوند، نه اینکه آیا سیستم دچار thrashing میشود یا خیر.
یک daemon زودهنگام OOM پیش از توقف سیستم فرایند را terminate میکند
kernel منتظر میماند تا reclaim بهطور کامل شکست بخورد. در یک VPS کوچک، همین زمان پنجرهای است که طی آن کنترل ماشین را از دست میدهید. دو daemon در userspace با پایش مستقل memory و terminate کردن زودتر، این پنجره را میبندند.
earlyoom، memory موجود و free swap را تا 10 بار در ثانیه بررسی میکند و فقط زمانی فرایندی را که بیشترین oom_score را دارد terminate میکند که هر دو مقدار از thresholdهای خود پایینتر باشند. در سیستمی بدون swap، فقط threshold مربوط به memory تصمیمگیرنده است.
sudo apt install earlyoom
systemctl status earlyoomبستهٔ Debian و Ubuntu هنگام نصب، service را start میکند. گزینههای آن در /etc/default/earlyoom قرار دارند:
EARLYOOM_ARGS="-m 5,2 -s 5,2 --avoid ^(sshd|systemd)$ --prefer ^(node|python3)$"-m PERCENT حداقل memory موجود و -s PERCENT حداقل free swap را تعیین میکند؛ مقدار پیشفرض هر دو 10 درصد است. عدد دوم در هر جفت، نقطهٔ ارسال SIGKILL است: earlyoom زمانی SIGTERM ارسال میکند که memory و swap هر دو از مقدار اول پایینتر باشند، سپس وقتی هر دو از مقدار دوم پایینتر رفتند SIGKILL میفرستد. مقدار پیشفرض مقدار دوم، نصف مقدار اول است. unit این متغیر را بهصورت $EARLYOOM_ARGS به earlyoom میدهد؛ بنابراین systemd آن را هنگام وجود فاصلهٔ خالی به argumentها تقسیم میکند. قرار دادن الگوهای --avoid و --prefer در quotation ایمن است: systemd هنگام خواندن فایل، double quoteهای بیرونی را حذف میکند، سپس هنگام تقسیم مقدار، single quoteهای داخل آن را رعایت و حذف میکند؛ بنابراین --avoid '^(sshd|systemd)$' مانند فرم بدون quotation بالا عمل میکند. الگویی که شامل فاصله است به همین single quoteها نیاز دارد؛ در غیر این صورت به دو argument تقسیم میشود. تغییر را با sudo systemctl restart earlyoom اعمال کنید و برای دیدن اینکه کدام فرایند terminate شده و چه مقدار memory در اختیار داشته است، journalctl -u earlyoom را بخوانید.
systemd-oomd گزینهٔ دیگر است. صفحهٔ manual آن را چنین توصیف میکند: «یک system service که از cgroups-v2 و pressure stall information (PSI) برای پایش و انجام اقدام اصلاحی پیش از رخدادن OOM در kernel space استفاده میکند». این ابزار بهجای فرایندهای منفرد، روی cgroupهای کامل عمل میکند؛ بنابراین یک unit را terminate میکند، نه یک child سرگردان را. unitها با ManagedOOMMemoryPressure=kill یا ManagedOOMSwap=kill فعالسازی اختیاری میشوند و thresholdها در /etc/systemd/oomd.conf قرار دارند.
systemctl status systemd-oomd
oomctloomctl مواردی را که در حال حاضر پایش میکند نمایش میدهد. در یک server image معمولاً چیزی نمایش داده نمیشود، چون این قابلیت برای هر unit بهصورت opt-in تنظیم میشود. فقط یکی از این دو daemon را انتخاب کنید و همانجا متوقف شوید. اجرای هر دو باعث میشود دو ابزار همزمان برای انتخاب victim رقابت کنند و بازسازی علت هر terminate دشوارتر شود.
کدام واحد مسئول بود؟
با هسته (kernel) شروع کنید، زیرا هر فرآیندی را که خاتمه میدهد، ثبت میکند.
journalctl -k --grep "Killed process" --since "2 hours ago"یک خاتمه توسط OOM killer سراسری به این شکل دیده میشود:
Out of memory: Killed process 4127 (node) total-vm:2731084kB, anon-rss:1874232kB, file-rss:0kB, shmem-rss:0kB, UID:1000 pgtables:4212kB oom_score_adj:0anon-rss حافظهٔ ناشناس (anonymous memory) مانند heap است که آن فرآیند در زمان مرگ در RAM نگه داشته بود، که در اینجا حدود 1.8 GB است. نگاشتهای فایل در حافظه (resident file mappings) و حافظهٔ اشتراکی بهصورت جداگانه با file-rss و shmem-rss شمارش میشوند. نام داخل کروشه را با دقت بررسی کنید. این همان قربانیای است که هسته انتخاب کرده است؛ هسته معمولاً بزرگترین فرآیند را انتخاب میکند که لزوماً همان فرآیندی نیست که باعث کمبود حافظه شده است.
خاتمه ناشی از محدودیت cgroup پیشوند متفاوتی دارد و گزارشی که بالای آن چاپ میشود، نام cgroupای را که به سقف محدودیت خود رسیده است، ذکر میکند:
Memory cgroup out of memory: Killed process 8811 (python3) total-vm:1044320kB, anon-rss:769112kB, file-rss:0kB, shmem-rss:0kB, UID:998 pgtables:1720kB oom_score_adj:0آن پیشوند بخش اصلی تشخیص است. Memory cgroup out of memory به این معنی است که یک واحد به MemoryMax= تعیینشده برای خود رسیده و بقیهٔ سیستم مشکلی نداشته است. یک Out of memory ساده به این معنی است که کل ماشین با کمبود منابع مواجه شده، بنابراین محدودیتهای شما یا وجود نداشتهاند و یا بیش از حد سخاوتمندانه تنظیم شدهاند.
سپس از systemd بپرسید چه چیزی را مشاهده کرده است:
systemctl status myapp.service
journalctl -u myapp.service -n 50myapp.service: A process of this unit has been killed by the OOM killer.
myapp.service: Main process exited, code=killed, status=9/KILL
myapp.service: Failed with result 'oom-kill'.systemctl status همان موضوع را در یک خط و بهصورت Active: failed (Result: oom-kill) بیان میکند.
شمارندههای cgroup منبع سوم هستند و تنها منبعیاند که throttling را ثبت میکنند؛ موردی که هرگز خط لاگی تولید نمیکند:
cat /sys/fs/cgroup/system.slice/myapp.service/memory.events
cat /sys/fs/cgroup/system.slice/myapp.service/memory.peaklow 0
high 4213
max 118
oom 12
oom_kill 12high تعداد دفعاتی را میشمارد که واحد از MemoryHigh= عبور کرده و دچار throttling شده است. max تعداد دفعاتی را میشمارد که واحد به سقف سخت (hard cap) رسیده و oom_kill تعداد فرآیندهایی را که واقعاً کشته شدهاند، نشان میدهد. یک مقدار بزرگ high همراه با oom_kill 0 همان مورد خاموش (silent case) است که قبلاً ذکر شد: از زمانی که cgroup ایجاد شده، واحد بارها و بارها دچار throttling شده بدون اینکه حتی یک فرآیند کشته شود، بنابراین systemd هیچ خطایی ثبت نکرده است. این شمارنده فقط افزایش مییابد، پس آن را در دو نوبت با فاصلهٔ یک دقیقه بخوانید: اگر high همچنان در حال افزایش باشد، یعنی throttling همین حالا در حال رخ دادن است. memory.peak (در Linux 5.19 و جدیدتر) بالاترین میزان مصرفی را که cgroup به آن رسیده نگه میدارد، که عددی برای تنظیم MemoryMax= است. هر دو فایل با restart شدن واحد بازنشانی میشوند، زیرا systemd دوباره cgroup را ایجاد میکند.
یک پیشنیاز زیربنای تمام این موارد است. اگر /var/log/journal وجود نداشته باشد، journal در RAM باقی میماند و پس از reboot که برای بازیابی سیستم به آن نیاز داشتید، تمام خطوط پاک میشوند.
sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal
sudo systemctl restart systemd-journald
journalctl --list-bootsاگر journalctl --list-boots مقداری بیش از boot فعلی را نشان دهد، یعنی تاریخچه اکنون باقی میماند و journalctl -k -b -1 میتواند پیامهای هسته از bootای که منجر به خرابی شده است را به شما نشان دهد.
نقطه شروع برای یک VPS کوچک
در پلنهای 2 GB، حدود 300 تا 400 MB را برای هسته (kernel) و page cache کنار بگذارید. اجازه ندهید مجموع سقفهای تعیینشده به 2 GB کامل برسد، زیرا ممکن است تمام واحدها در یک لحظه به اوج مصرف خود برسند. بیشترین سهم را به سرویس حیاتی اختصاص دهید و سپس برای سایر سرویسهای غیرضروری محدودیت اعمال کنید.
[Service]
MemoryHigh=256M
MemoryMax=384M
MemorySwapMax=0
CPUWeight=20
TasksMax=64
Restart=on-failure
RestartSec=5sحفظ راه دسترسی به سرور ارزش یک تنظیم اضافه را دارد. استفاده از OOMScoreAdjust=-500 در یک فایل drop-in برای ssh.service باعث میشود OOM killer سراسری، کمتر احتمال داشته باشد که daemon مربوط به SSH شما را به عنوان قربانی انتخاب کند؛ این موضوع تفاوت بین رفع مشکل سرور و reboot کردن آن از طریق کنترل پنل است. این تنظیم فقط انتخاب هسته برای قربانی را تغییر میدهد و باعث کاهش زمان توقف (stall) نمیشود.
کانتینرها در cgroupهای مخصوص خود اجرا میشوند که توسط container runtime ایجاد شدهاند، نه توسط unit fileهای شما؛ بنابراین محدودیت روی docker.service به محدودیت برای یک کانتینر تبدیل نمیشود. معادلهای هر کانتینر برای MemoryMax= و CPUQuota= در تنظیم محدودیت حافظه و CPU در Docker Compose پوشش داده شدهاند.
FAQ
چرا VPS من بهجای کشتن پردازش سرکش، فریز شد؟
زیرا هسته (kernel) پیشرفت را بر اساس اینکه آیا بازپسگیری (reclaim) صفحات را برمیگرداند قضاوت میکند، نه بر اساس مدت زمانی که این کار طول میکشد. هنگامی که حافظه کم است، هسته کش صفحات (page cache) را تخلیه میکند، که شامل صفحات اجرایی برنامههای در حال اجرا نیز میشود، سپس آنها را در دستور بعدی دوباره میخواند. همه چیز منتظر حافظه جانبی میماند و از نظر فنی هیچ تخصیصی شکست نخورده است، بنابراین OOM killer هرگز فراخوانی نمیشود. در حین وقوع این وضعیت، /proc/pressure/memory را بررسی کنید: مقدار full avg10 بالای 40 به این معنی است که برای بیش از 40 درصد از ده ثانیه گذشته، تمام وظایف غیربیکار همزمان در انتظار حافظه متوقف شدهاند. یک دیمون فضای کاربری مانند earlyoom پیش از رسیدن سیستم به این وضعیت، پردازش را میکشد.
تفاوت MemoryHigh و MemoryMax چیست؟
MemoryHigh= یک سقف نرم است که باعث محدودسازی (throttle) میشود. هسته بهشدت از واحد مربوطه بازپسگیری میکند و تخصیصهای آن را کند میسازد، اما میزان استفاده میتواند از این عدد فراتر رود و هیچ پردازشی کشته نمیشود. MemoryMax= یک سقف سخت است: تخصیصی که نتواند تحت این محدودیت برآورده شود، OOM killer را در داخل همان cgroup واحد فراخوانی میکند، بنابراین پردازشی که باعث مشکل شده است از بین میرود، نه بزرگترین پردازش روی کل سیستم. مقدار MemoryHigh= را کمتر از MemoryMax= تنظیم کنید و فاصله بین آنها را به عنوان منطقه هشدار در نظر بگیرید.
چگونه بفهمم OOM killer کدام سرویس را هدف قرار داده است؟
دستور journalctl -k --grep "Killed process" --since "2 hours ago" را اجرا کنید. خطی که با Memory cgroup out of memory شروع میشود به این معنی است که یک واحد به MemoryMax= خود رسیده است، در حالی که یک Out of memory ساده به این معنی است که کل سیستم با کمبود حافظه مواجه شده است. سپس journalctl -u <unit> -n 50 را اجرا کنید و به دنبال Failed with result 'oom-kill' بگردید. اگر /var/log/journal روی سرور شما وجود ندارد، ژورنال در RAM نگهداری میشده و شواهد با reboot از بین رفتهاند؛ بنابراین پیش از حادثه بعدی، آن دایرکتوری را ایجاد کنید.
آیا باید به یک VPS کوچک swap اضافه کنم؟
یک فایل swap کوچک برای صفحات سرد (cold pages) که یک بار تخصیص داده شده و دیگر هرگز استفاده نمیشوند، مفید است. این کار برای پردازش سرکش کمکی نمیکند: فقط کشتن پردازش را به تأخیر میاندازد و یک قطعی کوتاه را با یک توقف طولانی جایگزین میکند که در آن نمیتوانید برای رفع مشکل وارد سیستم شوید. swap را در حد متوسط نگه دارید و MemorySwapMax=0 را روی واحدهایی که مایل به از دست دادنشان هستید تنظیم کنید تا آنها سریع به سقف خود برسند و با تنظیم Restart=on-failure، خودبهخود بازیابی شوند، در حالی که سرویسهای مهم swap خود را حفظ میکنند.
آیا میتوانم یک دستور را بدون نوشتن فایل unit محدود کنم؟
بله. sudo systemd-run --scope -p MemoryMax=1G -p CPUQuota=50% ./script.sh دستور را در ترمینال شما داخل یک scope موقت با همان محدودیتها اجرا میکند و با خروج از آن، محدودیتها ناپدید میشوند. تمام ویژگیهای systemd.resource-control پس از -p در دسترس هستند، بنابراین MemorySwapMax=، TasksMax= و CPUWeight= نیز در آنجا کار میکنند. برای اجرای کار در پسزمینه و ثبت خروجی آن در ژورنال، --scope را حذف کرده و --unit=name را اضافه کنید.