systemd سے process کی memory اور CPU limit کیسے لگائیں
systemd unit میں MemoryHigh، MemoryMax، CPUQuota اور TasksMax set کریں۔ جانیں کہ cap کے باوجود VPS کیوں رک سکتا ہے اور OOM kill کے بعد کیا پڑھنا ہے۔
systemd drop-in کے ذریعے process کی memory اور CPU محدود کریں
Linux VPS پر process کی memory اور CPU محدود کرنے کے لیے اس unit میں چند سطریں شامل کریں جو process چلاتی ہے۔ MemoryMax= memory کی سخت حد ہے۔ CPUQuota= processor time کی حد ہے۔ دونوں حدود cgroup v2 (control groups، version 2) نافذ کرتا ہے۔ یہ kernel feature ہے جسے systemd پہلے ہی سرور کی ہر service کا حساب رکھنے کے لیے استعمال کرتا ہے۔
sudo systemctl edit myapp.serviceاس سے ایک drop-in file کھلتی ہے۔ اس میں comments کے اندر ہدایات موجود ہوتی ہیں۔ ان ہدایات سے پہلے یہ شامل کریں:
[Service]
MemoryHigh=512M
MemoryMax=768M
MemorySwapMax=0
CPUQuota=80%
TasksMax=128sudo systemctl daemon-reload
sudo systemctl restart myapp.service
systemctl show myapp.service -p MemoryHigh -p MemoryMax -p CPUQuotaPerSecUSec -p TasksMaxsystemctl show کو kernel کی اپنی units میں وہی numbers دوبارہ دکھانے چاہییں: MemoryMax=805306368 اور CPUQuotaPerSecUSec=800ms۔ اگر یہ MemoryMax=infinity دکھائے تو drop-in load نہیں ہوئی۔ تصدیق کریں کہ file /etc/systemd/system/myapp.service.d/override.conf پر موجود ہے اور اس کی ابتدا [Service] header سے ہوتی ہے، کیونکہ اوپر section کے بغیر settings line ہونے پر systemd Assignment outside of section. Ignoring. log کرتا ہے اور service کو بالکل limits کے بغیر start کرتا ہے۔
اس guide کے باقی حصے میں بتایا گیا ہے کہ یہ numbers کیسے منتخب کریں اور limits set کرنے کے بعد بھی کیا مسائل پیدا ہو سکتے ہیں۔
ایک بے قابو process VPS کو مکمل طور پر بھرے بغیر کیوں منجمد کر دیتا ہے
جو process سخت memory cap تک پہنچتا ہے، وہ تقریباً ایک سیکنڈ میں ختم ہو جاتا ہے اور service دوبارہ شروع ہو جاتی ہے۔ یہ اچھی صورت ہے۔ بری صورت وہ ہے جس میں کچھ بھی ختم نہیں ہوتا: box ping کا جواب دیتا ہے، SSH connection قبول کرتا ہے، لیکن shell prompt ظاہر نہیں ہوتا۔ machine فعال اور مصروف ہوتی ہے، مگر اس کی کوئی بھی سرگرمی مفید پیش رفت نہیں کر رہی ہوتی۔
یہ طریقۂ کار سمجھنا ضروری ہے، کیونکہ یہ واضح نہیں ہوتا۔ جب free memory کم ہو جاتی ہے تو kernel نئے pages دینے کے بجائے موجودہ pages reclaim کرتا ہے۔ reclaim کرنے کے لیے سب سے کم لاگت والے pages file-backed ہوتے ہیں، جبکہ page cache میں چلنے والے تمام processes کا executable code موجود ہوتا ہے۔ چنانچہ kernel sshd کے text pages خارج کر دیتا ہے، اور اگلی instruction جو sshd چلاتا ہے، ایک page fault ہوتی ہے جسے وہ bytes دوبارہ storage سے پڑھنے پڑتے ہیں۔ ہر process چلنے کے بجائے disk کا انتظار کرنے لگتا ہے۔ یہی pages بار بار خارج اور واپس load ہوتے رہتے ہیں۔ اسے thrashing کہتے ہیں۔
VPS پر دو چیزیں اس مسئلے کو laptop کے مقابلے میں زیادہ سنگین بناتی ہیں۔ Storage اکثر network-attached یا shared ہوتی ہے، اس لیے ہر fault پر local NVMe device کے مقابلے میں زیادہ milliseconds درکار ہوتے ہیں۔ دوسری بات یہ ہے کہ kernel وقت نہیں ناپتا؛ وہ failure ناپتا ہے۔ جب تک reclaim کسی نہ کسی رفتار سے page واپس کرتا رہتا ہے، kernel سمجھتا ہے کہ پیش رفت ہو رہی ہے، چاہے رفتار کتنی ہی کم ہو، اور out of memory (OOM) killer کو فعال نہیں کرتا۔ box کئی منٹ تک اسی حالت میں رہ سکتا ہے، اس سے پہلے کہ کوئی process ختم کیا جائے۔
آپ اسے ہوتے ہوئے دیکھ سکتے ہیں۔ Linux 4.20 اور اس کے بعد کے versions میں kernel pressure stall information (PSI) فراہم کرتا ہے:
cat /proc/pressure/memory
cat /proc/pressure/iosome avg10=63.72 avg60=41.02 avg300=12.33 total=13729481
full avg10=48.15 avg60=30.44 avg300=8.90 total=9114233full والی line اہم ہے۔ full avg10=48.15 کا مطلب ہے کہ گزشتہ دس seconds میں 48% وقت کے دوران box کے تمام non-idle tasks بیک وقت memory کی وجہ سے stalled رہے، اس لیے آپ کے کسی کام میں پیش رفت نہیں ہو رہی تھی۔ صحت مند server میں full کی قدر تقریباً zero ہوتی ہے۔ 10 سے زیادہ قدر انسان کو system سست محسوس کراتی ہے، جبکہ 40 یا اس سے زیادہ وہ حالت ہے جسے لوگ frozen کہتے ہیں۔
اسی لیے صرف limit مقرر کرنا کوئی ضمانت نہیں ہے۔ MemoryHigh= کے تحت چلنے والی unit کو ختم کرنے کے بجائے throttle کیا جاتا ہے، اس لیے وہ فعال مگر سست رہتی ہے، اور کوئی اسے restart نہیں کرتا کیونکہ systemd کے نقطۂ نظر سے وہ کبھی failed نہیں ہوئی۔ ایسی capped unit جسے swap استعمال کرنے کی اجازت ہو، reads اور writes پیدا کرتی ہے۔ یہ operations اسی unit کے account میں شمار ہوتے ہیں، لیکن انہیں ایک shared device پورا کرتا ہے، اس لیے وہ box کی ہر دوسری service کے لیے /proc/pressure/io بڑھا سکتی ہے۔ Limits صرف یہ طے کرتی ہیں کہ shortage کی قیمت کون ادا کرے گا؛ وہ capacity پیدا نہیں کر سکتیں۔
اپنے VPS پر cgroup v2 کی تصدیق کریں
stat -fc %T /sys/fs/cgroupcgroup2fs unified hierarchy ہے، جس کی ضرورت نیچے دی گئی memory settings کو ہے۔ tmpfs کا مطلب ہے کہ box نے پرانا v1 layout boot کیا ہے، جہاں MemoryHigh= اور MemorySwapMax= supported نہیں ہیں اور ہر unit کا OOM رویہ مختلف ہے، اگرچہ CPUQuota= وہاں بھی legacy cpu.cfs_quota_us file کے ذریعے کام کرتا ہے۔ Ubuntu 22.04 اور اس کے بعد کے ورژنز، اور Debian 11 اور اس کے بعد کے ورژنز، default طور پر v2 استعمال کرتے ہیں۔ پرانی image ایسا نہیں کرتی، اور systemd 255 یا اس سے پرانے ورژن پر systemd.unified_cgroup_hierarchy=0 کے ساتھ boot کیا گیا kernel بھی v2 استعمال نہیں کرتا۔ systemd 256 اور 257، v1 کے تحت boot ہونے سے انکار کرتے ہیں، جب تک kernel command line میں SYSTEMD_CGROUP_ENABLE_LEGACY_FORCE=1 بھی موجود نہ ہو۔ systemd 258 نے cgroup v1 support ختم کر دی ہے اور boot کے وقت ہمیشہ unified hierarchy mount کرتا ہے، اس لیے جن releases میں یہ شامل ہے وہاں کوئی بھی argument v1 واپس نہیں لاتا۔
cgroup v2 پر systemd ہر unit کے لیے memory accounting default طور پر فعال کرتا ہے، اس لیے اعداد پہلے ہی دستیاب ہوتے ہیں:
systemd-cgtop -mیہ cgroups کو memory استعمال کے لحاظ سے ترتیب دے کر دکھاتا ہے۔ جب server اب بھی جواب دے رہا ہو تو یہ معلوم کرنے کا تیز ترین طریقہ ہے کہ اس box کے resources کون استعمال کر رہا ہے۔ اگر server نیا ہے تو نئے VPS کے پہلے دس منٹ میں account اور firewall کا کام اس سے پہلے کیا جاتا ہے۔
MemoryHigh throttles، MemoryMax ختم کرتا ہے
ان دونوں memory settings کا فرق طے کرتا ہے کہ failure کس صورت میں ظاہر ہوگا۔
MemoryHigh=ایک soft cap ہے۔ اس سے اوپر kernel اس cgroup سے زیادہ شدت کے ساتھ memory reclaim کرتا ہے اور جان بوجھ کر اس کی allocations سست کر دیتا ہے۔ Usage اس حد سے آگے بھی جا سکتی ہے، اور کوئی process ختم نہیں ہوتا۔MemoryMax=ایک hard cap ہے۔ جب اس حد کے اندر allocation پوری نہ ہو سکے تو OOM killer اسی cgroup کے اندر چلتا ہے اور اس unit کے اپنے processes میں سے ایک کو ختم کر دیتا ہے۔
دوسرا حصہ ہی اصل وجہ ہے کہ جس چیز پر آپ کو مکمل اعتماد نہ ہو، اس پر MemoryMax= مقرر کرنا چاہیے۔ کسی cap کے بغیر memory shortage پورے host کا مسئلہ بن جاتی ہے، اور global OOM killer اپنا victim oom_score کی بنیاد پر منتخب کرتا ہے، جس کا عموماً مطلب سب سے بڑا process ہوتا ہے۔ سب سے بڑا process عموماً آپ کا database ہوتا ہے، نہ کہ وہ script جس نے memory leak کی۔ cap کے ساتھ kill اسی unit کے اندر ہوتا ہے جس نے مسئلہ پیدا کیا۔
دونوں settings مقرر کریں، اور MemoryHigh= کو MemoryMax= سے تقریباً 20 سے 30 فیصد کم رکھیں۔ یہ فرق warning zone ہے: آہستہ memory leak High کو عبور کرتی ہے اور service سست ہو جاتی ہے، جبکہ اچانک spike Max سے سیدھا گزر کر process ختم کر دیتی ہے۔
Percentage values installed physical memory کے مطابق پڑھی جاتی ہیں، اس لیے 4 GB plan پر MemoryMax=25% کی قدر 1 GB ہوگی، اور plan resize کرنے کے بعد بھی یہ host کی ایک چوتھائی memory رہے گی۔ MemorySwapMax=0 اس unit کو swap سے مکمل طور پر باہر رکھتا ہے، اس لیے جب یہ MemoryMax= تک پہنچے تو swap میں طویل تاخیر کے بعد نہیں بلکہ فوراً kill ہوتا ہے۔ اس حد سے نیچے MemoryHigh= اسے throttle کر سکتا ہے، اور high limit سے تجاوز کرنے پر OOM killer کبھی نہیں چلتا؛ چنانچہ جو unit دونوں limits کے درمیان رہتی ہے وہ ختم ہونے کے بجائے سست رہتی ہے۔
کچھ services آپ کو ان کی memory ضرورت پہلے سے طے کرنے دیتی ہیں، بجائے اس کے کہ آپ اسے measure کریں: Ollama unit اپنے KV cache کا سائز آپ کے دیے ہوئے context window سے طے کرتی ہے، اس لیے کسی unit کے لیے ceiling منتخب کرنے سے پہلے num_ctx بڑھانے سے RAM پر کیا اثر پڑتا ہے پڑھیں۔
cap کے ساتھ restart policy بھی مقرر کریں، ورنہ kill کے بعد service صرف stopped حالت میں رہ جائے گی۔
[Unit]
StartLimitIntervalSec=300
StartLimitBurst=5
[Service]
Restart=on-failure
RestartSec=5sStartLimit* کو [Unit] میں، اور Restart= کو [Service] میں شامل ہونا چاہیے۔ کسی ایک کو غلط section میں رکھنے پر systemd اسے نظرانداز کر دیتا ہے۔ پانچ منٹ میں پانچ restarts کسی عارضی مسئلے کے بجائے leak کی علامت ہیں، اس لیے اس کے بعد systemd کوشش ترک کر کے unit کو failed حالت میں چھوڑ دیتا ہے۔ بعد میں یہی وہ حالت ہے جسے آپ تلاش کرنا چاہتے ہیں، نہ کہ ایسا crash loop جو مسئلہ چھپا دے۔
CPUQuota سے CPU محدود کریں، یا CPUWeight کے ذریعے اس کا حصہ مقرر کریں
CPUQuota= ایک CPU کے لیے دستیاب وقت کا فیصد استعمال کرتا ہے۔ CPUQuota=50% ایک core کے نصف کے برابر ہے۔ CPUQuota=200% دو cores کے برابر ہے، جنہیں unit اپنی ضرورت کے مطابق زیادہ سے زیادہ threads میں تقسیم کر سکتی ہے۔ 2 vCPU plan پر CPUQuota=200% پوری مشین کے برابر ہے۔
CPUWeight= زیادہ تر services کے لیے بہتر default ہے۔ یہ 1 سے 10000 تک relative share مقرر کرتا ہے، جبکہ kernel کا default 100 ہے۔ اس کا اثر صرف مقابلہ ہونے کی صورت میں ظاہر ہوتا ہے: load کے دوران CPUWeight=20 پر چلنے والی backup job، 100 پر چلنے والے web server کو ترجیح دے گی، اور machine idle ہونے پر پوری machine استعمال کر سکتی ہے۔ سخت quota اس idle capacity کو ضائع کر دیتا ہے۔
CPU limit سے حاصل ہونے والے فائدے کے بارے میں حقیقت پسند رہیں۔ CPU-bound process شاذونادر ہی Linux کو freeze کرتا ہے، کیونکہ scheduler سب processes کو باری باری وقت دیتا رہتا ہے۔ Machine کے down ہونے کی عام وجہ memory ہوتی ہے۔ جب آپ کو predictable ceiling درکار ہو تو CPUQuota= استعمال کریں، مثلاً build یا ایسے agent کے لیے جو بصورت دیگر ایک گھنٹے تک پوری CPU capacity استعمال کرتا رہے۔ اس قسم کے workload کے لیے sizing ایک الگ سوال ہے، جس کی وضاحت coding agent VPS کے لیے کتنی RAM اور CPU درکار ہے میں کی گئی ہے۔
اگر CPU busy دکھائی دے، جبکہ آپ کے processes زیادہ کام نہ کر رہے ہوں، تو وجہ hypervisor کے دوسری جانب ہو سکتی ہے۔ اسے شور پیدا کرنے والے ہمسائے کا CPU steal time کہتے ہیں، اور آپ کی مقرر کردہ کوئی quota اسے تبدیل نہیں کر سکتی۔
TasksMax فورک لوپ کو روکتا ہے
TasksMax= ان processes اور threads کی تعداد ہے جو ایک unit کے اندر موجود ہو سکتے ہیں۔ Threads بھی شمار ہوتے ہیں، اس لیے Java یا Go service کو process list سے ظاہر ہونے والی تعداد کے مقابلے میں زیادہ گنجائش درکار ہوتی ہے۔ یہ ایسے script کے خلاف سب سے کم لاگت والا تحفظ ہے جو loop میں fork کرتا ہے، کیونکہ fork اسی unit کے اندر ناکام ہو جاتا ہے اور پورا server process IDs ختم ہونے سے محفوظ رہتا ہے۔
TasksMax=128جب کوئی unit اس limit تک پہنچتا ہے تو kernel cgroup کا نام شامل کرتے ہوئے ایک log line لکھتا ہے:
cgroup: fork rejected by pids controller in /system.slice/myapp.serviceخود program عموماً fork: retry: Resource temporarily unavailable رپورٹ کرتا ہے۔ manager default طور پر کیا لاگو کرتا ہے، یہ systemctl show -p DefaultTasksMax کے ذریعے دیکھیں۔
systemd-run کے ساتھ ایک وقتی job محدود کریں
اس کے لیے آپ کو unit file کی ضرورت نہیں۔ systemd-run ایک واحد command کے گرد عارضی unit بناتا ہے۔
sudo systemd-run --scope -p MemoryMax=1G -p MemorySwapMax=0 -p CPUQuota=50% -p TasksMax=64 ./import-data.sh--scope Running scope as unit: run-r7c1a....scope دکھانے کے بعد command کو آپ کے terminal میں چلاتا ہے۔ Output آپ کی screen پر رہتا ہے، اور command ختم ہوتے ہی limits ختم ہو جاتی ہیں۔ systemd.resource-control کی کوئی بھی property -p کے بعد استعمال کی جا سکتی ہے۔
طویل job کے لیے --scope ہٹا دیں اور اسے ایک نام دیں۔ اس کے بعد یہ background میں عارضی service کے طور پر چلتی ہے اور journal میں logs لکھتی ہے:
sudo systemd-run --unit=nightly-import -p MemoryMax=1G -p CPUWeight=20 ./import-data.sh
journalctl -u nightly-import -fجب آپ root نہ ہوں تو یہی options --user کے ساتھ بھی کام کرتے ہیں، لیکن آپ کے user manager کے پاس صرف وہی controllers ہوتے ہیں جو اسے delegate کیے گئے ہوں۔ اس لیے کوئی property وہاں reject ہو سکتی ہے۔ ایسا ہونے پر sudo کے ساتھ اسے چلائیں۔ جب کسی job کو مستقل جگہ مل جائے تو settings بغیر تبدیلی کے ایک حقیقی unit میں منتقل کر دیں: script کو systemd service اور timer کے طور پر چلانا دیکھیں۔
Swap کے سوال کا دیانت دار جواب
Swap ناکامی کو روکتا نہیں، بلکہ ناکامی کی صورت بدل دیتا ہے۔
Swap نہ ہو تو memory leak حد تک پہنچتی ہے اور چند سیکنڈ میں کوئی process ختم ہو جاتا ہے۔ outage نمایاں، مختصر اور بعد میں journal میں سمجھنا آسان ہوتا ہے۔ Swap کے ساتھ kernel کم استعمال ہونے والے anonymous pages کو disk پر لکھتا ہے اور وقت حاصل کرتا ہے۔ اگر process کسی مرحلے پر مستحکم ہونے والا ہو تو swap آپ کو بچا لیتا ہے۔ اگر process بے قابو ہو تو swap پانچ سیکنڈ کے outage کو بیس منٹ کے stall میں بدل دیتا ہے۔ stall زیادہ خراب ہوتا ہے، کیونکہ ختم شدہ process کے باوجود آپ کے پاس working shell رہتی ہے، لیکن مسلسل thrashing کرنے والے box میں ایسا نہیں ہوتا۔
swapon --show
free -hچھوٹے VPS پر قابلِ عمل درمیانی راستہ یہ ہے کہ ایک محدود swap file رکھیں، تاکہ وہ pages اس میں منتقل ہو سکیں جو ایک بار allocate ہونے کے بعد دوبارہ کبھی استعمال نہیں ہوتے، اور جن units کو آپ کھونے کے لیے تیار ہیں ان پر MemorySwapMax=0 مقرر کریں۔ اہم services اپنا swap برقرار رکھتی ہیں۔ غیر متوقع services جلد حد سے ٹکراتی ہیں، اور ان کی cap کے ساتھ موجود restart policy انہیں دوبارہ چلا دیتی ہے۔
vm.swappiness کم کرنا ایک کمزور طریقہ ہے، اور اس کی وجہ جاننا مفید ہے۔ یہ صرف page cache کو خارج کرنے اور anonymous pages کو swap کرنے کے درمیان توازن تبدیل کرتا ہے، اور دونوں صورتوں میں بعد میں disk read درکار ہوتی ہے۔ اس سے صرف یہ بدلتا ہے کہ کون سے pages thrash کرتے ہیں، یہ نہیں بدلتا کہ box thrash کرتا ہے یا نہیں۔
ابتدائی OOM daemon stall سے پہلے process ختم کرتا ہے
Kernel اس وقت تک انتظار کرتا ہے جب تک reclaim مکمل طور پر ناکام نہ ہو جائے۔ چھوٹے VPS پر یہی انتظار وہ مدت ہوتی ہے جس میں server دستیاب نہیں رہتا۔ دو userspace daemons خود memory کی نگرانی کر کے پہلے process ختم کرتے ہیں اور اس مسئلے کو کم کرتے ہیں۔
earlyoom دستیاب memory اور free swap کو ہر سیکنڈ میں زیادہ سے زیادہ دس بار چیک کرتا ہے۔ یہ صرف اس وقت سب سے زیادہ oom_score والے process کو ختم کرتا ہے جب دونوں مقررہ thresholds سے نیچے چلے جائیں۔ ایسے server پر جس میں swap نہ ہو، فیصلہ صرف memory threshold سے ہوتا ہے۔
sudo apt install earlyoom
systemctl status earlyoomDebian اور Ubuntu package installation کے وقت service شروع کر دیتا ہے۔ اس کے options /etc/default/earlyoom میں موجود ہیں:
EARLYOOM_ARGS="-m 5,2 -s 5,2 --avoid ^(sshd|systemd)$ --prefer ^(node|python3)$"-m PERCENT دستیاب memory کی کم از کم مقدار اور -s PERCENT free swap کی کم از کم مقدار مقرر کرتا ہے۔ دونوں کی default value 10 percent ہے۔ ہر pair میں دوسرا number SIGKILL کی حد ہے۔ earlyoom اس وقت SIGTERM بھیجتا ہے جب memory اور swap دونوں اپنی پہلی values سے نیچے چلے جائیں۔ پھر جب دونوں دوسری values سے نیچے ہوں تو SIGKILL بھیجتا ہے۔ دوسری value default طور پر پہلی value کی نصف ہوتی ہے۔ Unit یہ variable earlyoom کو $EARLYOOM_ARGS کے طور پر دیتا ہے، اس لیے systemd whitespace پر اسے arguments میں تقسیم کرتا ہے۔ --avoid اور --prefer patterns کو quotes میں لکھنا محفوظ ہے۔ systemd file پڑھتے وقت بیرونی double quotes ہٹا دیتا ہے، پھر value کو تقسیم کرتے وقت اندر موجود single quotes کو سمجھ کر ہٹا دیتا ہے۔ اس لیے --avoid '^(sshd|systemd)$' اوپر دی گئی unquoted form کی طرح کام کرتا ہے۔ جس pattern میں space ہو، اس کے لیے یہ single quotes ضروری ہیں، ورنہ وہ دو arguments میں تقسیم ہو جائے گا۔ تبدیلی sudo systemctl restart earlyoom کے ذریعے نافذ کریں، اور journalctl -u earlyoom پڑھ کر دیکھیں کہ اس نے کون سا process ختم کیا اور اس process کے پاس کتنی memory تھی۔
systemd-oomd دوسرا option ہے۔ اس کے manual page میں اسے یوں بیان کیا گیا ہے: "ایک system service جو kernel space میں OOM ہونے سے پہلے نگرانی اور corrective action کے لیے cgroups-v2 اور pressure stall information (PSI) استعمال کرتی ہے"۔ یہ single processes کے بجائے پورے cgroups پر عمل کرتا ہے، اس لیے یہ کسی unit کو ختم کرتا ہے، کسی الگ child process کو نہیں۔ Units ManagedOOMMemoryPressure=kill یا ManagedOOMSwap=kill کے ذریعے opt in کرتی ہیں، اور thresholds /etc/systemd/oomd.conf میں موجود ہیں۔
systemctl status systemd-oomd
oomctloomctl فی الحال مانیٹر کیے جانے والے components دکھاتا ہے۔ Server image پر اکثر یہ فہرست خالی ہوتی ہے، کیونکہ ہر unit کو الگ سے opt in کرنا ہوتا ہے۔ صرف ایک daemon منتخب کریں۔ دونوں چلانے سے victim منتخب کرنے کے لیے دو processes ایک دوسرے سے مقابلہ کریں گے، اور کسی kill کی وجہ کا تعین کرنا مشکل ہو جائے گا۔
کون سی unit ذمہ دار تھی؟
kernel سے شروع کریں، کیونکہ یہ اپنے کیے گئے ہر kill کو record کرتا ہے۔
journalctl -k --grep "Killed process" --since "2 hours ago"global OOM killer کی طرف سے کیا گیا kill اس طرح دکھائی دیتا ہے:
Out of memory: Killed process 4127 (node) total-vm:2731084kB, anon-rss:1874232kB, file-rss:0kB, shmem-rss:0kB, UID:1000 pgtables:4212kB oom_score_adj:0anon-rss وہ anonymous memory ہے، مثلاً heap، جو process کے مرنے کے وقت RAM میں موجود تھی؛ یہاں یہ تقریباً 1.8 GB ہے۔ Resident file mappings اور shared memory الگ شمار ہوتے ہیں، بالترتیب file-rss اور shmem-rss کے طور پر۔ brackets میں موجود نام کو احتیاط سے پڑھیں۔ یہ وہ victim ہے جسے kernel نے منتخب کیا، اور kernel عموماً سب سے بڑا process منتخب کرتا ہے۔ ضروری نہیں کہ memory shortage کا سبب بھی یہی process ہو۔
cgroup limit کی وجہ سے ہونے والے kill کا prefix مختلف ہوتا ہے، اور اس کے اوپر دکھائی جانے والی report اس cgroup کا نام دیتی ہے جو اپنی حد تک پہنچا:
Memory cgroup out of memory: Killed process 8811 (python3) total-vm:1044320kB, anon-rss:769112kB, file-rss:0kB, shmem-rss:0kB, UID:998 pgtables:1720kB oom_score_adj:0یہ prefix diagnosis کا بیشتر حصہ فراہم کرتا ہے۔ Memory cgroup out of memory کا مطلب ہے کہ ایک unit اپنی دی گئی MemoryMax= تک پہنچی، جبکہ باقی system معمول کے مطابق تھا۔ سادہ Out of memory کا مطلب ہے کہ پوری machine کی memory ختم ہو گئی۔ اس صورت میں آپ کی caps موجود نہیں تھیں یا مجموعی طور پر بہت زیادہ تھیں۔
اب systemd سے پوچھیں کہ اس نے کیا دیکھا:
systemctl status myapp.service
journalctl -u myapp.service -n 50myapp.service: A process of this unit has been killed by the OOM killer.
myapp.service: Main process exited, code=killed, status=9/KILL
myapp.service: Failed with result 'oom-kill'.systemctl status ایک ہی line میں یہی بات بتاتا ہے، Active: failed (Result: oom-kill) کے طور پر۔
cgroup counters تیسرا ذریعہ ہیں، اور واحد ایسا ذریعہ ہیں جو throttling record کرتے ہیں؛ throttling سے کبھی کوئی log line پیدا نہیں ہوتی:
cat /sys/fs/cgroup/system.slice/myapp.service/memory.events
cat /sys/fs/cgroup/system.slice/myapp.service/memory.peaklow 0
high 4213
max 118
oom 12
oom_kill 12high شمار کرتا ہے کہ unit کتنی بار MemoryHigh= سے تجاوز کر کے throttle ہوئی۔ max بتاتا ہے کہ unit کتنی بار hard cap تک پہنچی، جبکہ oom_kill ان processes کی تعداد بتاتا ہے جنہیں حقیقتاً kill کیا گیا۔ oom_kill 0 کے ساتھ بڑا high پہلے بیان کردہ خاموش معاملہ ہے: cgroup بننے کے بعد سے unit بار بار throttle ہوئی، لیکن ایک بھی kill نہیں ہوا، اس لیے systemd نے کوئی failure record نہیں کیا۔ یہ counter صرف بڑھتا ہے، اس لیے اسے ایک منٹ کے وقفے سے دو بار پڑھیں۔ اگر high مسلسل بڑھ رہا ہو تو throttling اسی وقت جاری ہے۔ memory.peak (Linux 5.19 اور اس کے بعد کے versions میں) وہ زیادہ سے زیادہ usage محفوظ رکھتا ہے جس تک cgroup پہنچی؛ MemoryMax= کی sizing اسی number کے مطابق کریں۔ دونوں files unit restart ہونے پر reset ہو جاتی ہیں، کیونکہ systemd cgroup دوبارہ بناتا ہے۔
ان تمام چیزوں کی بنیاد میں ایک prerequisite موجود ہے۔ اگر /var/log/journal موجود نہ ہو تو journal RAM میں رہتا ہے، اور box recover کرنے کے لیے درکار reboot کے بعد اس کی ہر line ختم ہو جاتی ہے۔
sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal
sudo systemctl restart systemd-journald
journalctl --list-bootsjournalctl --list-boots کا موجودہ boot سے زیادہ entries دکھانا اس بات کی علامت ہے کہ history اب محفوظ رہتی ہے، اس لیے journalctl -k -b -1 اس boot کے kernel messages دکھا سکتا ہے جو ناکام ہو گیا تھا۔
چھوٹے VPS کے لیے نقطۂ آغاز
2 GB plan پر kernel اور page cache کے لیے 300 سے 400 MB مختص رکھیں، اور تمام caps کا مجموعہ مکمل 2 GB تک نہ پہنچنے دیں، کیونکہ ہر unit ایک ہی وقت میں peak پر جا سکتی ہے۔ اہم service کو سب سے بڑا حصہ دیں، پھر اس کے اردگرد موجود غیر یقینی workloads کے لیے caps مقرر کریں۔
[Service]
MemoryHigh=256M
MemoryMax=384M
MemorySwapMax=0
CPUWeight=20
TasksMax=64
Restart=on-failure
RestartSec=5sسرور تک رسائی برقرار رکھنے کے لیے ایک اضافی setting مفید ہے۔ OOMScoreAdjust=-500 کو ssh.service کے drop-in میں شامل کرنے سے global OOM killer کے لیے آپ کے SSH daemon کو victim منتخب کرنے کا امکان بہت کم ہو جاتا ہے۔ یہی چیز box کو control panel سے reboot کرنے کے بجائے اسے درست کرنے اور دوبارہ قابل رسائی بنانے میں فرق پیدا کرتی ہے۔ یہ صرف kernel کے victim منتخب کرنے کے فیصلے کو تبدیل کرتی ہے۔ اس سے stall کا دورانیہ کم نہیں ہوتا۔
Containers اپنے الگ cgroups میں چلتے ہیں۔ یہ cgroups آپ کی unit files کے بجائے container runtime بناتا ہے، اس لیے docker.service پر مقرر کی گئی limit کسی ایک container کی limit نہیں بنتی۔ MemoryMax= اور CPUQuota= کے per-container متبادل Docker Compose میں memory اور CPU limits مقرر کرنا میں بیان کیے گئے ہیں۔
FAQ
میری VPS runaway process کو ختم کرنے کے بجائے freeze کیوں ہو گئی؟
کیونکہ kernel پیش رفت کا فیصلہ اس بنیاد پر کرتا ہے کہ memory reclaim سے pages واپس مل رہے ہیں یا نہیں، نہ کہ اس میں کتنا وقت لگ رہا ہے۔ جب memory کم ہوتی ہے تو یہ page cache کو evict کرتا ہے، جس میں چلنے والے programs کے executable pages بھی شامل ہوتے ہیں، پھر اگلی instruction پر انہیں دوبارہ پڑھتا ہے۔ ہر چیز storage پر انتظار کرتی رہتی ہے اور کوئی allocation تکنیکی طور پر fail نہیں ہوتی، اس لیے OOM killer کبھی نہیں چلتا۔ یہ صورت حال جاری ہو تو /proc/pressure/memory چیک کریں: full avg10 کا 40 سے زیادہ ہونا اس بات کی علامت ہے کہ گزشتہ دس seconds میں 40% سے زیادہ وقت تک ہر non-idle task بیک وقت memory پر stalled رہا۔ earlyoom جیسا userspace daemon box کے اس حالت تک پہنچنے سے پہلے process ختم کر دیتا ہے۔
MemoryHigh اور MemoryMax میں کیا فرق ہے؟
MemoryHigh= ایک soft cap ہے جو throttling کرتی ہے۔ kernel unit سے سختی سے reclaim کرتا ہے اور اس کی allocations سست کر دیتا ہے، لیکن usage اس number سے زیادہ ہو سکتی ہے اور کوئی process ختم نہیں ہوتا۔ MemoryMax= ایک hard cap ہے: اس cap کے اندر پوری نہ ہونے والی allocation اسی unit کے اپنے cgroup میں OOM killer چلا دیتی ہے، اس لیے مسئلہ پیدا کرنے والا process ختم ہوتا ہے، نہ کہ box کا سب سے بڑا process۔ MemoryHigh= کو MemoryMax= سے کم رکھیں اور دونوں کے درمیان فرق کو warning zone سمجھیں۔
مجھے کیسے معلوم ہو کہ OOM killer نے کس service کو ختم کیا؟
journalctl -k --grep "Killed process" --since "2 hours ago" چلائیں۔ Memory cgroup out of memory سے شروع ہونے والی line کا مطلب ہے کہ ایک unit نے اپنا MemoryMax= hit کیا، جبکہ سادہ Out of memory کا مطلب ہے کہ پوری machine کی memory ختم ہو گئی۔ پھر journalctl -u <unit> -n 50 چلائیں اور Failed with result 'oom-kill' تلاش کریں۔ اگر آپ کے server پر /var/log/journal موجود نہیں ہے تو journal RAM میں رکھا گیا تھا اور reboot کے ساتھ evidence ختم ہو گیا۔ اس لیے اگلے incident سے پہلے یہ directory بنائیں۔
کیا مجھے چھوٹی VPS میں swap شامل کرنا چاہیے؟
چھوٹی swap file ان cold pages کے لیے مددگار ہوتی ہے جو ایک بار allocate ہوتے ہیں اور پھر دوبارہ استعمال نہیں کیے جاتے۔ یہ runaway process میں مدد نہیں دیتی۔ یہ process ختم ہونے میں تاخیر کرتی ہے اور مختصر outage کو ایک طویل stall میں بدل دیتی ہے، جس کے دوران آپ login کر کے مسئلہ درست نہیں کر سکتے۔ swap کو محدود رکھیں، اور ان units پر MemorySwapMax=0 مقرر کریں جنہیں ختم ہونے دینا قابل قبول ہے، تاکہ وہ جلد اپنی حد تک پہنچیں اور Restart=on-failure مقرر ہونے کی صورت میں خود دوبارہ شروع ہو جائیں، جبکہ اہم services اپنی swap برقرار رکھیں۔
کیا میں unit file لکھے بغیر کسی command کو محدود کر سکتا ہوں؟
جی ہاں۔ sudo systemd-run --scope -p MemoryMax=1G -p CPUQuota=50% ./script.sh آپ کے terminal میں command کو ان limits کے ساتھ transient scope کے اندر چلاتا ہے، اور command ختم ہوتے ہی یہ limits ختم ہو جاتی ہیں۔ systemd.resource-control کی ہر property -p کے بعد دستیاب ہوتی ہے، اس لیے MemorySwapMax=، TasksMax= اور CPUWeight= بھی وہاں کام کرتے ہیں۔ --scope ہٹا کر --unit=name شامل کریں تاکہ job background میں output کو journal میں لکھتے ہوئے چلے۔