systemd نے آپ کی سروس restart کیوں نہیں کی؟
Restart= صرف main process کو دیکھتا ہے؛ اسی cgroup میں dead child نظر نہیں آتا۔ Type=، restart limits اور journal کے کام کرنے کا درست طریقہ جانیں۔
مختصر جواب: systemd کی restart policies ہر unit میں ایک process کی نگرانی کرتی ہیں
systemd کی restart policies ہر unit کے لیے ایک process، یعنی main process، کی نگرانی کرتی ہیں۔ Restart= اسی process کے exit status اور ان مختصر commands کے exit status پڑھتا ہے جو systemd خود اس کے گرد چلاتا ہے، جیسے ExecStartPre=، ExecStartPost= اور ExecReload=۔ یہ کسی اور چیز کا status نہیں پڑھتا۔ کسی unit کے control group میں بیس processes ہو سکتے ہیں۔ ان میں سے ایک process ختم ہو جائے، پھر بھی unit active (running) رہتی ہے کیونکہ main process ابھی چل رہا ہوتا ہے۔ systemd کے لحاظ سے کچھ fail نہیں ہوا، اس لیے کچھ restart نہیں کیا جاتا۔
systemd کو دوسرے processes کا علم ہوتا ہے۔ unit رکنے پر یہ انہیں kill کرتا ہے، ان کی memory کو unit کی limits میں شمار کرتا ہے، ان پر unit کا CPU quota لاگو کرتا ہے، اور انہیں systemctl status میں دکھاتا ہے۔ لیکن یہ ان کے exit status کبھی نہیں پڑھتا۔ restart logic اور cgroup دو الگ چیزیں ہیں، اور اس guide کا بیشتر حصہ ان دونوں کے درمیان موجود فرق سے متعلق ہے۔
cgroup میں کیا شامل ہوتا ہے، اور restart logic کیا پڑھتی ہے
cgroup (control group) ایک kernel object ہے جو processes کے ایک مجموعے کی ملکیت رکھتا ہے۔ ہر service unit کو ایک cgroup ملتا ہے، جس کا نام unit کے نام پر ہوتا ہے۔ کوئی process اس سے باہر نہیں نکل سکتا۔ Child processes اپنے parent کا cgroup inherit کرتے ہیں، اور unprivileged process خود کو کسی دوسری جگہ منتقل نہیں کر سکتا۔ اسی وجہ سے systemd ایسے daemon کو بھی مکمل طور پر صاف کر سکتا ہے جو دو بار fork کرے، جبکہ پرانی init scripts یہ کام قابلِ اعتماد طریقے سے نہیں کر سکتی تھیں۔
دونوں حقائق کو ساتھ ساتھ دیکھیں:
systemd-cgls --unit myapp.service
systemctl show -p MainPID -p NRestarts -p Restart -p RestartUSec myapp.servicesystemd-cgls unit کے تمام processes کی فہرست دکھاتا ہے۔ MainPID وہ واحد number ہے جسے restart policy پڑھتی ہے۔ جب یہ دونوں آپ کے ذہنی تصور سے مطابقت نہ رکھیں تو یہی اختلاف bug ہوتا ہے۔ MainPID=0 کا مطلب ہے کہ systemd کے پاس exit status پڑھنے کے لیے کوئی main process نہیں ہے۔ یہ cgroup کو پھر بھی track کرتا ہے، اس لیے اسے معلوم ہو جاتا ہے کہ اس میں موجود آخری process ختم ہو گیا ہے، لیکن اس وقت تک restart logic کے پاس فیصلہ کرنے کے لیے کوئی exit status نہیں ہوتا۔
Main-process rule میں ایک حقیقی استثنا موجود ہے۔ اگر kernel out-of-memory killer unit کے cgroup کے اندر موجود کسی process کو ختم کر دے تو systemd اسے دیکھ لیتا ہے، کیونکہ یہ cgroup کی memory.events file کو monitor کرتا ہے۔ OOMPolicy= طے کرتا ہے کہ اس کے بعد کیا ہوگا، اور اس کی default value stop ہے: پوری unit روک دی جاتی ہے، نتیجہ oom-kill کے طور پر record ہوتا ہے، اور اسے failure شمار کیا جاتا ہے، اس لیے Restart=on-failure فعال ہو جاتا ہے۔ journal میں یہ بات واضح طور پر درج ہوتی ہے۔
myapp.service: A process of this unit has been killed by the OOM killer.
myapp.service: Failed with result 'oom-kill'.لہٰذا memory کی وجہ سے ختم کیا گیا child unit کو بند کر دیتا ہے، جبکہ وہی child segmentation fault سے ختم ہو تو ایسا نہیں ہوتا۔ اگر آپ unit پر memory limits مقرر کرتے ہیں تو restart policy کو tune کرنے سے پہلے MemoryMax اور CPUQuota unit کے cgroup پر کیسے لاگو ہوتے ہیں پڑھیں، کیونکہ یہ دونوں features اسی مقام پر ایک دوسرے سے ملتے ہیں اور کہیں نہیں۔
Type= مرکزی عمل کا انتخاب کیسے کرتا ہے
Type= سیکشن میں [Service] صرف start-up ordering کے بارے میں نہیں ہے۔ یہ وہ اصول ہے جو طے کرتا ہے کہ کون سا PID (process ID) MainPID بنتا ہے۔ اسی سے یہ بھی طے ہوتا ہے کہ Restart= کیا دیکھ سکتا ہے۔
Type=simpledefault ہے۔ systemd جس process کوExecStart=سے fork کرتا ہے، وہی main process ہوتا ہے۔ systemd یہ جانے بغیر کہexecواقعی کامیاب ہوا یا نہیں، unit کو فوراً started نشان زد کر دیتا ہے۔ binary path میں typo کی صورت میں start job کامیاب ہو جاتی ہے، اور پھرMain process exited, code=exited, status=203/EXECکچھ ہی دیر بعد۔Type=exec،simpleکی طرح کام کرتا ہے، لیکن start job اس وقت تک انتظار کرتی ہے جب تکexecکامیاب نہ ہو جائے۔ اس سے اوپر بیان کردہ typo ایک حقیقی start failure بن جاتا ہے۔ اس کے لیے systemd 240 یا اس کے بعد کا ورژن درکار ہے۔ Ubuntu 20.04 اور اس کے بعد کے ورژنز اور Debian 12 میں یہ موجود ہے، لیکن Ubuntu 18.04، جو اب بھی Ubuntu Pro کے ذریعے support ہوتا ہے، systemd 237 فراہم کرتا ہے اور اس میں یہ موجود نہیں۔ جہاں یہ دستیاب ہو، وہاںsimpleکے بجائے اسے ترجیح دیں۔Type=forkingتوقع کرتا ہے کہExecStart=سے شروع ہونے والا process background daemon کو fork کرے گا اور پھر ختم ہو جائے گا۔ systemd والد process کے ختم ہونے کا انتظار کرتا ہے، پھر اصل daemon تلاش کرتا ہے۔ اسےPIDFile=دیں۔ اس کے بغیرGuessMainPID=(جو default طور پر enabled ہے) صرف اس وقت کام کرتا ہے جب cgroup میں بالکل ایک process باقی رہ جائے۔ اگر دو process باقی چھوڑے جائیں توMainPID،0ہی رہتا ہے۔Type=notifyکا مطلب ہے کہ service، traffic فراہم کرنے کے قابل ہونے پرsd_notify(3)کو call کرتی ہے اورREADY=1بھیجتی ہے۔ یہ systemd کو track کرنے کے لیے مختلف process دینے کی غرض سےMAINPID=بھی بھیج سکتی ہے۔Type=notifyکے ساتھNotifyAccess=کوmainپر set کیا جاتا ہے، جب تک آپ کوئی اور قدر منتخب نہ کریں۔ اس لیے child کی طرف سے بھیجی گئی notification نظرانداز ہو جاتی ہے اور journal اس PID کا نام درج کرتا ہے جہاں سے یہ notification آئی تھی۔Type=oneshotکا کوئی مستقل main process نہیں ہوتا۔ExecStart=مکمل ہوتے ہی unit inactive ہو جاتی ہے، جب تک آپRemainAfterExit=yesset نہ کریں۔ یہاںRestart=alwaysاورRestart=on-successمسترد کر دیے جاتے ہیں، اور پیغامService has Restart= set to either always or on-success, which isn't allowed for Type=oneshot services. Refusing.دکھایا جاتا ہے۔on-failureسمیت دیگر values قبول کی جاتی ہیں۔
دو Type=forking errors یاد رکھنا مفید ہے، کیونکہ ہر error ایسی unit چھوڑ سکتا ہے جو کسی ظاہری وجہ کے بغیر خراب معلوم ہوتی ہے:
myapp.service: Can't open PID file /run/myapp.pid (yet?) after start: No such file or directory
myapp.service: New main PID 4711 does not belong to service, and PID file is not owned by root. Refusing.پہلے error کا مطلب ہے کہ daemon اپنی PID file کسی اور جگہ لکھتا ہے، یا اسے اس وقت لکھتا ہے جب systemd پہلے ہی اسے تلاش کر چکا ہوتا ہے۔ دوسرے error کا مطلب ہے کہ PID file میں ایسے process کا نام ہے جو unit کے cgroup سے باہر ہے۔ systemd اسے adopt کرنے سے انکار کرتا ہے، کیونکہ writable PID file بصورت دیگر systemd کو host پر موجود کسی بھی process کو signals بھیجنے کا ذریعہ بن سکتی ہے۔
ریپر اسکرپٹ اپنے child processes کے ختم ہونے کو کیوں چھپا دیتا ہے
یہ وہ ساخت ہے جو عنوان میں موجود سوال پیدا کرتی ہے۔
#!/bin/bash
/usr/local/bin/myapp-web &
/usr/local/bin/myapp-worker &
waitunit Type=simple ہے، اس لیے main process shell ہے۔ wait بغیر arguments کے صرف اس وقت واپس آتا ہے جب ہر child ختم ہو چکا ہو۔ worker کو kill کریں تو shell web process کے لیے انتظار کرتا رہتا ہے؛ اس لیے shell exit نہیں کرتا، MainPID exit نہیں کرتا، اور Restart= سے دوبارہ جانچ نہیں ہوتی۔ اب cgroup میں ایک process کم ہے، systemctl status مختصر tree دکھاتا ہے، اور unit اب بھی active (running) ہے۔ systemd اس tree میں ہونے والی تبدیلیوں کی نگرانی نہیں کرتا۔
اسی غلطی کی دوسری صورت زیادہ خاموش ہوتی ہے:
ExecStart=/bin/sh -c 'export APP_ENV=production; /usr/local/bin/myapp'main process shell ہے، myapp نہیں۔ systemctl stop پر systemd main process کو SIGTERM بھیجتا ہے، لیکن foreground child کا انتظار کرنے والا shell یہ signal آگے نہیں بھیجتا۔ stop میں مکمل TimeoutStopSec لگتا ہے، جو default طور پر 90 seconds ہے، اور نتیجہ یہ ہوتا ہے:
myapp.service: State 'stop-sigterm' timed out. Killing.
myapp.service: Killing process 4711 (myapp) with signal SIGKILL.حل exec ہے۔ exec /usr/local/bin/myapp لکھیں تو shell کی جگہ program لے لیتا ہے؛ اس طرح MainPID program ہوتا ہے اور signals اس تک پہنچتے ہیں۔ اس سے بہتر یہ ہے کہ shell حذف کریں اور unit میں Environment= یا EnvironmentFile= استعمال کریں۔ یاد رکھیں کہ یہ bug اس وقت چھپ جاتا ہے جب -c string میں صرف ایک command ہو، کیونکہ bash اور dash دونوں اس صورت کو براہِ راست exec میں بدل دیتے ہیں۔ string میں دوسری command شامل کریں تو shell آپ کے program کے سامنے برقرار رہتا ہے۔
اسے test VPS پر دو minutes میں دوبارہ بنائیں
اوپر والا wrapper /usr/local/bin/two-children.sh کے نام سے محفوظ کریں، chmod +x کے ذریعے اسے executable بنائیں، اور دونوں program paths کو sleep 3600 سے تبدیل کریں۔ Type=simple اور Restart=on-failure کے ذریعے ایک unit کو اس کی طرف point کریں، پھر systemctl daemon-reload چلائیں اور اسے start کریں۔ systemd-cgls --unit two-children.service چلائیں اور تین PIDs نوٹ کریں: shell اور اس کے دو children۔ ایک child کو sudo kill <pid> کے ذریعے kill کریں۔ unit دوبارہ check کریں۔ tree میں ایک process کم ہے، state اب بھی active (running) ہے، اور journal میں کوئی نیا پیغام نہیں ہے۔ اب اس کے بجائے sudo kill -9 <shell pid> چلائیں۔ unit fail ہو جاتی ہے، باقی child کو صاف کر دیا جاتا ہے کیونکہ KillMode=control-group default ہے، اور journal Scheduled restart job, restart counter is at 1. دکھاتا ہے۔
مکمل Restart= اصطلاحات، اور on-failure کب always سے بہتر ہے
Restart= سات میں سے ایک قدر قبول کرتا ہے۔ ان اقدار کے درمیان بنیادی فرق یہ ہے کہ صاف اختتام کس کو شمار کیا جاتا ہے۔ systemd، exit code 0، SuccessExitStatus= میں درج ہر code، اور Type=oneshot کے علاوہ ہر type کے لیے signals SIGHUP، SIGINT، SIGTERM اور SIGPIPE کو clean exit سمجھتا ہے۔ باقی سب، بشمول SIGKILL اور SIGSEGV، unclean ہیں۔
nodefault ہے۔ unit خود کو کبھی restart نہیں کرتا۔ اسی لیےRestart=line کے بغیر unit پہلے crash پر بند ہو جاتا ہے اور بند ہی رہتا ہے۔on-successصرف clean exit کے بعد restart کرتا ہے۔on-failurenon-zero exit code، unclean signal، start یا stop timeout، یا watchdog expiry کے بعد restart کرتا ہے۔on-abnormalunclean signal، timeout یا watchdog expiry کے بعد restart کرتا ہے، لیکن عام non-zero exit code کے بعد کبھی نہیں۔on-abortصرف unclean signal کے بعد restart کرتا ہے، یعنی crash کے بعد۔on-watchdogصرف اس وقت restart کرتا ہے جبWatchdogSec=expire ہو۔alwaysاوپر بیان کردہ ہر صورت کے بعد restart کرتا ہے، بشمول status 0 کے ساتھ clean exit۔
on-failure طویل وقت تک چلنے والے daemon کے لیے درست default ہے۔ یہ crash کے بعد سروس بحال کرتا ہے، لیکن دانستہ exit 0 کو برقرار رہنے دیتا ہے۔ always ایسے program کے لیے ہے جو اپنے اختیار سے باہر وجوہات کی بنا پر cleanly exit کرتا ہے، مثلاً ایسا tunnel client جو far end کے disconnect ہونے پر 0 واپس کرتا ہے۔ always کی قیمت یہ ہے کہ یہ bugs چھپا دیتا ہے: کوئی service start ہو، broken config file پڑھے، error log کرے اور 0 کے ساتھ exit ہو جائے تو اسے صرف دوبارہ start کیا جاتا ہے۔ Default 100 millisecond وقفے کے ساتھ یہ جلد ہی ذیل میں بیان کردہ start rate limit سے ٹکرا جاتی ہے اور start-limit-hit کے ساتھ failed ہو جاتی ہے۔ اگر RestartSec= اس limit سے نیچے رہنے کے لیے کافی طویل ہو تو یہ لامتناہی loop میں چلتی رہتی ہے، اور واحد علامت restart counter کا بڑھنا ہوتی ہے۔
SuccessExitStatus= clean اور unclean کے درمیان حد تبدیل کرتا ہے۔ Borg warnings کے لیے 1 اور errors کے لیے 2 کے ساتھ exit کرتا ہے، اس لیے SuccessExitStatus=1 کے بغیر backup unit ہر بار failed mark ہو جاتی ہے جب یہ کسی ایک unreadable file کو skip کرتی ہے۔ RestartPreventExitStatus= ایسے codes درج کرتا ہے جو always کے تحت بھی restart کو روکتے ہیں۔ یہ program کے لیے یہ بتانے کا درست طریقہ ہے کہ اسے واپس نہیں آنا چاہیے۔ RestartForceExitStatus= اس کے برعکس کام کرتا ہے۔ Backup job کو restart loop کے بجائے timer کے ذریعے چلنے والی Type=oneshot unit میں رکھنا چاہیے، اور وہ service اور timer pair جو شیڈول کے مطابق job چلاتا ہے اسی ساخت کی مثال ہے۔
Testing کے بارے میں ایک انتباہ۔ اپنی service کو سادہ kill <pid> سے ختم کرنے پر SIGTERM بھیجا جاتا ہے، جو clean list میں شامل ہے۔ اس لیے Restart=on-failure درست طور پر کچھ نہیں کرتا، اور آپ یہ نتیجہ نکالتے ہیں کہ configuration خراب ہے۔ اس کے بجائے kill -9 <pid> یا systemctl kill -s SIGKILL myapp.service استعمال کریں۔ یہ بھی یاد رکھیں کہ Restart= کی کوئی بھی value systemctl stop کے بعد فعال نہیں ہوتی، یا اس وقت بھی نہیں جب BindsTo= یا PartOf= dependency ختم ہونے کی وجہ سے unit کو stop کیا گیا ہو۔ Stop job failure نہیں ہوتا۔
RestartSec، اور 100 ملی سیکنڈ کی طے شدہ قدر
RestartSec= یونٹ کے رکنے اور systemd کے اسے دوبارہ شروع کرنے کے درمیان وقفہ ہے، اور اس کی طے شدہ قدر 100 ملی سیکنڈ ہے۔ دیکھیں کہ آپ کے یونٹ نے حقیقت میں کیا قدر load کی ہے:
systemctl show -p RestartUSec -p StartLimitIntervalUSec -p StartLimitBurst myapp.serviceجس یونٹ میں یہ قدر مقرر نہ کی گئی ہو، وہ RestartUSec=100ms دکھاتا ہے، جب تک کہ کسی نے DefaultRestartSec= کو /etc/systemd/system.conf میں تبدیل نہ کیا ہو۔ unset قدر اسی جگہ سے آتی ہے۔ یہ طے شدہ قدر ایسی service کے لیے مناسب ہے جو ایک بار crash ہو کر دوبارہ چل جائے۔ لیکن ایسی service کے لیے یہ غلط ہے جو بالکل start نہ ہو سکتی ہو، کیونکہ فوراً fail ہونے والے program کے لیے پہلا start اور چار restart ایک سیکنڈ سے بھی بہت کم وقت میں مکمل ہو جاتے ہیں۔ اس طرح اگلے حصے میں بیان کردہ rate limit کے تحت اجازت دیے گئے پانچ starts بھی ختم ہو جاتے ہیں۔ جو service database، mount یا network route کا انتظار کرتی ہو، اس کے لیے RestartSec=5s یا اس سے زیادہ قدر مقرر کریں۔
October 2026 تک، systemd 254 اور اس کے بعد کے ورژنز RestartSteps= اور RestartMaxDelaySec= بھی فراہم کرتے ہیں۔ یہ متعدد کوششوں کے دوران RestartSec= سے تاخیر بڑھاتے ہوئے ایک مقررہ زیادہ سے زیادہ حد تک پہنچتے ہیں۔ Ubuntu 24.04 میں systemd 255 شامل ہے اور اس میں یہ اختیارات موجود ہیں۔ Debian 12 میں systemd 252 شامل ہے اور یہ اختیارات موجود نہیں، تاہم bookworm-backports میں systemd 254 شامل ہے۔ جب dependency طویل وقت تک unavailable رہ سکتی ہو تو بڑھتی ہوئی تاخیر درست حل ہے۔
"start request repeated too quickly" کا حقیقی مطلب
یہ وہ حالت ہے جس میں قارئین سمجھتے ہیں کہ systemd نے من مانے طریقے سے کوشش ترک کر دی ہے۔ دراصل یہ ایک counter ہے۔ اصول یہ ہے: اگر کسی unit کو StartLimitBurst= کے اندر StartLimitIntervalSec= سے زیادہ مرتبہ start کیا جائے تو systemd اسے دوبارہ start کرنے سے انکار کر دیتا ہے اور اسے failed state میں رکھ دیتا ہے۔ Default طور پر 10 seconds میں 5 starts کی اجازت ہوتی ہے۔
journal میں یہ sequence دکھائی دیتی ہے:
myapp.service: Scheduled restart job, restart counter is at 5.
myapp.service: Start request repeated too quickly.
myapp.service: Failed with result 'start-limit-hit'.
Failed to start myapp.service - My application.اور systemctl start پہلے سے لکھا ہوا حل فراہم کرتا ہے:
Job for myapp.service failed because start of the service was attempted too often. See "systemctl status myapp.service" and "journalctl -xeu myapp.service" for details. To force a start use "systemctl reset-failed myapp.service" followed by "systemctl start myapp.service" again.systemctl reset-failed myapp.service counter اور failed state صاف کر دیتا ہے۔ اس کے بغیر سادہ systemctl start اس وقت تک مسترد ہوتا رہتا ہے جب تک StartLimitIntervalSec= window ختم نہ ہو جائے، اور automatic restarts اس وقت تک بند رہتے ہیں جب تک کوئی دوبارہ unit start نہ کرے۔ Manual starts بھی limit میں شمار ہوتے ہیں، اس لیے configuration file میں ترمیم کرتے وقت چند بے صبری والے systemctl restart runs بھی اسے فعال کر سکتے ہیں، چاہے کوئی crash بالکل نہ ہوا ہو۔
جو بات لوگوں کو گمراہ کرتی ہے وہ یہ ہے: start-limit-hit کبھی نہیں بتاتا کہ service کیوں fail ہو رہی تھی۔ یہ صرف بتاتا ہے کہ service بار بار اور تیزی سے fail ہوئی۔ اصل وجہ اس سے اوپر موجود journal lines میں ہوتی ہے۔
دونوں settings [Unit] section میں ہونی چاہییں۔ آپ کو ایسی مثالیں ملیں گی جن میں انہیں [Service] میں رکھا گیا ہے۔ پرانے systemd ورژنز اسے قبول کرتے تھے، اور الجھن یہیں سے شروع ہوتی ہے۔ انہیں [Unit] میں لکھیں، پھر systemctl show سے systemd سے معلوم کریں کہ اس نے کیا load کیا ہے، کیونکہ صرف loaded value ہی مؤثر ہوتی ہے۔
[Unit]
Description=My application
StartLimitIntervalSec=300
StartLimitBurst=5
[Service]
Type=exec
ExecStart=/usr/local/bin/myapp
Restart=on-failure
RestartSec=10sاس سے unit کو give up کرنے سے پہلے پانچ منٹ کی window میں پانچ attempts ملتی ہیں۔ StartLimitIntervalSec=0 limit کو مکمل طور پر بند کر دیتا ہے، اور آپ کو معلوم ہونا چاہیے کہ آپ کیا منتخب کر رہے ہیں: جو service کبھی start نہیں ہو سکتی وہ اب ہمیشہ retry کرے گی اور ہر بار journal میں entry لکھے گی۔ پوری machine کے defaults /etc/systemd/system.conf میں DefaultStartLimitIntervalSec= اور DefaultStartLimitBurst= کے طور پر موجود ہوتے ہیں۔
قریب کی ایک setting کے بارے میں احتیاط ضروری ہے۔ StartLimitAction= یہ طے کرتا ہے کہ limit پوری ہونے پر کیا ہوگا، اور یہ reboot، reboot-force اور poweroff سمیت کئی values قبول کرتا ہے۔ Default none ہے، جو unit کو fail کرتا ہے اور machine کو اسی حالت میں چھوڑ دیتا ہے۔ Remote VPS پر poweroff کا مطلب ایسی machine ہے جو اس وقت تک بند رہتی ہے جب تک آپ provider کا console نہ کھولیں۔
اصلاح 1: ہر unit کے لیے ایک process
تقریباً ہر صورت میں یہی درست طریقہ ہے۔ اگر دو پروگرام چلانے ہوں تو دو units لکھیں۔ اس طرح ہر unit کے پاس حقیقی main process، حقیقی exit status اور اپنی restart policy ہوتی ہے۔ آپ کو الگ logs، الگ resource limits اور الگ restart counters بھی ملتے ہیں، جو رات کے 3 بجے درکار ہوتے ہیں۔
Units کے درمیان تعلق shell script میں نہیں بلکہ unit files میں بیان کریں۔
After=صرف startup کی ترتیب طے کرتا ہے۔ یہ failures کے بارے میں کچھ نہیں بتاتا۔Requires=دوسرے unit کو اسی کے ساتھ شروع کرتا ہے، اور اگر دوسرا unit صراحتاً stop کیا جائے تو اس unit کو بھی stop کر دیتا ہے۔BindsTo=،Requires=کے علاوہ وہ صورت بھی شامل کرتا ہے جو یہاں اہم ہے: دوسرا unit کسی بھی وجہ سے، بشمول crash، stop ہو تو یہ unit بھی stop ہو جاتا ہے۔ اسےAfter=کے ساتھ استعمال کریں، ورنہ ordering غیر متعین رہتی ہے۔PartOf=stop اور restart کو نچلی سطح کے units تک منتقل کرتا ہے، اس لیےsystemctl restart myapp.targetہر اس unit تک پہنچتا ہے جو اس کاPartOf=ہے۔Upholds=(systemd 249 اور اس کے بعد کے versions، یعنی Ubuntu 22.04 اور بعد کے versions) نامزد unit کو چلتا رکھتا ہے: اگر وہ stop ہو جائے تو systemd اسے دوبارہ start کر دیتا ہے۔ اس پر بھی باقی تمام units کی طرح start rate limit لاگو ہوتی ہے۔
ایسا worker جسے اپنے API server کے بغیر کبھی نہیں چلنا چاہیے، اور جسے API کے up ہونے تک systemd چلتا رکھے:
# /etc/systemd/system/myapp-api.service
[Unit]
Description=myapp API server
Wants=network-online.target
After=network-online.target
Upholds=myapp-worker.service
[Service]
Type=exec
User=myapp
ExecStart=/usr/local/bin/myapp serve
Restart=on-failure
RestartSec=5s
[Install]
WantedBy=multi-user.target# /etc/systemd/system/myapp-worker.service
[Unit]
Description=myapp background worker
BindsTo=myapp-api.service
After=myapp-api.service
StartLimitIntervalSec=120
StartLimitBurst=5
[Service]
Type=exec
User=myapp
ExecStart=/usr/local/bin/myapp worker
Restart=on-failure
RestartSec=5sworker میں [Install] section نہیں ہے اور اسے کبھی دستی طور پر enable نہیں کیا جاتا۔ API unit اسے Upholds= کے ذریعے شامل کرتا ہے، اس لیے systemctl enable --now myapp-api.service ہی واحد command ہے جو آپ چلاتے ہیں۔ reload کریں اور دیکھیں کہ systemd نے دونوں units کے ساتھ کیا configuration بنائی ہے:
sudo systemctl daemon-reload
systemd-analyze verify /etc/systemd/system/myapp-worker.service
systemctl list-dependencies myapp-api.servicesystemd-analyze verify صاف file کی صورت میں بالکل کوئی output نہیں دیتا۔ کوئی بھی output مسئلہ ظاہر کرتا ہے۔ عموماً وجہ یہ ہوتی ہے کہ systemd اس section میں لکھی ہوئی key کو تسلیم نہیں کرتا، یا کسی ایسے unit پر dependency موجود ہے جو موجود نہیں ہے۔
درست کاری 2: Type=notify، تاکہ systemd کو صرف PID سے زیادہ معلومات ملیں
اگر پروگرام systemd notification protocol استعمال کرتا ہے تو اسے استعمال کریں۔ Type=notify کے ذریعے service systemd کو بتاتی ہے کہ وہ کب تیار ہے۔ اس سے ordering قیاس پر مبنی رہنے کے بجائے حقیقی ہو جاتی ہے۔ یہ MAINPID= بھی بھیج سکتی ہے، تاکہ systemd کو launcher کے بجائے متعلقہ process کی نشاندہی ہو جائے۔
WatchdogSec= وہ حصہ ہے جس کے لیے کوشش کرنا مفید ہے۔ اسے set کرنے پر service کو کم از کم اتنے وقفے سے WATCHDOG=1 کو sd_notify(3) کے ذریعے بھیجنا لازم ہوتا ہے۔ پیغامات رک جائیں تو systemd service کو SIGABRT کے ذریعے terminate کر دیتا ہے اور اسے failed mark کرتا ہے۔ اس صورت میں Restart=on-failure یا Restart=on-watchdog اسے دوبارہ شروع کر دیتا ہے۔ کسی ایسے process کو restart کرنے کا یہ واحد built-in طریقہ ہے جو زندہ ہو مگر stuck ہو۔ exit-status policy اسے کبھی نہیں پکڑ سکتی۔
[Service]
Type=notify
NotifyAccess=main
ExecStart=/usr/local/bin/myapp serve
WatchdogSec=30s
Restart=on-failure
RestartSec=5swatchdog trigger ہونے پر journal میں پہلے myapp.service: Watchdog timeout (limit 30s)! اور پھر kill کا اندراج ہوتا ہے۔ اگر unit activating (start) میں بیٹھی رہے اور TimeoutStartSec ختم ہو جائے تو READY=1 کبھی موصول نہیں ہوا یا count نہیں ہوا۔ یا تو پروگرام protocol استعمال نہیں کرتا، یا NotifyAccess=main کسی child process سے آنے والی notification مسترد کر رہا ہے۔ journal اس صورت میں دونوں PIDs report کرتا ہے۔ ایک اور امکان یہ ہے کہ helper process نے message بھیجا اور systemd کے یہ معلوم کرنے سے پہلے exit کر گیا کہ وہ کس unit سے آیا تھا۔ NotifyAccess=all کے تحت بھی اس آخری message کو ignore کر دیا جاتا ہے۔ اس کا حل پروگرام میں ہونا چاہیے: helper کے exit ہونے سے پہلے اسے sd_notify_barrier() call کرنا چاہیے۔
ایسے software کے لیے جو HTTP health endpoint فراہم کرتا ہو لیکن sd_notify support نہ کرتا ہو، درست انتخاب یہ ہیں کہ ایک چھوٹی timer unit بنائی جائے جو endpoint کو probe کرے اور systemctl restart call کرے، یا container runtime کو probing کرنے دی جائے۔ Compose healthchecks اور ان کا restart رویہ اسی مقصد کے لیے موجود ہیں۔
یونٹ کے اندر supervisor چلانے والا طریقہ، صرف اس وقت جب کوئی اور راستہ نہ ہو
کچھ software واقعی processes کے ایسے bundle کی صورت میں release ہوتا ہے جو ایسے launcher کے پیچھے چلتا ہے جسے آپ الگ نہیں کر سکتے۔ ایسی صورت میں آپ یونٹ کے اندر supervisor چلاتے ہیں اور اس کا نتیجہ قبول کرتے ہیں: systemd، supervisor کی نگرانی کرتا ہے؛ supervisor باقی سب کی نگرانی کرتا ہے؛ اور آپ کی restart policy اب دو files میں موجود ہوتی ہے۔
اس کی عام مثال container runtime ہے۔ docker compose یا podman unit عین یہی pattern ہے۔ اس میں ہر container کی restart policy Compose file میں بیان ہوتی ہے، جبکہ systemd unit صرف runtime کو چلتا رکھتی ہے۔ اگر آپ کا setup ایسا ہی ہے تو وہ unit جو boot کے وقت Compose stack شروع کرتی ہے عملی configuration دکھاتی ہے۔ اس میں یہ بھی بتایا گیا ہے کہ وہاں Type=oneshot کو RemainAfterExit=yes کے ساتھ استعمال کرنا عموماً درست کیوں ہوتا ہے۔
cgroup اب بھی آپ کے حق میں کام کرتا ہے۔ supervisor جو کچھ بھی start کرتا ہے، وہ unit کے cgroup کے اندر رہتا ہے۔ اس لیے MemoryMax=، CPUQuota= اور stop کے وقت ہونے والی cleanup اب بھی پوری process tree پر لاگو ہوتی ہے۔ صرف restart کا فیصلہ supervisor کے حوالے کیا جاتا ہے۔
آپ جو بھی supervisor منتخب کریں، outer unit پر Restart=always اور اس کے اندر aggressive restart policy بغیر سوچے نہ لگائیں۔ restart logic کی دو تہیں، جن میں سے ہر ایک کی اپنی backoff ہو، ایسی service پیدا کرتی ہیں جو کئی منٹ تک بار بار flap کرتی رہتی ہے، جبکہ journal یہ واضح نہیں کرتا کہ ایسا کیوں ہو رہا ہے۔
ExitType=cgroup کا مطلب یہ نہیں کہ "کوئی بھی process ختم ہو تو restart کریں"
ExitType= (systemd 250 اور اس کے بعد کے ورژنز میں، اس لیے Ubuntu 24.04 اور Debian 12 دونوں میں موجود ہے) وہ setting ہے جو لوگ اس مسئلے کی تلاش کے دوران دیکھتے ہیں، لیکن یہ نام کے تاثر کے برعکس کام کرتی ہے۔ Default، ExitType=main، کا مطلب ہے کہ main process کے exit ہوتے ہی service کو stopped سمجھا جاتا ہے۔ ExitType=cgroup کا مطلب ہے کہ cgroup میں موجود آخری process کے exit ہونے تک service کو running سمجھا جاتا ہے۔
اس لیے ExitType=cgroup کسی ایک process کے ختم ہونے پر unit کو کم حساس بناتا ہے، زیادہ حساس نہیں۔ یہ اس program کے لیے درست setting ہے جو اپنا اصل worker fork کرتا ہے اور PID file لکھے بغیر parent سے exit ہو جاتا ہے، جس کی وجہ سے Type=forking daemon تلاش نہیں کر پاتا۔ یہاں بیان کی گئی failure کے لیے یہ setting غلط ہے۔
ایسی کوئی Restart= value نہیں جو "cgroup میں کوئی بھی process ختم ہو تو unit کو restart کریں" کا مطلب دے۔ اگر آپ کو یہ رویہ چاہیے تو ہر unit میں صرف ایک process ہونا چاہیے۔ اگر program کو الگ نہیں کیا جا سکتا اور wrapper script آپ کے اختیار میں ہے تو اس مقصد کے قریب ترین طریقہ wait -n ہے، جو پہلے child کے exit ہوتے ہی واپس آ جاتا ہے:
#!/bin/bash
/usr/local/bin/myapp-web &
/usr/local/bin/myapp-worker &
wait -n
exit 1اب کسی بھی child کے ختم ہونے سے wrapper non-zero status کے ساتھ ختم ہو جائے گا، اس لیے Restart=on-failure عمل کرے گا۔ یہ ایک سمجھوتا ہے، مکمل حل نہیں۔ دونوں programs کے لیے پھر بھی ایک ہی restart counter اور ایک ہی log stream ہوگی، اور ناکام حصے کو الگ سے restart کرنے کا کوئی طریقہ نہیں ہوگا۔
اصل میں کیا ہوا، اس کا معائنہ کیسے کریں
چار commands، اسی ترتیب سے۔
systemctl status myapp.service
systemd-cgls --unit myapp.service
systemctl show -p MainPID -p NRestarts -p Result -p ExecMainStatus myapp.service
journalctl -u myapp.service -b -o short-precisesystemctl status ایک ہی screen پر state، main PID اور cgroup tree دکھاتا ہے۔ صحت مند unit میں Active: active (running) نظر آتا ہے اور Main PID: line میں متوقع process کا نام ہوتا ہے۔ اگر نیچے موجود tree میں ایسے processes شامل ہوں جنہیں آپ نہیں پہچانتے، یا وہ process موجود نہ ہو جس کی آپ توقع کر رہے ہیں، تو وجہ واضح ہو چکی ہے۔
systemd-cgls --unit یہی tree بغیر truncation کے دکھاتا ہے۔ جب کسی unit میں چند processes سے زیادہ ہوں تو یہ فرق اہم ہو جاتا ہے۔
systemctl show machine-readable facts فراہم کرتا ہے۔ NRestarts= restart counter ہے۔ اس سے فوراً معلوم ہو جاتا ہے کہ کوئی service چالیس بار restart ہوئی ہے یا boot کے بعد سے مسلسل چل رہی ہے۔ Result= آخری failure reason رکھتا ہے: exit-code، signal، timeout، oom-kill، watchdog یا start-limit-hit۔ ExecMainStatus= آخری main process کا raw exit status ہے۔
journal میں واقعات کی ترتیب محفوظ ہوتی ہے۔ ان تین lines کو تلاش کریں:
myapp.service: Main process exited, code=exited, status=1/FAILURE
myapp.service: Failed with result 'exit-code'.
myapp.service: Scheduled restart job, restart counter is at 1.code=exited, status=N کا مطلب ہے کہ program نے N واپس کرنے کا انتخاب کیا۔ اس لیے خرابی program یا اس کی configuration میں ہے۔ code=killed, signal=SEGV کا مطلب ہے کہ program crash ہو گیا۔ code=killed, signal=TERM کا مطلب عموماً یہ ہے کہ کسی دوسری چیز نے اسے stop کرنے کو کہا۔ یہ failure نہیں ہے اور Restart=on-failure کو trigger نہیں کرے گا۔ code=dumped کا مطلب ہے کہ program نے core file چھوڑی ہے۔ coredumpctl list آپ کو یہ file دکھائے گا، جب systemd-coredump installed ہو۔
ایک سے زیادہ machines پر NRestarts وہ number ہے جسے schedule کے مطابق collect کرنا چاہیے۔ جس unit کا counter ہر روز بڑھتا ہے، وہ ہر روز fail ہو رہی ہے، چاہے کسی نے یہ بات محسوس نہ کی ہو۔ جب servers کی تعداد دو یا تین سے زیادہ ہو جائے تو ہر server پر ایک command چلانے کا مستقل طریقہ اس اندازے کو report میں بدل دیتا ہے۔
FAQ
systemctl یہ کیوں بتاتا ہے کہ میری service active ہے، حالانکہ process ختم ہو چکا ہے؟
systemd ہر service unit کے لیے ایک process، یعنی main process، track کرتا ہے، اور Restart= صرف اسی process کا exit status پڑھتا ہے۔ Unit کے شروع کیے ہوئے باقی تمام processes اسی cgroup میں رہتے ہیں۔ unit رکنے پر systemd ان processes کو ختم کر دیتا ہے، لیکن ان کے ختم ہونے کی نگرانی نہیں کرتا۔ systemctl show -p MainPID myapp.service چلائیں اور اس عدد کا systemd-cgls --unit myapp.service سے موازنہ کریں۔ اگر ختم ہونے والا process tree میں موجود ہو لیکن MainPID نہ ہو، تو systemd نے بالکل متوقع طریقے سے کام کیا ہے۔ درست طریقہ یہ ہے کہ ہر unit میں ایک process ہو، اور units کے درمیان تعلق BindsTo= اور Upholds= کے ذریعے لکھا جائے۔
"start request repeated too quickly" کا کیا مطلب ہے؟
اس کا مطلب ہے کہ unit کو StartLimitIntervalSec= کے اندر StartLimitBurst= سے زیادہ مرتبہ start کیا گیا۔ اس کی default قدر 10 seconds میں 5 starts ہے، اس لیے systemd نے مزید کوشش روک دی۔ یہ صرف rate limit ہے۔ یہ نہیں بتاتی کہ service کیوں fail ہو رہی تھی، اس لیے اس سے اوپر موجود journal lines پڑھیں۔ systemctl reset-failed myapp.service سے state صاف کریں، پھر بنیادی failure درست کریں۔ اگر service کو کسی سست رفتار dependency کے start ہونے کا انتظار ہو تو RestartSec= بڑھائیں، کیونکہ 100 milliseconds کا default gap پانچوں کوششیں ایک second سے کم وقت میں ختم کر دیتا ہے۔
کیا مجھے Restart=always یا Restart=on-failure استعمال کرنا چاہیے؟
تقریباً ہر صورت میں on-failure استعمال کریں۔ یہ crash، non-zero exit، timeout اور watchdog trip کے بعد service restart کرتا ہے، لیکن جان بوجھ کر کیے گئے exit 0 کو برقرار رہنے دیتا ہے۔ always صرف اس وقت استعمال کریں جب program اپنے اختیار سے باہر وجوہات کی بنا پر cleanly exit کرتا ہو، مثلاً کوئی client اپنے peer کے disconnect ہونے پر 0 واپس کرتا ہو۔ always کا نقصان یہ ہے کہ broken config پڑھنے والی service، ایک error log کرنے کے بعد 0 پر exit کرے، تو اسے بار بار start کیا جاتا ہے۔ Default gap کے ساتھ یہ جلد start-limit-hit کے ساتھ fail ہو جاتی ہے۔ طویل RestartSec= کے ساتھ یہ غیر معینہ مدت تک loop کر سکتی ہے، اور واحد نمایاں علامت کے طور پر NRestarts، systemctl show میں بڑھتا رہتا ہے۔
process کو ہاتھ سے ختم کرنے پر restart کیوں trigger نہیں ہوتا؟
کیونکہ Type=oneshot کے علاوہ ہر type کے لیے systemd SIGHUP، SIGINT، SIGTERM اور SIGPIPE کو clean exits شمار کرتا ہے، اور سادہ kill <pid>، SIGTERM بھیجتا ہے۔ Restart=on-failure کے تحت clean exit کو failure نہیں سمجھا جاتا، اس لیے کچھ restart نہیں ہوتا، حالانکہ configuration میں کوئی خرابی نہیں ہوتی۔ kill -9 <pid> یا systemctl kill -s SIGKILL myapp.service کے ذریعے test کریں۔ یہ unclean termination ہے اور restart policy trigger کرتی ہے۔ یہی اصول واضح کرتا ہے کہ systemctl stop آپ کی restart policy سے کبھی متصادم کیوں نہیں ہوتا۔
StartLimitIntervalSec اور StartLimitBurst کہاں شامل کیے جاتے ہیں؟
[Unit] section میں۔ پرانے مواد اور systemd کے پرانے versions انہیں [Service] میں رکھتے تھے، اس لیے نقل کیے گئے examples ایک دوسرے سے مختلف ہو سکتے ہیں۔ اندازہ نہ لگائیں کہ آپ کا version ان میں سے کس کو تسلیم کرتا ہے۔ systemctl daemon-reload کے بعد systemctl show -p StartLimitBurst -p StartLimitIntervalUSec myapp.service کے ذریعے systemd سے پوچھیں کہ اس نے کیا load کیا ہے، اور ان numbers کو حتمی سمجھیں۔ systemd-analyze verify /etc/systemd/system/myapp.service ان keys کی نشان دہی کرتا ہے جنہیں systemd بالکل نہیں پہچانتا، اور file درست ہو تو کچھ بھی print نہیں کرتا۔