systemd সার্ভিস কেন রিস্টার্ট হচ্ছে না?
Restart= শুধুমাত্র মেইন প্রসেস পর্যবেক্ষণ করে। cgroup-এর ভেতরে কোনো চাইল্ড প্রসেস মারা গেলে systemd তা বুঝতে পারে না। Type= সেটিংস, রিস্টার্ট লিমিট এবং জার্নাল লগিংয়ের বিস্তারিত জানুন।
সংক্ষিপ্ত উত্তর: systemd-এর restart policy একটি process পর্যবেক্ষণ করে
systemd-এর restart policy প্রতি unit-এ একটি process পর্যবেক্ষণ করে: main process। Restart= ওই process-এর exit status এবং systemd নিজে তার চারপাশে চালানো সংক্ষিপ্ত command-গুলোর exit status পড়ে, যেমন ExecStartPre=, ExecStartPost= এবং ExecReload=। এটি অন্য কিছু পড়ে না। একটি unit-এর control group-এ বিশটি process থাকতে পারে। তাদের একটি বন্ধ হয়ে গেলেও unit active (running) থাকে, কারণ main process এখনও চালু আছে। systemd-এর দৃষ্টিতে কিছু ব্যর্থ হয়নি, তাই কিছু restart হয় না।
systemd অন্য process-গুলোর অস্তিত্ব সম্পর্কে জানে। unit বন্ধ হলে এটি তাদের terminate করে, unit-এর limit-এর বিপরীতে তাদের memory ব্যবহার গণনা করে, তাদের ওপর unit-এর CPU quota প্রয়োগ করে এবং systemctl status-এ তাদের দেখায়। কিন্তু এটি কখনও তাদের exit status পড়ে না। restart logic এবং cgroup দুটি আলাদা বিষয়। এই guide-এর বেশির ভাগ অংশ এই দুইয়ের মধ্যকার ব্যবধান নিয়ে।
cgroup-এ কী থাকে এবং restart logic কী পড়ে
একটি cgroup (control group) হলো kernel-এর এমন একটি object, যার অধীনে এক সেট process থাকে। প্রতিটি service unit-এর জন্য একটি cgroup তৈরি হয় এবং সেটির নাম unit-এর নাম অনুযায়ী হয়। কোনো process এটি ছেড়ে যেতে পারে না। Child process তার parent-এর cgroup উত্তরাধিকারসূত্রে পায়, এবং unprivileged process নিজেকে অন্য কোথাও সরাতে পারে না। তাই systemd এমন daemon-ও পরিষ্কারভাবে বন্ধ করতে পারে, যা দুই ধাপে fork করে। পুরোনো init script এটি নির্ভরযোগ্যভাবে করতে পারত না।
দুটি বিষয় পাশাপাশি দেখুন:
systemd-cgls --unit myapp.service
systemctl show -p MainPID -p NRestarts -p Restart -p RestartUSec myapp.servicesystemd-cgls unit-এর প্রতিটি process তালিকাভুক্ত করে। MainPID হলো restart policy যে একক সংখ্যাটি পড়ে। আপনার মানসিক মডেলের সঙ্গে এই দুটির অমিল থাকলে, সেই অমিলই bug। MainPID=0-এর অর্থ হলো systemd-এর কাছে exit status পড়ার মতো কোনো main process নেই। systemd তবু cgroup track করে। তাই cgroup-এর শেষ process-টি চলে গেলে systemd তা বুঝতে পারে। কিন্তু তার আগে restart logic বিচার করার মতো কোনো exit status পায় না।
Main-process rule-এর একটি প্রকৃত exception আছে। Kernel-এর out-of-memory killer unit-এর cgroup-এর ভেতরের কোনো process-কে হত্যা করলে systemd তা দেখতে পায়, কারণ এটি cgroup-এর memory.events file monitor করে। এরপর কী হবে তা OOMPolicy= নির্ধারণ করে। এর default হলো stop: পুরো unit বন্ধ হয়, ফলাফল oom-kill হিসেবে record হয়, এবং এটি failure হিসেবে গণ্য হয়। ফলে Restart=on-failure কার্যকর হয়। Journal-এ বিষয়টি স্পষ্টভাবে দেখা যায়।
myapp.service: A process of this unit has been killed by the OOM killer.
myapp.service: Failed with result 'oom-kill'.তাই memory-এর কারণে নিহত কোনো child process unit-কে বন্ধ করে দেয়। কিন্তু একই child process segmentation fault-এর কারণে শেষ হলে unit বন্ধ হয় না। কোনো unit-এ memory limit সেট করলে restart policy সমন্বয় করার আগে কীভাবে MemoryMax এবং CPUQuota একটি unit-এর cgroup-এ প্রয়োগ হয় পড়ুন। কারণ এই দুই feature এখানেই পরস্পরের সঙ্গে সম্পর্কিত। অন্য কোথাও নয়।
Type= কীভাবে প্রধান process নির্বাচন করে
Type=-এর [Service] section শুধু start-up ordering নিয়ে নয়। কোন PID (process ID) MainPID হবে, সেই নিয়মও এটি নির্ধারণ করে। এর মাধ্যমে Restart= কী দেখতে পারবে, সেটিও নির্ধারিত হয়।
Type=simpleহলো default। systemdExecStart=থেকে যে process fork করে, সেটিই main process।execআদৌ সফল হয়েছে কি না জানার আগেই systemd unit-টিকে started হিসেবে চিহ্নিত করে। Binary path-এ typo থাকলে start job সফল দেখাবে, তারপর কিছুক্ষণ পরMain process exited, code=exited, status=203/EXECহবে।Type=exec,simple-এর মতোই কাজ করে। তবেexecসফল না হওয়া পর্যন্ত start job অপেক্ষা করে। ফলে আগের typo-টি যথাযথ start failure হিসেবে দেখা যায়। এর জন্য systemd 240 বা পরবর্তী সংস্করণ প্রয়োজন। Ubuntu 20.04 এবং পরবর্তী সংস্করণে এবং Debian 12-এ এটি আছে। তবে Ubuntu Pro-এর মাধ্যমে এখনও সমর্থিত Ubuntu 18.04-এ systemd 237 রয়েছে, তাই এটি নেই। যেখানে এটি পাওয়া যায়, সেখানেsimple-এর বদলে এটি ব্যবহার করুন।Type=forkingপ্রত্যাশা করে যেExecStart=-এর process একটি background daemon fork করে এবং পরে exit করবে। systemd parent process-এর exit করার জন্য অপেক্ষা করে, তারপর প্রকৃত daemon খোঁজে। এটিকেPIDFile=দিন। এটি না থাকলে default হিসেবে চালু থাকাGuessMainPID=তখনই কাজ করে, যখন cgroup-এ ঠিক একটি process অবশিষ্ট থাকে। দুটি process রেখে গেলেMainPID,0অবস্থায় থেকে যায়।Type=notifyবোঝায় যে service, traffic পরিবেশন করতে পারলেsd_notify(3)call করে এবংREADY=1পাঠায়। systemd-কে track করার জন্য ভিন্ন process দেওয়াতে এটিMAINPID=-ও পাঠাতে পারে।Type=notify-এর সঙ্গেNotifyAccess=, আপনি অন্য কিছু নির্বাচন না করলে,mainহিসেবে নির্ধারিত হয়। তাই child থেকে পাঠানো notification উপেক্ষিত হয় এবং journal যে PID থেকে notification এসেছে সেটির নাম দেখায়।Type=oneshot-এর কোনো স্থায়ী main process নেই।ExecStart=শেষ হওয়ার সঙ্গে সঙ্গে unit inactive হয়ে যায়, যদি না আপনিRemainAfterExit=yesনির্ধারণ করেন। এখানেRestart=alwaysএবংRestart=on-successপ্রত্যাখ্যান করা হয়, এই বার্তাসহ:Service has Restart= set to either always or on-success, which isn't allowed for Type=oneshot services. Refusing.।on-failure-সহ অন্যান্য value গ্রহণ করা হয়।
দুটি Type=forking error মনে রাখা দরকার। প্রতিটির কারণে কোনো দৃশ্যমান কারণ ছাড়াই unit-কে নষ্ট মনে হতে পারে:
myapp.service: Can't open PID file /run/myapp.pid (yet?) after start: No such file or directory
myapp.service: New main PID 4711 does not belong to service, and PID file is not owned by root. Refusing.প্রথমটির অর্থ হলো daemon তার PID file অন্য কোথাও লিখছে, অথবা systemd পরীক্ষা করার পরে PID file লিখছে। দ্বিতীয়টির অর্থ হলো PID file এমন একটি process-এর নাম দিচ্ছে, যা unit-এর cgroup-এর বাইরে রয়েছে। systemd সেটিকে গ্রহণ করতে অস্বীকার করে, কারণ writable PID file থাকলে সেটি systemd-কে সার্ভারের যেকোনো process-এ signal পাঠানোর উপায় হয়ে উঠতে পারে।
কেন একটি র্যাপার স্ক্রিপ্ট তার চাইল্ড প্রসেসের মৃত্যু লুকিয়ে ফেলে
এখানে সেই কাঠামোটি দেওয়া হলো যা শিরোনামের প্রশ্নটি তৈরি করে।
#!/bin/bash
/usr/local/bin/myapp-web &
/usr/local/bin/myapp-worker &
waitইউনিটটি হলো Type=simple, তাই মূল প্রসেসটি হলো শেল। কোনো আর্গুমেন্ট ছাড়া wait প্রতিটি চাইল্ড প্রসেস শেষ না হওয়া পর্যন্ত অপেক্ষা করে। ওয়ার্কার প্রসেসটিকে কিল করলে শেল ওয়েব প্রসেসের জন্য অপেক্ষা করতে থাকে, তাই শেলটি বন্ধ হয় না, ফলে MainPID বন্ধ হয় না এবং Restart= কখনোই কার্যকর হয় না। cgroup-এ এখন একটি প্রসেস কম থাকে, systemctl status ছোট গাছটি প্রিন্ট করে এবং ইউনিটটি তখনও active (running) অবস্থায় থাকে। systemd-এর কোনো কিছুই সেই ট্রিতে কোনো পরিবর্তন পর্যবেক্ষণ করে না।
একই ভুলের দ্বিতীয় সংস্করণটি আরও নীরব:
ExecStart=/bin/sh -c 'export APP_ENV=production; /usr/local/bin/myapp'মূল প্রসেসটি হলো শেল, myapp নয়। systemctl stop-এ, systemd মূল প্রসেসে SIGTERM পাঠায়, কিন্তু ফোরগ্রাউন্ডে কোনো চাইল্ড প্রসেসের জন্য অপেক্ষারত শেল সেই সিগন্যালটি পাস করে না। তখন স্টপ প্রক্রিয়াটি পুরো TimeoutStopSec সময় নেয়, যা ডিফল্টভাবে 90 সেকেন্ড, এবং এভাবে শেষ হয়:
myapp.service: State 'stop-sigterm' timed out. Killing.
myapp.service: Killing process 4711 (myapp) with signal SIGKILL.এর সমাধান হলো exec। exec /usr/local/bin/myapp লিখলে শেলটি প্রোগ্রাম দ্বারা প্রতিস্থাপিত হয়, তাই MainPID হয় সেই প্রোগ্রাম এবং সিগন্যালগুলো সরাসরি সেখানে পৌঁছায়। আরও ভালো হয় যদি শেলটি মুছে ফেলে ইউনিটে Environment= বা EnvironmentFile= ব্যবহার করেন। মনে রাখবেন, এই বাগটি নিজেকে লুকিয়ে ফেলে যখন -c স্ট্রিংটিতে একটি মাত্র কমান্ড থাকে, কারণ bash এবং dash উভয়ই সেই ক্ষেত্রে সরাসরি exec-এ অপ্টিমাইজ করে। স্ট্রিংটিতে দ্বিতীয় একটি কমান্ড যোগ করলেই শেলটি আপনার প্রোগ্রামের সামনে জীবিত থেকে যায়।
দুই মিনিটে একটি টেস্ট VPS-এ এটি পুনরুৎপাদন করুন
উপরের র্যাপারটিকে /usr/local/bin/two-children.sh হিসেবে সেভ করুন, chmod +x দিয়ে সেটিকে এক্সিকিউটেবল করুন এবং দুটি প্রোগ্রামের পাথকে sleep 3600 দিয়ে প্রতিস্থাপন করুন। Type=simple এবং Restart=on-failure দিয়ে একটি ইউনিট সেট করুন, তারপর systemctl daemon-reload করুন এবং এটি স্টার্ট করুন। systemd-cgls --unit two-children.service চালান এবং তিনটি PID লক্ষ্য করুন: শেল এবং তার দুটি চাইল্ড। sudo kill <pid> দিয়ে একটি চাইল্ডকে কিল করুন। ইউনিটটি পুনরায় চেক করুন। ট্রি-তে একটি প্রসেস কম, অবস্থা তখনও active (running) এবং জার্নালে নতুন কিছু নেই। এখন এর পরিবর্তে sudo kill -9 <shell pid> চালান। ইউনিটটি ব্যর্থ হয়, বেঁচে থাকা চাইল্ডটিকে ক্লিনআপ করা হয় কারণ KillMode=control-group হলো ডিফল্ট, এবং জার্নালটি Scheduled restart job, restart counter is at 1. দেখায়।
Restart= সম্পত্তির সম্পূর্ণ মানসমূহ এবং কখন on-failure, always-এর চেয়ে উপযুক্ত
Restart= সাতটি মানের একটি গ্রহণ করে। এই মানগুলোর পার্থক্য নির্ভর করে কোন প্রস্থানকে clean ধরা হবে তার ওপর। systemd exit code 0, SuccessExitStatus=-এ তালিকাভুক্ত যেকোনো code এবং Type=oneshot ছাড়া প্রতিটি type-এর ক্ষেত্রে SIGHUP, SIGINT, SIGTERM ও SIGPIPE signal-কে clean exit হিসেবে গণ্য করে। SIGKILL ও SIGSEGV-সহ বাকি সবকিছু unclean।
noহলো default। unit নিজে কখনো restart হয় না। তাই কোনো unit-এRestart=line না থাকলে প্রথম crash-এর পর সেটি বন্ধ হয়ে থাকে।on-successশুধু clean exit-এর পরে restart হয়।on-failurenon-zero exit code, unclean signal, start বা stop timeout অথবা watchdog expiry-এর পরে restart হয়।on-abnormalunclean signal, timeout অথবা watchdog expiry-এর পরে restart হয়, কিন্তু সাধারণ non-zero exit code-এর পরে কখনো নয়।on-abortশুধু unclean signal-এর পরে restart হয়, অর্থাৎ crash-এর পরে।on-watchdogশুধুWatchdogSec=expiry হলে restart হয়।alwaysউপরের প্রতিটি অবস্থার পরে restart হয়, যার মধ্যে status 0-সহ clean exit-ও রয়েছে।
দীর্ঘসময় চলা daemon-এর জন্য on-failure উপযুক্ত default। এটি crash-এর পরে daemon-কে ফিরিয়ে আনে, কিন্তু ইচ্ছাকৃত exit 0-কে উপেক্ষা করে। এমন কোনো program-এর জন্য always উপযুক্ত, যা নিজের নিয়ন্ত্রণের বাইরের কারণে cleanly exit করে। যেমন, দূরের প্রান্ত সংযোগ বিচ্ছিন্ন হলে কোনো tunnel client 0 return করতে পারে। always-এর অসুবিধা হলো এটি bug আড়াল করে। কোনো service start হয়ে ভাঙা config file পড়ে, error log করে এবং 0 exit করলে সেটি আবার start হয়। Default 100 millisecond বিরতিতে এটি দ্রুত নিচে বর্ণিত start rate limit-এ পৌঁছে start-limit-hit সহ failed অবস্থায় যায়। RestartSec=-এর বিরতি ওই limit-এর নিচে থাকার মতো দীর্ঘ হলে এটি অনির্দিষ্টকাল loop করতে থাকে। তখন একমাত্র লক্ষণ থাকে বাড়তে থাকা restart counter।
SuccessExitStatus= clean ও unclean-এর সীমা পরিবর্তন করে। Borg warning-এর জন্য 1 এবং error-এর জন্য 2 exit করে। তাই SuccessExitStatus=1 ছাড়া কোনো backup unit প্রতিবার একটি unreadable file বাদ পড়লে failed হিসেবে চিহ্নিত হয়। RestartPreventExitStatus= এমন code-এর তালিকা দেয়, যা always থাকলেও restart ঠেকায়। কোনো program আর চালু না হওয়ার কথা জানাতে এটিই পরিষ্কার পদ্ধতি। RestartForceExitStatus= এর বিপরীত কাজ করে। Backup job-কে restart loop-এর বদলে timer দ্বারা চালিত Type=oneshot unit-এ রাখা উচিত। নির্ধারিত সময়সূচি অনুযায়ী job চালানো service ও timer জোড়া সেখানে অনুসরণ করার উপযুক্ত কাঠামো।
Testing নিয়ে একটি সতর্কতা। সাধারণ kill <pid> দিয়ে service বন্ধ করলে SIGTERM পাঠানো হয়, যা clean তালিকায় রয়েছে। তাই Restart=on-failure সঠিকভাবে কিছুই করে না, এবং আপনি মনে করেন config নষ্ট। এর বদলে kill -9 <pid> অথবা systemctl kill -s SIGKILL myapp.service ব্যবহার করুন। আরও মনে রাখুন, Restart=-এর কোনো মানই systemctl stop-এর পরে কার্যকর হয় না। কোনো BindsTo= বা PartOf= dependency সরে যাওয়ার কারণে unit বন্ধ হলেও তা কার্যকর হয় না। Stop job failure নয়।
RestartSec এবং 100 মিলিসেকেন্ডের ডিফল্ট
RestartSec= হলো unit থামার পর systemd আবার সেটি চালু করার আগের বিরতি। এর ডিফল্ট মান 100 মিলিসেকেন্ড। আপনার unit আসলে কোন মান লোড করেছে তা পরীক্ষা করুন:
systemctl show -p RestartUSec -p StartLimitIntervalUSec -p StartLimitBurst myapp.serviceযে unit-এ এই মান নির্ধারণ করা নেই, সেখানে RestartUSec=100ms দেখা যায়। তবে কেউ যদি /etc/systemd/system.conf-এ DefaultRestartSec= পরিবর্তন করে থাকে, তাহলে unset মান সেখান থেকেই আসে। একবার crash করে আবার চালু হয়ে যাওয়া service-এর জন্য এই ডিফল্ট যথেষ্ট। কিন্তু যে service একেবারেই start হতে পারে না, তার জন্য এটি সঠিক নয়। কারণ কোনো program সঙ্গে সঙ্গে ব্যর্থ হলে প্রথম start এবং পরের চারটি restart এক সেকেন্ডের অনেক কম সময়ে সম্পন্ন হয়। এতে পরবর্তী অংশে বর্ণিত rate limit-এর অনুমোদিত পাঁচটি start-ই শেষ হয়ে যায়। যে service database, mount বা network route-এর জন্য অপেক্ষা করে, তার জন্য RestartSec=5s বা তার বেশি মান নির্ধারণ করুন।
October 2026 অনুযায়ী, systemd 254 এবং পরবর্তী সংস্করণে RestartSteps= এবং RestartMaxDelaySec=-ও রয়েছে। এগুলো RestartSec= থেকে শুরু করে নির্দিষ্ট সংখ্যক attempt-এর মধ্যে delay ধীরে ধীরে বাড়ায় এবং একটি সর্বোচ্চ সীমায় পৌঁছায়। Ubuntu 24.04-এর সঙ্গে systemd 255 থাকে এবং সেখানে এগুলো আছে। Debian 12-এর সঙ্গে systemd 252 থাকে, তাই সেখানে এগুলো নেই। তবে bookworm-backports-এ systemd 254 রয়েছে। কোনো dependency দীর্ঘ সময় অনুপলব্ধ থাকতে পারে হলে delay ধীরে ধীরে বাড়ানোই সঠিক পদ্ধতি।
“start request repeated too quickly” আসলে যা বোঝায়
systemd ইচ্ছামতো হাল ছেড়ে দিয়েছে বলে পাঠকেরা সাধারণত এই অবস্থাটিকে মনে করেন। এটি একটি counter। নিয়মটি হলো: StartLimitBurst=-এর মধ্যে কোনো unit StartLimitIntervalSec=-এর বেশি বার start হলে systemd সেটিকে আবার start করতে অস্বীকার করে এবং failed state-এ রাখে। Default হলো 10 সেকেন্ডে 5 বার start।
journal-এ ধারাবাহিকতাটি দেখা যায়:
myapp.service: Scheduled restart job, restart counter is at 5.
myapp.service: Start request repeated too quickly.
myapp.service: Failed with result 'start-limit-hit'.
Failed to start myapp.service - My application.এবং systemctl start-এর output-এ সমাধানটি সরাসরি দেখানো থাকে:
Job for myapp.service failed because start of the service was attempted too often. See "systemctl status myapp.service" and "journalctl -xeu myapp.service" for details. To force a start use "systemctl reset-failed myapp.service" followed by "systemctl start myapp.service" again.systemctl reset-failed myapp.service counter এবং failed state পরিষ্কার করে। এটি না চালালে সাধারণ systemctl start প্রত্যাখ্যাত হতে থাকে, যতক্ষণ না StartLimitIntervalSec= সময়সীমা শেষ হয়। কোনো কিছু unit-টিকে আবার start না করা পর্যন্ত automatic restart-ও বন্ধ থাকে। Manual start-ও limit-এর হিসাবে গণনা হয়। তাই configuration file সম্পাদনার সময় কয়েকবার অধৈর্য হয়ে systemctl restart চালালেই কোনো crash ছাড়াই limit অতিক্রম করতে পারে।
যে বিষয়টি মানুষকে বিভ্রান্ত করে: start-limit-hit কখনো service ব্যর্থ হওয়ার কারণ জানায় না। এটি শুধু জানায় যে service-টি দ্রুত এবং বারবার ব্যর্থ হয়েছে। প্রকৃত কারণ journal-এর আগের লাইনগুলোতে থাকে।
উভয় setting [Unit] section-এ রাখতে হয়। কিছু উদাহরণে এগুলো [Service]-এ রাখা হয়, যা পুরোনো systemd গ্রহণ করত। বিভ্রান্তির শুরু সেখানেই। এগুলো [Unit]-এ লিখুন। এরপর systemctl show দিয়ে systemd কী load করেছে তা দেখুন, কারণ load করা value-ই কার্যকর হয়।
[Unit]
Description=My application
StartLimitIntervalSec=300
StartLimitBurst=5
[Service]
Type=exec
ExecStart=/usr/local/bin/myapp
Restart=on-failure
RestartSec=10sএতে unit-টি হাল ছাড়ার আগে পাঁচ মিনিটের window-এর মধ্যে পাঁচবার চেষ্টা করবে। StartLimitIntervalSec=0 limit পুরোপুরি বন্ধ করে। তবে এর ফল জানা জরুরি: যে service কখনো start হতে পারে না, সেটি এখন অনন্তকাল retry করবে এবং প্রতিবার journal-এ লিখবে। পুরো মেশিনের default /etc/systemd/system.conf-এ DefaultStartLimitIntervalSec= এবং DefaultStartLimitBurst= হিসেবে থাকে।
পাশের একটি setting সম্পর্কে সতর্ক থাকুন। limit অতিক্রম হলে কী হবে তা StartLimitAction= নির্ধারণ করে। এটি reboot, reboot-force এবং poweroff-সহ বিভিন্ন value গ্রহণ করে। Default হলো none। এতে unit ব্যর্থ হয় এবং মেশিনে আর কোনো পদক্ষেপ নেওয়া হয় না। Remote VPS-এ poweroff ব্যবহার করলে provider-এর console খোলা পর্যন্ত মেশিনটি বন্ধই থাকবে।
সমাধান 1: প্রতি ইউনিটে একটি process
প্রায় প্রতিটি ক্ষেত্রেই এটাই সঠিক সমাধান। দুটি program চালাতে হলে দুটি unit লিখুন। তাহলে প্রতিটি unit-এর একটি প্রকৃত main process, একটি প্রকৃত exit status এবং নিজস্ব restart policy থাকবে। আলাদা log, আলাদা resource limit এবং আলাদা restart counter-ও পাবেন। ভোর 3টার সময় আপনার যা প্রয়োজন, সেটিই এটি দেয়।
unit-গুলোর মধ্যকার সম্পর্ক shell script-এ নয়, unit file-এ প্রকাশ করুন।
After=শুধু start-up-এর ক্রম নির্ধারণ করে। এটি failure সম্পর্কে কিছু বলে না।Requires=এই ইউনিটের সাথে অন্য ইউনিটটি চালু করে এবং অন্য ইউনিটটি স্পষ্টভাবে বন্ধ করা হলে এই ইউনিটটিকেও বন্ধ করে।BindsTo=হলোRequires=-এর সঙ্গে আপনার প্রয়োজনীয় অতিরিক্ত আচরণ: অন্য ইউনিটটি যেকোনো কারণে, এমনকি crash-এর কারণে বন্ধ হলে, এই ইউনিটটিও বন্ধ হয়। এটিAfter=-এর সঙ্গে ব্যবহার করুন, নইলে ordering অনির্ধারিত থাকে।PartOf=নিচের দিকের unit-গুলিতে stop ও restart ছড়িয়ে দেয়, তাইsystemctl restart myapp.targetযে প্রতিটি unit-এরPartOf=, সেখানে এটি পৌঁছায়।Upholds=(systemd 249 এবং পরবর্তী সংস্করণে, অর্থাৎ Ubuntu 22.04 এবং পরবর্তী সংস্করণে) নামযুক্ত unit-টিকে চালু রাখে: এটি বন্ধ হলে systemd আবার চালু করে। অন্য সব কিছুর মতো এটিও একই start rate limit-এর অধীন।
একটি worker, যেটি তার API server ছাড়া কখনও চলবে না এবং API চালু থাকা অবস্থায় systemd যেটিকে চালু রাখবে:
# /etc/systemd/system/myapp-api.service
[Unit]
Description=myapp API server
Wants=network-online.target
After=network-online.target
Upholds=myapp-worker.service
[Service]
Type=exec
User=myapp
ExecStart=/usr/local/bin/myapp serve
Restart=on-failure
RestartSec=5s
[Install]
WantedBy=multi-user.target# /etc/systemd/system/myapp-worker.service
[Unit]
Description=myapp background worker
BindsTo=myapp-api.service
After=myapp-api.service
StartLimitIntervalSec=120
StartLimitBurst=5
[Service]
Type=exec
User=myapp
ExecStart=/usr/local/bin/myapp worker
Restart=on-failure
RestartSec=5sworker-এর কোনো [Install] section নেই এবং এটিকে কখনও হাতে enable করা হয় না। API unit Upholds= ব্যবহার করে এটিকে অন্তর্ভুক্ত করে, তাই systemctl enable --now myapp-api.service-ই একমাত্র command যা আপনাকে চালাতে হবে। Reload করে দেখুন systemd এই জোড়াটির জন্য কী তৈরি করেছে:
sudo systemctl daemon-reload
systemd-analyze verify /etc/systemd/system/myapp-worker.service
systemctl list-dependencies myapp-api.servicefile-টি সঠিক হলে systemd-analyze verify একেবারেই কিছু output করে না। যেকোনো output সমস্যা নির্দেশ করে। সাধারণত এর কারণ হলো আপনি যে section-এ key-টি লিখেছেন, সেখানে systemd key-টিকে চিনতে পারছে না, অথবা এমন একটি unit-এর ওপর dependency রয়েছে যেটি অস্তিত্বহীন।
সমাধান দুই: Type=notify, যাতে systemd শুধু PID-এর চেয়ে বেশি তথ্য পায়
প্রোগ্রামটি systemd notification protocol ব্যবহার করলে সেটিই ব্যবহার করুন। Type=notify ব্যবহার করলে service প্রস্তুত হওয়ার সময় systemd-কে জানায়। ফলে ordering অনুমানের বদলে বাস্তব অবস্থার ওপর নির্ভর করে। এটি MAINPID= পাঠিয়ে launcher-এর বদলে গুরুত্বপূর্ণ process-টিকে systemd-এর কাছে চিহ্নিত করতে পারে।
WatchdogSec=-ই এই ব্যবস্থার সবচেয়ে কার্যকর অংশ। এটি সেট করলে service-কে অন্তত ওই বিরতিতে sd_notify(3)-এর মাধ্যমে WATCHDOG=1 পাঠাতে হবে। বার্তা আসা বন্ধ হলে systemd service-টিকে SIGABRT দিয়ে বন্ধ করে এবং failed হিসেবে চিহ্নিত করে। তাই Restart=on-failure বা Restart=on-watchdog ব্যবহার করলে service আবার চালু হয়। সচল কিন্তু আটকে থাকা process restart করার এটিই একমাত্র built-in পদ্ধতি। কোনো exit-status policy এই অবস্থা ধরতে পারে না।
[Service]
Type=notify
NotifyAccess=main
ExecStart=/usr/local/bin/myapp serve
WatchdogSec=30s
Restart=on-failure
RestartSec=5sWatchdog সক্রিয় হলে journal-এ প্রথমে myapp.service: Watchdog timeout (limit 30s)! এবং এরপর kill বার্তা দেখা যায়। অন্যদিকে unit যদি activating (start) অবস্থায় থেকে TimeoutStartSec শেষ হওয়া পর্যন্ত অপেক্ষা করে, তাহলে READY=1 কখনো আসেনি বা গণনা হয়নি। এর কারণ হতে পারে প্রোগ্রামটি protocol সমর্থন করে না। আবার NotifyAccess=main child process থেকে আসা notification প্রত্যাখ্যান করতেও পারে। এই ক্ষেত্রে journal-এ উভয় PID দেখানো হয়। অথবা কোনো helper process বার্তা পাঠিয়ে systemd কোন unit থেকে সেটি এসেছে তা শনাক্ত করার আগেই শেষ হয়ে যেতে পারে। NotifyAccess=all ব্যবহার করলেও শেষের বার্তাটি উপেক্ষা করা হয়। এর সমাধান প্রোগ্রামেই করতে হবে: helper process শেষ হওয়ার আগে সেটিকে sd_notify_barrier() কল করা উচিত।
যে software HTTP health endpoint প্রকাশ করে কিন্তু sd_notify সমর্থন করে না, তার ক্ষেত্রে বাস্তবসম্মত দুটি বিকল্প আছে। একটি ছোট timer unit দিয়ে endpoint পরীক্ষা করে systemctl restart কল করা যায়। অথবা container runtime-কে probe চালাতে দেওয়া যায়। Compose healthcheck এবং তাদের restart আচরণ এই কাজের জন্যই রয়েছে।
তৃতীয় সমাধান: ইউনিটের ভেতরে একটি সুপারভাইজার, যখন অন্য কোনো উপায় নেই
কিছু সফটওয়্যার মূলত এমন সব প্রসেসের সমষ্টি হিসেবে আসে যা একটি লঞ্চারের পেছনে থাকে, যেগুলোকে আলাদা করা সম্ভব নয়। সেক্ষেত্রে আপনি ইউনিটের ভেতরে একটি সুপারভাইজার চালান এবং এর ফলাফল মেনে নেন: systemd সুপারভাইজারকে পর্যবেক্ষণ করে, সুপারভাইজার বাকি সবকিছুকে পর্যবেক্ষণ করে, এবং আপনার রিস্টার্ট পলিসি এখন দুটি ফাইলে বিভক্ত থাকে।
এর সাধারণ রূপ হলো একটি কন্টেইনার রানটাইম। একটি docker compose বা podman ইউনিট ঠিক এই প্যাটার্ন অনুসরণ করে, যেখানে প্রতি-কন্টেইনার রিস্টার্ট পলিসি Compose ফাইলে থাকে এবং systemd ইউনিটটি শুধুমাত্র রানটাইমটিকে সচল রাখে। যদি আপনার সেটআপ এমন হয়, তবে বুট করার সময় যে ইউনিটটি একটি Compose স্ট্যাক চালু করে সেটি কার্যকর সংস্করণটি দেখায়, যার মধ্যে কেন Type=oneshot-এর সাথে RemainAfterExit=yes ব্যবহার করা সাধারণত সঠিক তা ব্যাখ্যা করা হয়েছে।
cgroup এখনও আপনার পক্ষে কাজ করে। সুপারভাইজার যা কিছু শুরু করে তা ইউনিটের cgroup-এর ভেতরেই থাকে, তাই MemoryMax=, CPUQuota= এবং বন্ধ করার সময় ক্লিনআপ প্রক্রিয়া পুরো ট্রি-কে কভার করে। শুধুমাত্র রিস্টার্টের সিদ্ধান্তটি অর্পণ করা হয়।
আপনি যে সুপারভাইজারই বেছে নিন না কেন, বাইরের ইউনিটে Restart=always এবং এর ভেতরে একটি আক্রমণাত্মক রিস্টার্ট পলিসি চিন্তাভাবনা না করে সেট করবেন না। রিস্টার্ট লজিকের দুটি স্তর, যার প্রতিটির নিজস্ব ব্যাকঅফ রয়েছে, এমন একটি সার্ভিস তৈরি করে যা কয়েক মিনিট ধরে ফ্ল্যাপ (flap) করতে থাকে এবং যার জার্নালে এর কারণ ব্যাখ্যা করা থাকে না।
ExitType=cgroup মানে এই নয় যে "যেকোনো প্রসেস মারা গেলে রিস্টার্ট হবে"
ExitType= (systemd 250 এবং তার পরবর্তী ভার্সন, তাই Ubuntu 24.04 এবং Debian 12 উভয়ই এটি সাপোর্ট করে) হলো সেই সেটিং যা মানুষ এই সমস্যার সমাধান খুঁজতে গিয়ে পায়, কিন্তু এটি নামের বিপরীত কাজ করে। ডিফল্ট সেটিং ExitType=main-এর অর্থ হলো, মেইন প্রসেসটি বন্ধ হয়ে গেলে সার্ভিসটিকে বন্ধ হিসেবে গণ্য করা হয়। ExitType=cgroup-এর অর্থ হলো, cgroup-এর শেষ প্রসেসটি বন্ধ না হওয়া পর্যন্ত সার্ভিসটিকে চলমান হিসেবে গণ্য করা হয়।
তাই ExitType=cgroup কোনো ইউনিটকে একটি প্রসেস মারা যাওয়ার বিষয়ে আরও সংবেদনশীল করে না, বরং কম সংবেদনশীল করে। এটি এমন প্রোগ্রামের জন্য সঠিক সেটিং যা তার আসল ওয়ার্কার প্রসেসকে ফর্ক (fork) করে এবং PID ফাইল তৈরি না করেই প্যারেন্ট প্রসেসটি বন্ধ করে দেয়, যেখানে Type=forking ডেমোনটিকে খুঁজে পায় না। এখানে বর্ণিত ব্যর্থতার জন্য এটি ভুল সেটিং।
Restart=-এর এমন কোনো ভ্যালু নেই যার অর্থ "cgroup-এর যেকোনো প্রসেস মারা গেলে ইউনিটটি রিস্টার্ট হবে"। যদি আপনার এই আচরণের প্রয়োজন হয়, তবে প্রতি ইউনিটে একটি করে প্রসেস থাকা প্রয়োজন। যদি আপনি প্রোগ্রামটিকে আলাদা করতে না পারেন এবং আপনার কাছে র্যাপার স্ক্রিপ্টের নিয়ন্ত্রণ থাকে, তবে সবচেয়ে কাছাকাছি সমাধান হলো wait -n, যা প্রথম চাইল্ড প্রসেসটি বন্ধ হওয়ার সাথে সাথেই রিটার্ন করে:
#!/bin/bash
/usr/local/bin/myapp-web &
/usr/local/bin/myapp-worker &
wait -n
exit 1এখন যেকোনো চাইল্ড প্রসেস মারা গেলেই র্যাপারটি নন-জিরো স্ট্যাটাস নিয়ে বন্ধ হয়ে যায়, ফলে Restart=on-failure কার্যকর হয়। এটি একটি আপস, কোনো স্থায়ী সমাধান নয়। আপনি এখনও দুটি প্রোগ্রামের জন্য একটি মাত্র রিস্টার্ট কাউন্টার এবং একটি লগ স্ট্রিম পাবেন, এবং ব্যর্থ হওয়া অংশটিকে আলাদাভাবে রিস্টার্ট করার কোনো উপায় থাকবে না।
কীভাবে প্রকৃত ঘটনা অনুসন্ধান করবেন
এই ক্রমে চারটি কমান্ড ব্যবহার করুন।
systemctl status myapp.service
systemd-cgls --unit myapp.service
systemctl show -p MainPID -p NRestarts -p Result -p ExecMainStatus myapp.service
journalctl -u myapp.service -b -o short-precisesystemctl status কমান্ডটি এক স্ক্রিনে সার্ভিসের বর্তমান অবস্থা, প্রধান PID এবং cgroup ট্রি দেখায়। একটি সচল ইউনিটের স্ট্যাটাস Active: active (running) দেখাবে এবং এতে একটি Main PID: লাইন থাকবে যেখানে আপনার প্রত্যাশিত প্রসেসটির নাম থাকবে। যদি নিচের ট্রি-তে এমন কোনো প্রসেস থাকে যা আপনি চিনতে পারছেন না, অথবা কোনো প্রসেস অনুপস্থিত থাকে, তবে আপনি সেখানেই সমস্যার কারণ খুঁজে পাবেন।
systemd-cgls --unit কমান্ডটি কোনো অংশ বাদ না দিয়ে পুরো ট্রি প্রিন্ট করে, যা তখন গুরুত্বপূর্ণ হয়ে ওঠে যখন একটি ইউনিটে অনেকগুলো প্রসেস চলমান থাকে।
systemctl show কমান্ডটি মেশিন-রিডেবল তথ্য প্রদান করে। NRestarts= হলো রিস্টার্ট কাউন্টার, এবং এটিই সবচেয়ে দ্রুত উপায় একটি সার্ভিসকে শনাক্ত করার, যা হয়তো 40 বার রিস্টার্ট হয়েছে অথবা যা বুট হওয়ার পর থেকে সচল আছে। Result= ফিল্ডে সর্বশেষ ব্যর্থতার কারণ থাকে: exit-code, signal, timeout, oom-kill, watchdog অথবা start-limit-hit। ExecMainStatus= হলো সর্বশেষ প্রধান প্রসেসের raw exit status।
জার্নাল বা লগ ফাইলে পুরো ঘটনার ক্রম থাকে। অনুসন্ধানের জন্য নিচের তিনটি লাইন গুরুত্বপূর্ণ:
myapp.service: Main process exited, code=exited, status=1/FAILURE
myapp.service: Failed with result 'exit-code'.
myapp.service: Scheduled restart job, restart counter is at 1.code=exited, status=N এর অর্থ হলো প্রোগ্রামটি নিজেই N রিটার্ন করার সিদ্ধান্ত নিয়েছে, তাই ত্রুটিটি প্রোগ্রামের ভেতরে অথবা এর কনফিগারেশনে রয়েছে। code=killed, signal=SEGV এর অর্থ হলো এটি ক্র্যাশ করেছে। code=killed, signal=TERM সাধারণত নির্দেশ করে যে অন্য কোনো কিছু এটিকে থামানোর অনুরোধ করেছে, যা কোনো ব্যর্থতা নয় এবং এটি Restart=on-failure ট্রিগার করবে না। code=dumped এর অর্থ হলো এটি একটি core file তৈরি করেছে, যা coredumpctl list ব্যবহার করে দেখা যাবে যদি systemd-coredump ইনস্টল করা থাকে।
একাধিক মেশিনের ক্ষেত্রে, NRestarts হলো সেই সংখ্যা যা নিয়মিত সংগ্রহ করা উচিত। যে ইউনিটের কাউন্টার প্রতিদিন বাড়ছে, সেটি প্রতিদিন ব্যর্থ হচ্ছে, কেউ তা লক্ষ্য করুক বা না করুক। যখন আপনার সার্ভারের সংখ্যা দুই বা তিনটির বেশি হয়, তখন প্রতিটি সার্ভারে একটি কমান্ড চালানোর ধারাবাহিক উপায় ব্যবহার করে আপনি অনুমান থেকে একটি সঠিক রিপোর্টে পৌঁছাতে পারবেন।
FAQ
systemctl process বন্ধ হয়ে গেলেও service-কে active দেখায় কেন?
systemd প্রতিটি service unit-এর জন্য একটি process track করে, যেটি main process, এবং Restart= শুধু সেই process-এর exit status পড়ে। Unit অন্য যেসব process চালু করে, সেগুলো একই cgroup-এ থাকে। Unit বন্ধ হলে systemd সেগুলো বন্ধ করে, কিন্তু সেগুলো exit করেছে কি না তা systemd দেখে না। systemctl show -p MainPID myapp.service চালিয়ে সংখ্যাটি systemd-cgls --unit myapp.service-এর সঙ্গে তুলনা করুন। যে process বন্ধ হয়ে গেছে সেটি যদি tree-তে দেখা যায় কিন্তু MainPID না হয়, তাহলে systemd নির্ধারিত নিয়মেই কাজ করেছে। সমাধান হলো প্রতি unit-এ একটি process রাখা এবং unit দুটির মধ্যে সম্পর্ক BindsTo= ও Upholds= হিসেবে নির্ধারণ করা।
"start request repeated too quickly" বলতে কী বোঝায়?
এর অর্থ, StartLimitIntervalSec=-এর মধ্যে unit-টি StartLimitBurst=-এর বেশি বার চালু হয়েছে। ডিফল্টভাবে এটি 10 সেকেন্ডে 5 বার start বোঝায়। তাই systemd পুনরায় start করার চেষ্টা বন্ধ করেছে। এটি একটি rate limit। Service কেন ব্যর্থ হচ্ছে, তা এই বার্তা জানায় না। তাই এর উপরের journal line পড়ুন। systemctl reset-failed myapp.service দিয়ে state clear করুন। এরপর মূল সমস্যা ঠিক করুন। Service চালু হওয়ার জন্য কোনো ধীরগতির resource-এর অপেক্ষা করলে RestartSec= বাড়ান। কারণ ডিফল্ট 100 milliseconds gap-এ পাঁচটি attempt এক সেকেন্ডেরও কম সময়ে শেষ হয়ে যায়।
Restart=always নাকি Restart=on-failure ব্যবহার করা উচিত?
প্রায় সব ক্ষেত্রে on-failure ব্যবহার করুন। এটি crash, non-zero exit, timeout এবং watchdog trip-এর পরে service restart করে। তবে ইচ্ছাকৃত exit 0 হলে এটি service restart করে না। always শুধু তখন ব্যবহার করুন, যখন program নিজের নিয়ন্ত্রণের বাইরের কারণে cleanly exit করে। উদাহরণস্বরূপ, কোনো client peer disconnect করলে 0 return করতে পারে। always ব্যবহারের অসুবিধা হলো, কোনো service নষ্ট configuration পড়ে একটি error log করে 0 exit করলে সেটি বারবার start হবে। ডিফল্ট gap থাকলে অল্প সময়ের মধ্যেই start-limit-hit দেখা দেবে। আর RestartSec= দীর্ঘ হলে এটি অনির্দিষ্টকাল loop করতে পারে। তখন একমাত্র দৃশ্যমান লক্ষণ হিসেবে systemctl show-এ NRestarts বাড়তে থাকবে।
হাতে process kill করলে restart হয় না কেন?
কারণ, Type=oneshot ছাড়া অন্য সব type-এর ক্ষেত্রে systemd SIGHUP, SIGINT, SIGTERM এবং SIGPIPE-কে clean exit হিসেবে গণ্য করে। সাধারণ kill <pid> SIGTERM পাঠায়। Restart=on-failure-এর অধীনে clean exit failure নয়। তাই কিছু restart হয় না, যদিও configuration ভুল মনে হতে পারে। kill -9 <pid> অথবা systemctl kill -s SIGKILL myapp.service দিয়ে পরীক্ষা করুন। এগুলো unclean termination ঘটায় এবং restart policy কার্যকর করে। একই নিয়ম ব্যাখ্যা করে কেন systemctl stop কখনো আপনার restart policy-র সঙ্গে সংঘাতে যায় না।
StartLimitIntervalSec এবং StartLimitBurst কোথায় রাখতে হয়?
এগুলো [Unit] section-এ রাখতে হয়। পুরোনো documentation এবং পুরোনো systemd version-এ এগুলো [Service]-এ রাখা হতো। তাই copy করা উদাহরণগুলো পরস্পরের সঙ্গে মিল নাও থাকতে পারে। আপনার version কোনটি গ্রহণ করে, তা অনুমান করবেন না। systemctl daemon-reload-এর পরে systemctl show -p StartLimitBurst -p StartLimitIntervalUSec myapp.service ব্যবহার করে systemd কী load করেছে তা দেখুন। এই মানগুলোই সঠিক হিসেবে ধরুন। systemd-analyze verify /etc/systemd/system/myapp.service systemd একেবারেই চিনতে পারে না এমন key শনাক্ত করে। File সঠিক হলে এটি কিছু print করে না।