systemdでサービスが再起動されない原因
Restart=はmain processだけを監視し、同じcgroup内の子プロセスが終了しても再起動しません。20個のプロセスのうち1つが死んだ場合も同じです。Type=、再起動回数の制限、journalの確認方法を説明します。
短い答え: systemd の再起動ポリシーが監視するのは 1 つのプロセスです
systemd の再起動ポリシーが unit ごとに監視するのは、メインプロセスという 1 つのプロセスです。Restart= は、そのプロセスと、ExecStartPre=、ExecStartPost=、ExecReload= のように systemd 自身がその前後で実行する短いコマンドの終了ステータスを読み取ります。それ以外は何も読み取りません。unit の control group に 20 個のプロセスがあり、そのうち 1 つが終了しても、メインプロセスが残っていれば unit は active (running) のままです。systemd から見れば何も失敗していないため、何も再起動されません。
systemd は他のプロセスの存在を認識しています。unit の停止時にはそれらを終了し、unit の制限に対するメモリ使用量にそれらを含め、unit の CPU quota をそれらにも適用し、systemctl status に表示します。ただし、それらの終了ステータスを読み取ることはありません。再起動のロジックと cgroup は別の仕組みであり、このガイドの大部分では、その間にある差を説明します。
cgroup が保持する内容と、再起動ロジックが読み取る内容
cgroup (control group) は、複数のプロセスを保持する kernel オブジェクトです。各 service unit には、unit 名に基づく cgroup が 1 つ割り当てられます。プロセスはそこから離脱できません。子プロセスは親プロセスの cgroup を継承し、非特権プロセスは自分自身を別の場所へ移動できません。そのため systemd は、2 回 fork する daemon も確実にクリーンアップできます。古い init script では、これを確実に実行できませんでした。
次の 2 つの事実を並べて確認してください。
systemd-cgls --unit myapp.service
systemctl show -p MainPID -p NRestarts -p Restart -p RestartUSec myapp.servicesystemd-cgls には、unit 内のすべてのプロセスが表示されます。MainPID は、restart policy が読み取る単一の数値です。この 2 つが想定と一致しない場合、その不一致が問題の原因です。MainPID=0 は、systemd が終了ステータスを読み取る main process を持たないことを示します。systemd は cgroup の追跡を続けるため、最後のプロセスが終了したことは検知します。ただし、それまでは restart logic が判定に使用できる終了ステータスがありません。
main process のルールには、実際の例外が 1 つあります。kernel の out-of-memory killer が unit の cgroup 内にあるプロセスを kill すると、systemd はそれを検知します。cgroup の memory.events ファイルを監視しているためです。次の動作は OOMPolicy= で決まり、デフォルトは stop です。この場合、unit 全体が停止し、結果が oom-kill として記録されます。また、これは failure として扱われるため、Restart=on-failure が実行されます。journal にはその内容が明確に記録されます。
myapp.service: A process of this unit has been killed by the OOM killer.
myapp.service: Failed with result 'oom-kill'.そのため、メモリ不足で kill された子プロセスが unit を停止させる一方、同じ子プロセスが segmentation fault で終了しても unit は停止しません。unit に memory limit を設定する場合は、restart policy を調整する前に、MemoryMax と CPUQuota が unit の cgroup に適用される仕組み を確認してください。この 2 つの機能が関係するのは、ここだけです。
Type= がメインプロセスを決める仕組み
Type= の [Service] セクションは、起動順序だけを扱うものではありません。どの PID(process ID)が MainPID になるかを決める規則であり、Restart= が認識できる対象を決めることと同じです。
Type=simpleはデフォルトです。systemd がExecStart=から fork したプロセスがメインプロセスになります。systemd は、execが実際に動作したかを確認する前に、unit を直ちに起動済みとして扱います。バイナリのパスに誤りがあると、start job は成功しますが、その後すぐにMain process exited, code=exited, status=203/EXECになります。Type=execはsimpleと同様に動作しますが、execが成功するまで start job は待機します。そのため、上記のパスの誤りは正しく起動失敗になります。systemd 240 以降が必要です。Ubuntu 20.04 以降と Debian 12 には含まれていますが、Ubuntu Pro により引き続きサポートされている Ubuntu 18.04 は systemd 237 を搭載しており、対応していません。利用できる場合は、simpleよりこちらを優先してください。Type=forkingは、ExecStart=のプロセスがバックグラウンド daemon を fork してから終了することを前提とします。systemd は親プロセスの終了を待ってから、実際の daemon を探します。PIDFile=を指定してください。指定しない場合、デフォルトで有効なGuessMainPID=は、cgroup にプロセスがちょうど 1 つ残っている場合にしか機能しません。2 つ残すと、MainPIDは0のままになります。Type=notifyは、サービスがsd_notify(3)を呼び出し、トラフィックを処理できる状態になるとREADY=1を送信することを意味します。systemd が追跡する別のプロセスを指定するために、MAINPID=を送信することもできます。Type=notifyでは、別途指定しない限りNotifyAccess=はmainに設定されます。そのため、子プロセスが送信した通知は無視され、journal には通知元の PID が記録されます。Type=oneshotには、継続して実行されるメインプロセスがありません。ExecStart=が完了すると、RemainAfterExit=yesを設定していない限り unit は inactive になります。ここではRestart=alwaysとRestart=on-successは拒否され、Service has Restart= set to either always or on-success, which isn't allowed for Type=oneshot services. Refusing.というメッセージが表示されます。on-failureを含むその他の値は受け入れられます。
2 つの Type=forking エラーは覚えておく価値があります。どちらの場合も、目に見える理由がないのに unit が壊れているように見える状態になります。
myapp.service: Can't open PID file /run/myapp.pid (yet?) after start: No such file or directory
myapp.service: New main PID 4711 does not belong to service, and PID file is not owned by root. Refusing.1 つ目は、daemon が PID file を別の場所に書き込んでいるか、systemd が確認した後に書き込んでいることを示します。2 つ目は、PID file が unit の cgroup 外部にあるプロセスを指していることを示します。systemd がそのプロセスを引き受けないのは、書き込み可能な PID file があると、ホスト上の任意のプロセスに systemd からシグナルを送信できる手段になってしまうためです。
子プロセスの終了をラッパースクリプトが隠す理由
タイトルの疑問を生む構成は次のとおりです。
#!/bin/bash
/usr/local/bin/myapp-web &
/usr/local/bin/myapp-worker &
waitunit は Type=simple なので、メインプロセスは shell です。引数なしの wait は、すべての子プロセスが終了するまで戻りません。worker を kill しても、shell は web プロセスを待ち続けます。そのため shell は終了せず、MainPID も終了せず、Restart= も参照されません。cgroup 内のプロセスが 1 つ減るため、systemctl status は短くなったツリーを表示しますが、unit の状態は active (running) のままです。systemd は、このツリーの変化を監視していません。
同じ誤りの別の形は、より静かに発生します。
ExecStart=/bin/sh -c 'export APP_ENV=production; /usr/local/bin/myapp'メインプロセスは myapp ではなく shell です。systemctl stop になると、systemd はメインプロセスに SIGTERM を送信します。foreground の子プロセスを待機している shell は、そのシグナルを子プロセスへ転送しません。停止処理はそのまま TimeoutStopSec 全体、デフォルトでは 90 秒かかり、次のように終了します。
myapp.service: State 'stop-sigterm' timed out. Killing.
myapp.service: Killing process 4711 (myapp) with signal SIGKILL.修正方法は exec です。exec /usr/local/bin/myapp と記述すると、shell がプログラムに置き換わるため、MainPID はプログラムになり、シグナルがプログラムに届きます。さらによい方法は、unit から shell を削除し、Environment= または EnvironmentFile= を使用することです。-c 文字列に単一のコマンドだけが含まれる場合、bash と dash はそのケースを直接の exec に最適化するため、このバグは表面化しません。文字列に 2 つ目のコマンドを追加すると、shell がプログラムの前で動作し続けます。
テスト用 VPS で 2 分以内に再現する
上記の wrapper を /usr/local/bin/two-children.sh として保存し、chmod +x で実行可能にします。2 つのプログラムパスを sleep 3600 に置き換えます。Type=simple と Restart=on-failure で unit からこの wrapper を起動対象にし、その後 systemctl daemon-reload を実行して起動します。systemd-cgls --unit two-children.service を実行し、3 つの PID、つまり shell と 2 つの子プロセスを確認します。sudo kill <pid> で子プロセスの 1 つを kill します。もう一度 unit を確認します。ツリーはプロセス 1 つ分短くなっていますが、状態は active (running) のままで、journal に新しい内容はありません。次に sudo kill -9 <shell pid> を実行します。unit は失敗し、KillMode=control-group がデフォルトであるため残った子プロセスはクリーンアップされ、journal には Scheduled restart job, restart counter is at 1. が表示されます。
Restart= の全ての値と、always より on-failure が適する場合
Restart= には 7 つの値があり、それらを分ける基準は正常終了の定義です。systemd は終了コード 0、SuccessExitStatus= に列挙されたコード、および Type=oneshot 以外のすべてのタイプではシグナル SIGHUP、SIGINT、SIGTERM、SIGPIPE を正常終了として扱います。それ以外は、SIGKILL や SIGSEGV を含めて異常終了です。
noがデフォルトです。unit 自体は再起動しません。そのため、Restart=行がない unit は最初のクラッシュで停止し、そのまま停止し続けます。on-successは正常終了した場合にだけ再起動します。on-failureは、ゼロ以外の終了コード、異常なシグナル、起動または停止のタイムアウト、watchdog の期限切れで再起動します。on-abnormalは、異常なシグナル、タイムアウト、watchdog の期限切れで再起動します。ただし、通常のゼロ以外の終了コードでは再起動しません。on-abortは、異常なシグナルが発生した場合にだけ再起動します。つまり、クラッシュした場合です。on-watchdogは、WatchdogSec=の期限が切れた場合にだけ再起動します。alwaysは、正常終了ステータス 0 を含め、上記のすべての場合に再起動します。
長時間実行する daemon のデフォルトには on-failure が適しています。クラッシュから復旧し、意図的な exit 0 はそのままにします。always は、制御できない理由で正常終了するプログラムに適しています。たとえば、接続先が切断されると 0 を返すトンネルクライアントなどです。always の問題は、バグを隠してしまうことです。サービスが起動し、壊れた設定ファイルを読み込み、エラーを記録して 0 で終了すると、単に再度起動されます。デフォルトの 100 ミリ秒の間隔では、すぐに以下で説明する起動レート制限に達し、start-limit-hit で failed になります。制限を超えない長さの RestartSec= を設定すると無限にループし、再起動カウンターが増え続けることだけが兆候になります。
SuccessExitStatus= は、正常終了と異常終了の境界を変更します。Borg は警告時に 1、エラー時に 2 で終了するため、SuccessExitStatus=1 のないバックアップ unit は、読み取れないファイルを 1 つスキップするたびに failed として扱われます。RestartPreventExitStatus= には、always の場合でも再起動を阻止するコードを列挙します。これは、プログラムが再起動すべきでないことを伝える適切な方法です。RestartForceExitStatus= は逆の動作をします。バックアップジョブには再起動ループではなく、timer で起動する Type=oneshot unit が適しています。スケジュールに従ってジョブを実行する service と timer の組み合わせが、その構成の参考になります。
テスト時の注意点が 1 つあります。サービスを通常の kill <pid> で終了すると SIGTERM が送信されます。SIGTERM は正常終了のリストに含まれるため、Restart=on-failure は正しく何もせず、設定が壊れていると判断することになります。代わりに kill -9 <pid> または systemctl kill -s SIGKILL myapp.service を使用してください。また、Restart= は systemctl stop の後や、BindsTo= または PartOf= の依存関係がなくなったために unit が停止された場合には実行されません。stop ジョブは失敗ではありません。
RestartSec とデフォルトの 100 ミリ秒
RestartSec= は、unit が停止してから systemd が再度起動するまでの待機時間です。デフォルトは 100 ミリ秒です。unit に実際に読み込まれた値を確認します。
systemctl show -p RestartUSec -p StartLimitIntervalUSec -p StartLimitBurst myapp.serviceこの値を設定していない unit では RestartUSec=100ms と表示されます。ただし、/etc/systemd/system.conf の DefaultRestartSec= を変更している場合は、この限りではありません。未設定時の値はそこから取得されます。このデフォルト値は、サービスが 1 回クラッシュして復旧する場合には問題ありません。一方、サービスがまったく起動できない場合には適切ではありません。プログラムが即座に失敗すると、最初の起動と 4 回の再起動が 1 秒未満の間に収まり、次に説明するレート制限で許可される 5 回の起動を使い切るためです。データベース、マウント、またはネットワークルートを待機するサービスでは、RestartSec=5s 以上に設定してください。
2026 年 10 月時点では、systemd 254 以降で RestartSteps= と RestartMaxDelaySec= も利用できます。これらを使うと、試行回数がその数に達するまで、遅延時間が RestartSec= から上限値まで段階的に増加します。Ubuntu 24.04 には systemd 255 が含まれており、これらを利用できます。Debian 12 には systemd 252 が含まれており、これらは利用できません。ただし、bookworm-backports には systemd 254 が含まれています。依存先が長時間停止する可能性がある場合は、遅延時間を増加させる設定が適しています。
「start request repeated too quickly」の本当の意味
これは、systemd が任意に諦めたと読者が受け取りやすい状態です。実際にはカウンターです。ルールは、unit が StartLimitIntervalSec= の時間内に StartLimitBurst= 回を超えて起動されると、systemd が再度の起動を拒否し、failed 状態にするというものです。デフォルトは 10 秒間に 5 回の起動です。
journal には次の流れが表示されます。
myapp.service: Scheduled restart job, restart counter is at 5.
myapp.service: Start request repeated too quickly.
myapp.service: Failed with result 'start-limit-hit'.
Failed to start myapp.service - My application.systemctl start には、すでに修正方法が記載されています。
Job for myapp.service failed because start of the service was attempted too often. See "systemctl status myapp.service" and "journalctl -xeu myapp.service" for details. To force a start use "systemctl reset-failed myapp.service" followed by "systemctl start myapp.service" again.systemctl reset-failed myapp.service はカウンターと failed 状態をクリアします。これを実行しない場合、単純な systemctl start は StartLimitIntervalSec= の時間が経過するまで拒否され続け、自動再起動も、何かが再び unit を起動するまで無効のままです。手動起動も制限に数えられるため、設定ファイルの編集中に焦って systemctl restart を何度か実行すると、クラッシュがまったくなくても制限に達することがあります。
誤解を招く点は、start-limit-hit がサービスの失敗理由を示さないことです。示されるのは、短時間に繰り返し失敗したという事実だけです。本当の理由は、その前にある journal の行に記録されています。
両方の設定は [Unit] セクションに記述します。[Service] に記述した例もあります。これは古い systemd では受け入れられていたため、混乱が生じます。設定は [Unit] に記述し、systemctl show で systemd が読み込んだ値を確認してください。適用された値だけが有効です。
[Unit]
Description=My application
StartLimitIntervalSec=300
StartLimitBurst=5
[Service]
Type=exec
ExecStart=/usr/local/bin/myapp
Restart=on-failure
RestartSec=10sこれにより、unit は 5 分間に 5 回試行してから停止します。StartLimitIntervalSec=0 は制限を完全に無効にします。ただし、選択の意味を理解しておく必要があります。決して起動できないサービスが無限に再試行し、そのたびに journal に書き込むようになります。マシン全体のデフォルト値は /etc/systemd/system.conf に DefaultStartLimitIntervalSec= および DefaultStartLimitBurst= として設定されています。
隣接する設定にも注意が必要です。StartLimitAction= は制限に達したときの動作を決定し、reboot、reboot-force、poweroff などの値を指定できます。デフォルトは none です。この場合、unit は失敗し、マシン自体には影響しません。リモート VPS では、poweroff にすると、プロバイダーのコンソールを開くまでマシンが停止したままになります。
Fix one: 1 unit あたり 1 プロセス
ほぼすべての場合、これが解決策です。2 つのプログラムを実行する必要がある場合は、2 つの unit を記述します。各 unit に実際のメインプロセス、終了ステータス、独自の再起動ポリシーを持たせます。ログ、リソース制限、再起動カウンターも分離できます。午前 3 時の障害対応では、この構成が役立ちます。
unit 間の関係は shell script ではなく、unit ファイルで表現します。
After=は起動順序だけを指定します。障害については何も指定しません。Requires=はこの unit と同時にもう一方の unit を起動し、もう一方の unit が明示的に停止された場合はこの unit も停止します。BindsTo=はRequires=に加えて、もう一方の unit が crash を含む何らかの理由で停止した場合に、この unit も停止する設定です。After=と組み合わせてください。組み合わせない場合、順序は未定義です。PartOf=は停止と再起動を下位へ伝播するため、systemctl restart myapp.targetはPartOf=であるすべての unit に到達します。Upholds=(systemd 249 以降。Ubuntu 22.04 以降)は、指定した unit の実行を維持します。停止すると、systemd が再度起動します。他の unit と同じ起動レート制限の対象になります。
API server が起動している間は systemd が実行を維持し、API server なしでは決して実行してはならない worker の例です。
# /etc/systemd/system/myapp-api.service
[Unit]
Description=myapp API server
Wants=network-online.target
After=network-online.target
Upholds=myapp-worker.service
[Service]
Type=exec
User=myapp
ExecStart=/usr/local/bin/myapp serve
Restart=on-failure
RestartSec=5s
[Install]
WantedBy=multi-user.target# /etc/systemd/system/myapp-worker.service
[Unit]
Description=myapp background worker
BindsTo=myapp-api.service
After=myapp-api.service
StartLimitIntervalSec=120
StartLimitBurst=5
[Service]
Type=exec
User=myapp
ExecStart=/usr/local/bin/myapp worker
Restart=on-failure
RestartSec=5sworker には [Install] section がなく、手動で enable することもありません。API unit が Upholds= で worker を取り込むため、実行する command は systemctl enable --now myapp-api.service だけです。reload して、systemd がこの組み合わせをどのように処理したか確認します。
sudo systemctl daemon-reload
systemd-analyze verify /etc/systemd/system/myapp-worker.service
systemctl list-dependencies myapp-api.servicesystemd-analyze verify はファイルに問題がない場合、何も出力しません。出力がある場合は問題です。通常は、記述した section で systemd が認識しない key、または存在しない unit への依存関係が原因です。
修正 2: Type=notify により、systemd は PID より多くの情報を把握できます
プログラムが systemd の通知プロトコルに対応している場合は、それを使用します。Type=notify を使用すると、サービスは準備完了のタイミングを systemd に通知できます。これにより、起動順序を推測ではなく実際の状態に基づいて制御できます。また、MAINPID= を送信して、launcher ではなく対象のプロセスを systemd に指定できます。
WatchdogSec= は設定する価値があります。これを設定すると、サービスは少なくともその間隔で WATCHDOG=1 を sd_notify(3) 経由で送信する必要があります。メッセージが停止すると、systemd は SIGABRT でサービスを終了し、failed 状態にします。そのため、Restart=on-failure または Restart=on-watchdog によってサービスを復旧できます。これは、稼働しているものの停止したプロセスを再起動する組み込み機能です。終了ステータスのポリシーでは、この状態を検出できません。
[Service]
Type=notify
NotifyAccess=main
ExecStart=/usr/local/bin/myapp serve
WatchdogSec=30s
Restart=on-failure
RestartSec=5swatchdog のタイムアウトは、journal に myapp.service: Watchdog timeout (limit 30s)! と、それに続く kill として記録されます。一方、unit が activating (start) のまま TimeoutStartSec が尽きる場合は、READY=1 が届かなかったか、カウントされなかったことを示します。プログラムがこのプロトコルに対応していないか、子プロセスから送信された通知を NotifyAccess=main が拒否しています。この場合、journal には両方の PID が記録されます。または、helper process がメッセージを送信した後、systemd が送信元の unit を特定する前に終了した可能性もあります。この最後のメッセージは NotifyAccess=all の場合でも無視されます。修正はプログラム側で行い、helper が終了する前に sd_notify_barrier() を呼び出す必要があります。
HTTP health endpoint を公開していても sd_notify に対応していないソフトウェアでは、現実的な選択肢は、endpoint を probe して systemctl restart を呼び出す小規模な timer unit を用意するか、container runtime に probe を実行させることです。Compose の healthcheck と再起動動作 は、そのために用意されています。
修正3: unit 内の supervisor、他に選択肢がない場合のみ
ソフトウェアによっては、分割できない launcher の背後で複数のプロセスをまとめて起動する形でリリースされます。その場合は unit 内で supervisor を実行し、systemd が supervisor を監視し、supervisor が他のすべてを監視する構成を受け入れます。この構成では、restart policy が2つのファイルに分かれます。
この構成でよくあるのが container runtime です。docker compose または podman unit はまさにこのパターンで、コンテナごとの restart policy は Compose file に記述し、systemd unit は runtime の稼働だけを維持します。この構成を採用する場合は、ブート時に Compose stack を起動する unit に、動作する構成と、そこで Type=oneshot と RemainAfterExit=yes が通常正しい理由を示しています。
cgroup は引き続き有効です。supervisor が起動するすべてのプロセスは unit の cgroup 内にとどまるため、MemoryMax=、CPUQuota=、および停止時の cleanup は、プロセスツリー全体を対象にできます。委譲されるのは restart の判断だけです。
どの supervisor を選ぶ場合でも、外側の unit に Restart=always を設定し、その内部で積極的な restart policy を設定する場合は、影響を十分に検討してください。2層の restart logic がそれぞれ独自の backoff を持つと、service が数分間 flapping し、journal を見ても原因が分からなくなります。
ExitType=cgroup は「いずれかのプロセスが終了したら再起動する」という意味ではありません
ExitType=(systemd 250 以降。Ubuntu 24.04 と Debian 12 にはどちらも含まれています)は、この問題を検索したときに見つかる設定ですが、名前から想像する動作とは逆です。デフォルトの ExitType=main では、メインプロセスが終了するとサービスは停止したと見なされます。ExitType=cgroup では、cgroup 内の最後のプロセスが終了するまで、サービスは実行中と見なされます。
したがって、ExitType=cgroup は 1 つのプロセスが終了した場合の影響を小さくする設定であり、影響を大きくする設定ではありません。実際のワーカーを fork して、PID ファイルを書き込まずに親プロセスが終了するプログラムでは、Type=forking がデーモンを見つけられないため、この設定が適しています。ここで説明している障害には適していません。
「cgroup 内のいずれかのプロセスが終了したら unit を再起動する」という意味の Restart= 値はありません。この動作が必要な場合は、1 つの unit に 1 つのプロセスだけを配置します。プログラムを分割できず、ラッパースクリプトを制御できる場合は、最も近い設定が wait -n です。これは最初の子プロセスが終了するとすぐに戻ります。
#!/bin/bash
/usr/local/bin/myapp-web &
/usr/local/bin/myapp-worker &
wait -n
exit 1これで子プロセスが 1 つでも終了すると、ラッパーも非ゼロのステータスで終了するため、Restart=on-failure が動作します。これは妥協策であり、修正ではありません。2 つのプログラムで再起動カウンター、1 つのログストリームを共有することになり、障害が発生した側だけを単独で再起動する方法もありません。
実際に何が起きたかを調べる方法
4 つのコマンドを、この順番で実行します。
systemctl status myapp.service
systemd-cgls --unit myapp.service
systemctl show -p MainPID -p NRestarts -p Result -p ExecMainStatus myapp.service
journalctl -u myapp.service -b -o short-precisesystemctl status では、状態、メイン PID、cgroup ツリーを 1 画面で確認できます。正常な unit では、Active: active (running) と表示され、想定したプロセスを示す Main PID: 行があります。下部のツリーに認識できないプロセスがある場合や、あるはずのプロセスがない場合は、すでに原因を特定できます。
systemd-cgls --unit では、同じツリーを省略せずに表示します。unit が少数を超えるプロセスを保持する場合に重要になります。
systemctl show では、機械で読み取れる情報を確認できます。NRestarts= は再起動回数です。ブート後から稼働しているサービスと、40 回再起動したサービスを最も速く区別できます。Result= には直近の失敗理由が記録されます。exit-code、signal、timeout、oom-kill、watchdog、start-limit-hit のいずれかです。ExecMainStatus= は、最後に実行されたメインプロセスの生の終了ステータスです。
journal には一連の経過が記録されます。検索する行は次の 3 つです。
myapp.service: Main process exited, code=exited, status=1/FAILURE
myapp.service: Failed with result 'exit-code'.
myapp.service: Scheduled restart job, restart counter is at 1.code=exited, status=N は、プログラムが N を返すことを選択したことを示します。そのため、問題はプログラムまたはその設定にあります。code=killed, signal=SEGV は、プログラムがクラッシュしたことを示します。code=killed, signal=TERM は通常、別の何かが停止を要求したことを示します。これは失敗ではなく、Restart=on-failure も発生しません。code=dumped は、core ファイルが残されたことを示します。systemd-coredump がインストールされている場合、coredumpctl list でそのファイルを確認できます。
複数のマシンを対象にする場合、定期的に収集する価値があるのは NRestarts です。毎日カウンターが増える unit は、誰も気付いていなくても毎日失敗しています。2 台または 3 台を超えると、すべてのサーバーで 1 つのコマンドを一貫して実行する方法によって、推測をレポートに変えられます。
FAQ
systemctl でプロセスが終了したのに、サービスが active と表示されるのはなぜですか?
systemd は、サービス unit ごとにメインプロセスである 1 つのプロセスを追跡し、Restart= はそのプロセスの終了ステータスだけを読み取ります。unit が起動したその他のプロセスは同じ cgroup に属し、unit の停止時には systemd がそれらを終了させますが、終了したかどうかは監視しません。systemctl show -p MainPID myapp.service を実行し、その数を systemd-cgls --unit myapp.service と比較してください。終了したプロセスがツリー内に表示されるものの、MainPID ではない場合、systemd は設計どおりに動作しています。修正方法は、1 unit につき 1 プロセスとし、unit 間の関係を BindsTo= と Upholds= として記述することです。
「start request repeated too quickly」とはどういう意味ですか?
StartLimitIntervalSec= の間に unit が StartLimitBurst= 回を超えて起動されたことを意味します。デフォルトでは 10 秒間に 5 回の起動となるため、systemd は再試行を停止しました。これはレート制限であり、サービスが失敗した理由は示しません。そのため、その上にある journal の行を確認してください。systemctl reset-failed myapp.service で状態をクリアしてから、根本原因を修正します。サービスが起動に時間のかかる処理を待つ場合は RestartSec= を大きくしてください。デフォルトの間隔は 100 ミリ秒なので、1 秒未満ですべての 5 回の試行を使い切ります。
Restart=always と Restart=on-failure のどちらを使うべきですか?
ほとんどの場合は on-failure を使用してください。クラッシュ、ゼロ以外の終了、タイムアウト、watchdog の発動で再起動し、意図的な exit 0 はそのままにします。always は、プログラムが自分の制御外の理由で正常終了する場合にだけ使用してください。たとえば、ピアの切断時にクライアントが 0 を返す場合です。always の問題は、壊れた設定を読み込み、エラーを 1 件記録して 0 で終了するサービスまで、何度も起動されることです。デフォルトの間隔ではすぐに start-limit-hit で失敗し、RestartSec= を長くすると無限にループすることがあります。その場合、唯一確認できる症状は systemctl show 内で NRestarts が増え続けることです。
手動でプロセスを kill しても再起動されないのはなぜですか?
Type=oneshot 以外のすべてのタイプでは、systemd が SIGHUP、SIGINT、SIGTERM、SIGPIPE を正常終了として扱い、通常の kill <pid> は SIGTERM を送信するためです。Restart=on-failure では正常終了は失敗ではないため、再起動されません。設定が壊れているように見えても、実際にはそうではありません。kill -9 <pid> または systemctl kill -s SIGKILL myapp.service でテストしてください。これは異常終了となり、ポリシーによる再起動が発生します。同じ規則により、systemctl stop が再起動ポリシーに干渉することもありません。
StartLimitIntervalSec と StartLimitBurst はどこに記述しますか?
[Unit] セクションに記述します。古い資料や古い systemd バージョンでは [Service] に記述しているため、コピーした例同士で内容が一致しないことがあります。使用中のバージョンがどちらを有効にするか推測しないでください。systemctl daemon-reload の後に、systemctl show -p StartLimitBurst -p StartLimitIntervalUSec myapp.service で systemd が読み込んだ内容を確認し、その数値を正しい値として扱います。systemd-analyze verify /etc/systemd/system/myapp.service は systemd が認識しないキーを検出し、ファイルに問題がなければ何も出力しません。