Vì sao systemd không restart service của bạn?
Restart= chỉ theo dõi process chính, nên child bị chết trong cùng cgroup vẫn không kích hoạt restart. Xem cách Type=, giới hạn restart và journal hoạt động.
Câu trả lời ngắn gọn: chính sách restart của systemd chỉ theo dõi một tiến trình
Chính sách restart của systemd theo dõi một tiến trình cho mỗi unit: tiến trình chính. Restart= đọc exit status của tiến trình đó và của các lệnh ngắn mà systemd tự chạy xung quanh nó, chẳng hạn như ExecStartPre=, ExecStartPost= và ExecReload=. Nó không đọc gì khác. Control group của một unit có thể chứa 20 tiến trình. Một trong số đó có thể dừng, nhưng unit vẫn ở trạng thái active (running) vì tiến trình chính vẫn còn. Theo systemd, không có lỗi nào xảy ra nên không có gì được restart.
systemd vẫn biết các tiến trình khác. Nó kill các tiến trình đó khi unit dừng, tính memory của chúng vào giới hạn của unit, áp dụng CPU quota của unit cho chúng và hiển thị chúng trong systemctl status. Tuy nhiên, systemd không bao giờ đọc exit status của các tiến trình đó. Logic restart và cgroup là hai cơ chế khác nhau. Phần lớn nội dung của hướng dẫn này nói về khoảng cách giữa hai cơ chế đó.
Cgroup lưu trữ gì và logic restart đọc gì
Cgroup (control group) là một kernel object quản lý một nhóm process. Mỗi service unit có một cgroup, được đặt tên theo unit đó. Process không thể tự rời khỏi cgroup. Process con kế thừa cgroup của process cha, và process không có quyền đặc biệt không thể tự chuyển sang nơi khác. Vì vậy systemd có thể dọn dẹp một daemon fork hai lần, trong khi các init script cũ không thể làm việc này một cách đáng tin cậy.
Hãy xem hai thông tin này cạnh nhau:
systemd-cgls --unit myapp.service
systemctl show -p MainPID -p NRestarts -p Restart -p RestartUSec myapp.servicesystemd-cgls liệt kê mọi process trong unit. MainPID là số duy nhất mà restart policy đọc. Khi hai thông tin này không khớp với mô hình bạn đang nghĩ, đó chính là lỗi. MainPID=0 có nghĩa là systemd không có main process để đọc exit status. systemd vẫn theo dõi cgroup, nên nhận biết khi process cuối cùng trong cgroup kết thúc. Nhưng trước thời điểm đó, restart logic không có exit status để đánh giá.
Có một ngoại lệ thực sự đối với quy tắc main process. Nếu kernel out-of-memory killer kill bất kỳ process nào bên trong cgroup của unit, systemd vẫn nhận biết được vì nó theo dõi file memory.events của cgroup. OOMPolicy= quyết định bước tiếp theo. Giá trị mặc định là stop: toàn bộ unit bị dừng, kết quả được ghi nhận là oom-kill, và điều này được tính là failure, nên Restart=on-failure được kích hoạt. Journal ghi rất rõ điều đó.
myapp.service: A process of this unit has been killed by the OOM killer.
myapp.service: Failed with result 'oom-kill'.Vì vậy, child bị kill do thiếu memory sẽ làm unit dừng, còn child kết thúc do segmentation fault thì không. Nếu đặt memory limit cho unit, hãy đọc cách MemoryMax và CPUQuota áp dụng cho cgroup của unit trước khi tinh chỉnh restart policy, vì hai tính năng này giao nhau ở đây và không nơi nào khác.
Type= chọn tiến trình chính
Type= trong phần [Service] không chỉ liên quan đến thứ tự khởi động. Đây là quy tắc quyết định PID (process ID) nào trở thành MainPID, tương đương với việc quyết định Restart= có thể thấy gì.
Type=simplelà giá trị mặc định. Tiến trình mà systemd fork từExecStart=là tiến trình chính. systemd đánh dấu unit đã khởi động ngay lập tức, trước khi biếtexeccó thực sự hoạt động hay không. Lỗi đánh máy trong đường dẫn binary khiến start job thành công, rồiMain process exited, code=exited, status=203/EXECngay sau đó.Type=exechoạt động giốngsimple, nhưng start job chờ đến khiexecthành công. Nhờ đó, lỗi đánh máy ở trên trở thành lỗi khởi động thực sự. Tính năng này cần systemd 240 trở lên. Ubuntu 20.04 trở lên và Debian 12 có tính năng này, nhưng Ubuntu 18.04, vẫn được hỗ trợ qua Ubuntu Pro, đi kèm systemd 237 nên không có. Khi có thể dùng, hãy ưu tiên nó thay chosimple.Type=forkingyêu cầu tiến trình từExecStart=fork một daemon chạy nền rồi thoát. systemd chờ tiến trình cha thoát, sau đó tìm daemon thật. Hãy cung cấpPIDFile=. Nếu không có,GuessMainPID=(được bật mặc định) chỉ hoạt động khi còn lại đúng một tiến trình trong cgroup. Nếu còn lại hai tiến trình,MainPIDvẫn ở trạng thái0.Type=notifynghĩa là service gọisd_notify(3)và gửiREADY=1khi có thể nhận traffic. Service cũng có thể gửiMAINPID=để bàn giao cho systemd một tiến trình khác cần theo dõi. VớiType=notify,NotifyAccess=được đặt thànhmaintrừ khi bạn chọn giá trị khác, nên notification do tiến trình con gửi sẽ bị bỏ qua và journal ghi tên PID đã gửi nó.Type=oneshotkhông có tiến trình chính tồn tại lâu dài. Unit chuyển sang inactive ngay khiExecStart=hoàn tất, trừ khi bạn đặtRemainAfterExit=yes.Restart=alwaysvàRestart=on-successbị từ chối ở đây, với thông báoService has Restart= set to either always or on-success, which isn't allowed for Type=oneshot services. Refusing.Các giá trị khác, bao gồmon-failure, đều được chấp nhận.
Có hai lỗi Type=forking đáng ghi nhớ, vì mỗi lỗi đều khiến bạn có một unit trông như bị hỏng mà không thấy nguyên nhân rõ ràng:
myapp.service: Can't open PID file /run/myapp.pid (yet?) after start: No such file or directory
myapp.service: New main PID 4711 does not belong to service, and PID file is not owned by root. Refusing.Lỗi đầu tiên nghĩa là daemon ghi PID file ở nơi khác hoặc ghi file sau thời điểm systemd kiểm tra. Lỗi thứ hai nghĩa là PID file chỉ đến một tiến trình bên ngoài cgroup của unit. systemd từ chối nhận tiến trình đó, vì nếu PID file có thể ghi tùy ý thì nó có thể được dùng để khiến systemd gửi signal đến bất kỳ tiến trình nào trên máy.
Vì sao wrapper script che giấu việc các tiến trình con đã thoát
Đây là dạng cấu hình dẫn đến câu hỏi trong tiêu đề.
#!/bin/bash
/usr/local/bin/myapp-web &
/usr/local/bin/myapp-worker &
waitUnit là Type=simple, nên process chính là shell. wait không có argument chỉ trả về sau khi mọi process con đã thoát. Kill worker nhưng shell vẫn chờ web process, nên shell không thoát, MainPID không thoát và Restart= không bao giờ được kiểm tra. Cgroup lúc này ít hơn một process, systemctl status in ra cây process ngắn hơn, còn unit vẫn ở trạng thái active (running). systemd không theo dõi cây process đó để phát hiện thay đổi.
Một phiên bản khác của cùng lỗi này khó nhận ra hơn:
ExecStart=/bin/sh -c 'export APP_ENV=production; /usr/local/bin/myapp'Process chính là shell, không phải myapp. Khi systemctl stop, systemd gửi SIGTERM đến process chính. Shell đang chờ một child chạy foreground sẽ không chuyển tiếp signal đó. Quá trình stop sau đó mất toàn bộ TimeoutStopSec, mặc định là 90 giây, rồi kết thúc như sau:
myapp.service: State 'stop-sigterm' timed out. Killing.
myapp.service: Killing process 4711 (myapp) with signal SIGKILL.Cách sửa là exec. Viết exec /usr/local/bin/myapp để shell được thay thế bằng program. Khi đó MainPID là program và signal sẽ đến đúng process. Tốt hơn nữa, xóa shell và dùng Environment= hoặc EnvironmentFile= trong unit. Lưu ý rằng lỗi này không lộ ra khi chuỗi -c chỉ chứa một command, vì bash và dash đều tối ưu trường hợp đó thành một exec trực tiếp. Thêm command thứ hai vào chuỗi thì shell sẽ tiếp tục chạy phía trước program.
Tái hiện trên một VPS test trong hai phút
Lưu wrapper ở trên thành /usr/local/bin/two-children.sh, cấp quyền thực thi bằng chmod +x, rồi thay hai đường dẫn program bằng sleep 3600. Trỏ một unit đến wrapper bằng Type=simple và Restart=on-failure, sau đó systemctl daemon-reload và start unit. Chạy systemd-cgls --unit two-children.service và ghi lại 3 PID: shell và hai process con của nó. Kill một process con bằng sudo kill <pid>. Kiểm tra lại unit. Cây process ngắn hơn một process, trạng thái vẫn là active (running) và journal không có thông tin mới. Bây giờ chạy sudo kill -9 <shell pid>. Unit fail, process con còn lại được dọn dẹp vì KillMode=control-group là giá trị mặc định, và journal hiển thị Scheduled restart job, restart counter is at 1.
Toàn bộ các giá trị của Restart= và khi nào on-failure phù hợp hơn always
Restart= nhận một trong bảy giá trị. Điểm khác biệt giữa chúng là định nghĩa về việc thoát sạch. systemd xem mã thoát 0, mọi mã được liệt kê trong SuccessExitStatus= và, với mọi loại trừ Type=oneshot, các signal SIGHUP, SIGINT, SIGTERM và SIGPIPE là thoát sạch. Mọi trường hợp khác, bao gồm SIGKILL và SIGSEGV, đều là thoát không sạch.
nolà giá trị mặc định. Unit không bao giờ tự khởi động lại. Vì vậy, unit không có dòngRestart=sẽ dừng ngay khi crash đầu tiên và vẫn ở trạng thái dừng.on-successchỉ khởi động lại sau khi thoát sạch.on-failurekhởi động lại khi có mã thoát khác 0, signal không sạch, timeout khi start hoặc stop, hoặc watchdog hết hạn.on-abnormalkhởi động lại khi có signal không sạch, timeout hoặc watchdog hết hạn, nhưng không bao giờ khởi động lại chỉ vì mã thoát khác 0.on-abortchỉ khởi động lại khi có signal không sạch, tức là khi crash.on-watchdogchỉ khởi động lại khiWatchdogSec=hết hạn.alwayskhởi động lại sau mọi trường hợp ở trên, bao gồm cả thoát sạch với status 0.
on-failure phù hợp cho daemon chạy lâu dài. Nó khởi động lại sau crash nhưng bỏ qua một exit 0 có chủ ý. always phù hợp với chương trình thoát sạch vì các lý do nằm ngoài quyền kiểm soát của nó, chẳng hạn tunnel client trả về 0 khi đầu xa ngắt kết nối. Cái giá của always là che giấu bug: một service khởi động, đọc file cấu hình bị hỏng, ghi log lỗi rồi thoát với mã 0 sẽ đơn giản được khởi động lại. Với khoảng chờ mặc định 100 millisecond, nó nhanh chóng chạm giới hạn tốc độ start được mô tả bên dưới và cuối cùng chuyển sang trạng thái failed với start-limit-hit. Nếu đặt RestartSec= đủ dài để không vượt giới hạn đó, service sẽ lặp vô hạn. Dấu hiệu duy nhất là bộ đếm restart tăng dần.
SuccessExitStatus= thay đổi ranh giới giữa thoát sạch và thoát không sạch. Borg thoát với mã 1 khi có cảnh báo và mã 2 khi có lỗi. Vì vậy, một backup unit không có SuccessExitStatus=1 sẽ bị đánh dấu failed mỗi khi bỏ qua một file không thể đọc. RestartPreventExitStatus= liệt kê các mã chặn restart ngay cả khi dùng always. Đây là cách để chương trình báo rằng nó không nên được khởi động lại. RestartForceExitStatus= làm ngược lại. Backup job nên nằm trong một Type=oneshot unit được timer điều khiển, thay vì nằm trong vòng lặp restart. Cặp service và timer chạy job theo lịch là cấu trúc cần sao chép trong trường hợp đó.
Lưu ý khi kiểm thử. Dùng lệnh kill <pid> thông thường để kill service sẽ gửi SIGTERM, vốn nằm trong danh sách thoát sạch. Vì vậy, Restart=on-failure sẽ không làm gì và bạn có thể kết luận rằng cấu hình bị hỏng. Thay vào đó, hãy dùng kill -9 <pid> hoặc systemctl kill -s SIGKILL myapp.service. Cũng cần nhớ rằng không có giá trị nào của Restart= có hiệu lực sau systemctl stop, hoặc khi unit bị stop vì dependency BindsTo= hoặc PartOf= không còn tồn tại. Một stop job không phải là lỗi.
RestartSec và mặc định 100 millisecond
RestartSec= là khoảng dừng giữa lúc unit dừng và lúc systemd khởi động lại unit đó. Giá trị mặc định là 100 millisecond. Kiểm tra giá trị unit thực sự đã nạp:
systemctl show -p RestartUSec -p StartLimitIntervalUSec -p StartLimitBurst myapp.serviceNếu unit chưa đặt giá trị này, lệnh sẽ in RestartUSec=100ms, trừ khi ai đó đã thay đổi DefaultRestartSec= trong /etc/systemd/system.conf. Đây là nơi giá trị chưa được đặt bắt nguồn từ đó. Mặc định này phù hợp với service chỉ crash một lần rồi khởi động lại được. Nó không phù hợp với service hoàn toàn không thể khởi động, vì lần khởi động đầu tiên và 4 lần restart tiếp theo sẽ diễn ra trong chưa đầy 1 giây nếu chương trình fail ngay lập tức. Khi đó, service sẽ dùng hết 5 lần start mà rate limit được mô tả tiếp theo cho phép. Với mọi service phải chờ database, mount hoặc network route, hãy đặt RestartSec=5s hoặc cao hơn.
Tính đến tháng 10 năm 2026, systemd 254 trở lên cũng cung cấp RestartSteps= và RestartMaxDelaySec=. Hai tùy chọn này tăng thời gian chờ từ RestartSec= lên dần cho đến một ngưỡng tối đa trong số lần thử đó. Ubuntu 24.04 phát hành kèm systemd 255 và có các tùy chọn này. Debian 12 phát hành kèm systemd 252 và không có, dù bookworm-backports có systemd 254. Thời gian chờ tăng dần là lựa chọn phù hợp khi dependency có thể ngừng hoạt động trong thời gian dài.
Ý nghĩa thực sự của “yêu cầu khởi động bị lặp lại quá nhanh”
Đây là trạng thái khiến người đọc nghĩ rằng systemd tự ý bỏ cuộc. Thực ra đây là một bộ đếm. Quy tắc là: nếu một unit được khởi động nhiều hơn StartLimitBurst= lần trong StartLimitIntervalSec=, systemd sẽ từ chối khởi động lại unit đó và chuyển unit sang trạng thái failed. Giá trị mặc định là 5 lần khởi động trong 10 giây.
Journal hiển thị chuỗi sự kiện:
myapp.service: Scheduled restart job, restart counter is at 5.
myapp.service: Start request repeated too quickly.
myapp.service: Failed with result 'start-limit-hit'.
Failed to start myapp.service - My application.và systemctl start trả về đúng cách xử lý cần dùng:
Job for myapp.service failed because start of the service was attempted too often. See "systemctl status myapp.service" and "journalctl -xeu myapp.service" for details. To force a start use "systemctl reset-failed myapp.service" followed by "systemctl start myapp.service" again.systemctl reset-failed myapp.service xóa bộ đếm và trạng thái failed. Nếu không chạy lệnh này, một systemctl start thông thường vẫn bị từ chối cho đến khi hết khoảng thời gian StartLimitIntervalSec=, đồng thời automatic restart vẫn tắt cho đến khi có thao tác khởi động unit lại. Các lần khởi động thủ công cũng được tính vào giới hạn. Vì vậy, vài lần chạy systemctl restart thiếu kiên nhẫn trong lúc chỉnh file cấu hình cũng có thể kích hoạt giới hạn này, dù service hoàn toàn không bị crash.
Điểm dễ gây hiểu nhầm là start-limit-hit không bao giờ cho biết vì sao service bị lỗi. Nó chỉ cho biết service đã lỗi nhiều lần trong thời gian ngắn. Nguyên nhân thực sự nằm trong các dòng journal phía trên.
Cả hai thiết lập này đều thuộc section [Unit]. Bạn sẽ thấy các ví dụ đặt chúng trong [Service]. systemd phiên bản cũ chấp nhận vị trí đó, và đây là nguồn gốc của nhầm lẫn. Hãy đặt chúng trong [Unit], sau đó yêu cầu systemd hiển thị cấu hình đã nạp bằng systemctl show, vì chỉ giá trị đã nạp mới có hiệu lực.
[Unit]
Description=My application
StartLimitIntervalSec=300
StartLimitBurst=5
[Service]
Type=exec
ExecStart=/usr/local/bin/myapp
Restart=on-failure
RestartSec=10sCấu hình này cho phép unit thử 5 lần trong khoảng thời gian 5 phút trước khi bỏ cuộc. StartLimitIntervalSec=0 tắt hoàn toàn giới hạn này. Bạn cần hiểu rõ lựa chọn của mình: một service không thể khởi động sẽ retry vô hạn và ghi log vào journal sau mỗi lần thử. Các giá trị mặc định trên toàn máy nằm trong /etc/systemd/system.conf dưới dạng DefaultStartLimitIntervalSec= và DefaultStartLimitBurst=.
Có một thiết lập liên quan cần đặc biệt lưu ý. StartLimitAction= quyết định điều gì xảy ra khi đạt giới hạn. Thiết lập này chấp nhận các giá trị gồm reboot, reboot-force và poweroff. Giá trị mặc định là none, khiến unit chuyển sang failed nhưng không tác động đến máy. Trên một VPS từ xa, poweroff có nghĩa là máy sẽ tắt cho đến khi bạn mở console của nhà cung cấp.
Fix một: mỗi unit chỉ chạy một process
Đây là cách xử lý đúng trong hầu hết trường hợp. Nếu phải chạy hai chương trình, hãy viết hai unit. Mỗi unit khi đó có một process chính thực sự, một exit status thực sự và policy restart riêng. Bạn cũng có log riêng, giới hạn tài nguyên riêng và bộ đếm restart riêng. Đây là những thứ cần có lúc 3 giờ sáng.
Khai báo quan hệ giữa các unit trong file unit, không dùng shell script.
After=chỉ sắp xếp thứ tự khởi động. Nó không cho biết gì về lỗi.Requires=khởi động unit kia cùng với unit này và dừng unit này nếu unit kia bị dừng một cách rõ ràng.BindsTo=làRequires=cộng thêm trường hợp bạn cần: unit này dừng khi unit kia dừng vì bất kỳ lý do nào, kể cả crash. Hãy dùng cùngAfter=, nếu không thứ tự sẽ không được xác định.PartOf=truyền thao tác dừng và restart xuống các unit phụ thuộc, vì vậysystemctl restart myapp.targetsẽ áp dụng cho mọi unitPartOf=nó.Upholds=(systemd 249 trở lên, tức Ubuntu 22.04 trở lên) giữ cho unit được chỉ định luôn chạy: nếu unit dừng, systemd sẽ khởi động lại. Unit này vẫn chịu cùng giới hạn tần suất khởi động như mọi unit khác.
Một worker không được chạy khi thiếu API server và được systemd giữ cho luôn hoạt động bất cứ khi nào API đang chạy:
# /etc/systemd/system/myapp-api.service
[Unit]
Description=myapp API server
Wants=network-online.target
After=network-online.target
Upholds=myapp-worker.service
[Service]
Type=exec
User=myapp
ExecStart=/usr/local/bin/myapp serve
Restart=on-failure
RestartSec=5s
[Install]
WantedBy=multi-user.target# /etc/systemd/system/myapp-worker.service
[Unit]
Description=myapp background worker
BindsTo=myapp-api.service
After=myapp-api.service
StartLimitIntervalSec=120
StartLimitBurst=5
[Service]
Type=exec
User=myapp
ExecStart=/usr/local/bin/myapp worker
Restart=on-failure
RestartSec=5sWorker không có section [Install] và không bao giờ được enable thủ công. API unit kéo worker vào bằng Upholds=, vì vậy systemctl enable --now myapp-api.service là lệnh duy nhất bạn cần chạy. Reload rồi kiểm tra systemd đã xử lý cặp unit này như thế nào:
sudo systemctl daemon-reload
systemd-analyze verify /etc/systemd/system/myapp-worker.service
systemctl list-dependencies myapp-api.servicesystemd-analyze verify hoàn toàn không in gì nếu file không có lỗi. Mọi output đều là vấn đề, thường là một key mà systemd không nhận diện trong section nơi bạn đã viết key đó, hoặc dependency trỏ đến một unit không tồn tại.
Cách khắc phục 2: Type=notify để systemd biết nhiều hơn chỉ một PID
Nếu chương trình hỗ trợ notification protocol của systemd, hãy dùng protocol này. Với Type=notify, service báo cho systemd biết khi đã sẵn sàng. Nhờ đó, việc sắp thứ tự khởi động dựa trên trạng thái thực tế thay vì chỉ dự đoán. Service cũng có thể gửi MAINPID= để chỉ cho systemd đúng process cần theo dõi, thay vì process launcher.
WatchdogSec= là phần đáng để cấu hình. Khi bật tùy chọn này, service phải gửi WATCHDOG=1 qua sd_notify(3) ít nhất thường xuyên như vậy. Khi các message dừng lại, systemd kết thúc service bằng SIGABRT và đánh dấu service là failed. Khi đó, Restart=on-failure hoặc Restart=on-watchdog sẽ khởi động lại service. Đây là cách tích hợp duy nhất để restart một process vẫn đang chạy nhưng bị treo. Không policy nào dựa trên exit status có thể phát hiện trường hợp này.
[Service]
Type=notify
NotifyAccess=main
ExecStart=/usr/local/bin/myapp serve
WatchdogSec=30s
Restart=on-failure
RestartSec=5sKhi watchdog hết thời gian, journal ghi nhận myapp.service: Watchdog timeout (limit 30s)! rồi mới kill process. Nếu unit thay vào đó nằm ở trạng thái activating (start) cho đến khi TimeoutStartSec hết thời gian, thì READY=1 chưa bao giờ được gửi hoặc chưa bao giờ được tính. Có thể chương trình không hỗ trợ protocol này. Cũng có thể NotifyAccess=main từ chối notification được gửi từ child process. Journal sẽ ghi cả hai PID. Một trường hợp khác là helper process gửi message rồi thoát trước khi systemd xác định message thuộc unit nào. Message cuối cùng này bị bỏ qua ngay cả khi dùng NotifyAccess=all. Cách sửa phải thực hiện trong chương trình: chương trình cần gọi sd_notify_barrier() trước khi helper thoát.
Với phần mềm có HTTP health endpoint nhưng không hỗ trợ sd_notify, có 2 lựa chọn phù hợp. Một là tạo một timer unit nhỏ để probe endpoint rồi gọi systemctl restart. Hai là để container runtime thực hiện việc probe. Đây là mục đích của healthcheck của Compose và cơ chế restart của chúng.
Sửa thứ ba: chạy supervisor bên trong unit, chỉ khi không còn lựa chọn khác
Một số phần mềm thực sự được phát hành dưới dạng một nhóm process phía sau một launcher mà bạn không thể tách riêng. Khi đó, bạn chạy một supervisor bên trong unit và chấp nhận hệ quả: systemd theo dõi supervisor, supervisor theo dõi mọi thứ khác, còn chính sách restart nằm trong hai file.
Trường hợp phổ biến của mô hình này là container runtime. Một unit docker compose hoặc podman chính là mẫu này. Chính sách restart của từng container được khai báo trong file Compose, còn systemd unit chỉ đảm bảo runtime luôn chạy. Nếu hệ thống của bạn có mô hình như vậy, unit khởi động Compose stack khi boot trình bày phiên bản hoạt động được, bao gồm lý do Type=oneshot cùng với RemainAfterExit=yes thường là lựa chọn đúng trong trường hợp đó.
cgroup vẫn có lợi cho bạn. Mọi thứ supervisor khởi động đều nằm trong cgroup của unit, nên MemoryMax=, CPUQuota= và thao tác cleanup khi stop vẫn áp dụng cho toàn bộ cây process. Chỉ quyết định restart được ủy quyền cho supervisor.
Dù chọn supervisor nào, đừng đặt Restart=always trên unit bên ngoài đồng thời cấu hình chính sách restart tích cực bên trong mà chưa cân nhắc. Hai lớp logic restart, mỗi lớp có cơ chế backoff riêng, có thể khiến service liên tục flapping trong nhiều phút và journal không giải thích được nguyên nhân.
ExitType=cgroup không có nghĩa là “khởi động lại khi bất kỳ tiến trình nào dừng”
ExitType= (có trong systemd 250 trở lên, nên cả Ubuntu 24.04 và Debian 12 đều hỗ trợ) là tùy chọn mọi người thường tìm thấy khi tra cứu vấn đề này. Tuy nhiên, nó hoạt động ngược với điều tên gọi gợi ý. Giá trị mặc định, ExitType=main, nghĩa là service được xem là đã dừng khi tiến trình chính thoát. ExitType=cgroup nghĩa là service được xem là vẫn đang chạy cho đến khi tiến trình cuối cùng trong cgroup thoát.
Vì vậy, ExitType=cgroup làm unit ít nhạy hơn với việc một tiến trình dừng, chứ không nhạy hơn. Đây là tùy chọn phù hợp với chương trình fork worker thực tế rồi cho tiến trình cha thoát mà không ghi PID file, khiến Type=forking không tìm thấy daemon. Đây là tùy chọn không phù hợp với lỗi được mô tả ở đây.
Không có giá trị Restart= nào mang nghĩa “khởi động lại unit khi bất kỳ tiến trình nào trong cgroup dừng”. Nếu cần hành vi đó, bạn phải chạy mỗi tiến trình trong một unit riêng. Nếu không thể tách chương trình và bạn kiểm soát wrapper script, tùy chọn gần nhất là wait -n. Tùy chọn này trả về ngay khi child đầu tiên thoát:
#!/bin/bash
/usr/local/bin/myapp-web &
/usr/local/bin/myapp-worker &
wait -n
exit 1Khi đó, bất kỳ child nào dừng cũng khiến wrapper dừng với status khác 0, nên Restart=on-failure sẽ hoạt động. Đây chỉ là giải pháp thỏa hiệp, không phải cách khắc phục. Bạn vẫn dùng chung một restart counter cho hai chương trình, chung một log stream và không thể tự khởi động lại phần bị lỗi.
Cách kiểm tra thực tế đã xảy ra điều gì
Bốn lệnh, theo đúng thứ tự này.
systemctl status myapp.service
systemd-cgls --unit myapp.service
systemctl show -p MainPID -p NRestarts -p Result -p ExecMainStatus myapp.service
journalctl -u myapp.service -b -o short-precisesystemctl status hiển thị trạng thái, PID chính và cây cgroup trên cùng một màn hình. Một unit khỏe mạnh sẽ hiển thị Active: active (running) với dòng Main PID: nêu đúng tiến trình bạn mong đợi. Nếu cây ở cuối liệt kê các tiến trình bạn không nhận ra hoặc thiếu một tiến trình mà bạn biết là phải có, bạn đã tìm ra vấn đề.
systemd-cgls --unit in cùng cây đó nhưng không cắt ngắn. Điều này bắt đầu quan trọng khi một unit quản lý nhiều hơn vài tiến trình.
systemctl show cung cấp các thông tin có thể đọc bằng máy. NRestarts= là bộ đếm số lần restart, và đây là cách nhanh nhất để phân biệt một service đã restart forty lần với một service đã chạy từ lúc boot. Result= chứa lý do lỗi gần nhất: exit-code, signal, timeout, oom-kill, watchdog hoặc start-limit-hit. ExecMainStatus= là exit status thô của main process gần nhất.
Journal lưu lại toàn bộ trình tự sự kiện. Đây là ba dòng cần tìm:
myapp.service: Main process exited, code=exited, status=1/FAILURE
myapp.service: Failed with result 'exit-code'.
myapp.service: Scheduled restart job, restart counter is at 1.code=exited, status=N nghĩa là chương trình tự chọn trả về N, vì vậy lỗi nằm trong chương trình hoặc cấu hình của nó. code=killed, signal=SEGV nghĩa là chương trình đã crash. code=killed, signal=TERM thường nghĩa là một thành phần khác yêu cầu chương trình dừng; đây không phải lỗi và sẽ không kích hoạt Restart=on-failure. code=dumped nghĩa là chương trình đã tạo core file; coredumpctl list sẽ hiển thị file này khi systemd-coredump được cài đặt.
Khi quản lý nhiều máy, NRestarts là giá trị đáng thu thập theo lịch. Một unit có bộ đếm tăng mỗi ngày đang lỗi mỗi ngày, dù không ai nhận ra. Khi đã quản lý quá hai hoặc ba máy, cách nhất quán để chạy một lệnh trên mọi server sẽ biến phỏng đoán đó thành báo cáo.
FAQ
Vì sao systemctl báo service đang active dù process đã dừng?
systemd theo dõi một process cho mỗi service unit, gọi là main process, và Restart= chỉ đọc exit status của process đó. Mọi process khác do unit khởi động đều nằm trong cùng cgroup. systemd sẽ kill các process đó khi unit dừng, nhưng không theo dõi thời điểm chúng thoát. Chạy systemctl show -p MainPID myapp.service rồi so sánh số này với systemd-cgls --unit myapp.service. Nếu process đã dừng xuất hiện trong cây nhưng không phải là MainPID, systemd đã hoạt động đúng theo thiết kế. Cách khắc phục là dùng một process cho mỗi unit, đồng thời khai báo quan hệ giữa các unit bằng BindsTo= và Upholds=.
“start request repeated too quickly” có nghĩa là gì?
Điều đó có nghĩa là unit đã được khởi động hơn StartLimitBurst= lần trong khoảng StartLimitIntervalSec=. Giá trị mặc định là 5 lần khởi động trong 10 giây, nên systemd ngừng thử. Đây là rate limit và thông báo này không cho biết service lỗi vì sao, vì vậy hãy đọc các dòng journal bên trên. Xóa trạng thái bằng systemctl reset-failed myapp.service, sau đó sửa lỗi nguyên nhân. Nếu service phải chờ một thành phần khởi động chậm, hãy tăng RestartSec=, vì khoảng chờ mặc định 100 milliseconds sẽ dùng hết cả 5 lần thử trong chưa đầy một giây.
Nên dùng Restart=always hay Restart=on-failure?
Hãy dùng on-failure trong hầu hết trường hợp. Nó restart service khi process crash, thoát với mã khác 0, timeout hoặc watchdog bị kích hoạt. Nó không restart khi process chủ động thoát bằng exit 0. Chỉ dùng always khi chương trình thoát bình thường vì một lý do nằm ngoài quyền kiểm soát của nó, chẳng hạn client trả về 0 khi peer ngắt kết nối. Nhược điểm của always là service đọc một config bị hỏng, ghi một lỗi rồi thoát với mã 0 sẽ bị khởi động lại liên tục. Với khoảng chờ mặc định, service sớm lỗi với start-limit-hit. Với RestartSec= dài hơn, service có thể loop vô hạn, còn NRestarts tiếp tục tăng trong systemctl show và trở thành triệu chứng duy nhất có thể nhìn thấy.
Vì sao kill process thủ công không kích hoạt restart?
Vì với mọi type ngoại trừ Type=oneshot, systemd coi SIGHUP, SIGINT, SIGTERM và SIGPIPE là các lần thoát bình thường, còn lệnh kill <pid> gửi SIGTERM. Với Restart=on-failure, một lần thoát bình thường không được xem là lỗi, nên không có gì được restart và cấu hình trông như bị hỏng dù thực tế không phải vậy. Hãy kiểm tra bằng kill -9 <pid> hoặc systemctl kill -s SIGKILL myapp.service. Đây là một kiểu kết thúc bất thường và sẽ kích hoạt policy. Quy tắc tương tự giải thích vì sao systemctl stop không bao giờ xung đột với restart policy của bạn.
StartLimitIntervalSec và StartLimitBurst được đặt ở đâu?
Trong section [Unit]. Tài liệu cũ và các phiên bản systemd cũ hơn đặt chúng trong [Service], nên các ví dụ được sao chép có thể không thống nhất. Đừng đoán phiên bản của bạn chấp nhận section nào. Sau systemctl daemon-reload, hãy hỏi systemd đã load gì bằng systemctl show -p StartLimitBurst -p StartLimitIntervalUSec myapp.service và coi các giá trị đó là thông tin chính xác. systemd-analyze verify /etc/systemd/system/myapp.service phát hiện các key mà systemd hoàn toàn không nhận diện và không in gì nếu file hợp lệ.