Чому systemd не перезапустив ваш сервіс
Restart= відстежує лише головний процес unit: завершення дочірнього процесу в тій самій cgroup не запускає перезапуск. Пояснюємо Type=, ліміти й journal.
Коротко: політики перезапуску systemd відстежують один процес
Політики перезапуску systemd відстежують один процес для кожного unit: головний процес. Restart= читає код завершення цього процесу та коротких команд, які systemd запускає навколо нього, зокрема ExecStartPre=, ExecStartPost= і ExecReload=. Більше нічого він не читає. У control group unit може бути двадцять процесів. Один із них може завершитися, а unit залишатиметься у стані active (running), оскільки головний процес усе ще працює. З погляду systemd нічого не завершилося помилкою, тому нічого не перезапускається.
systemd знає про інші процеси. Він завершує їх, коли зупиняється unit, враховує споживання ними пам’яті в лімітах unit, застосовує до них квоту CPU unit і показує їх у systemctl status. Але коди завершення цих процесів він не читає. Логіка перезапуску та cgroup — це різні механізми, і більшість цього посібника присвячено розриву між ними.
Що містить cgroup і які дані читає логіка перезапуску
cgroup (control group) — це об’єкт ядра, який містить набір процесів. Кожен service unit отримує власну cgroup з назвою цього unit. Процес не може вийти з неї. Дочірні процеси успадковують cgroup батьківського процесу, а непривілейований процес не може перемістити себе в іншу cgroup. Тому systemd може очистити daemon, який виконує fork двічі. Старі init scripts не могли надійно цього зробити.
Розгляньте обидва факти поруч:
systemd-cgls --unit myapp.service
systemctl show -p MainPID -p NRestarts -p Restart -p RestartUSec myapp.servicesystemd-cgls перелічує всі процеси в unit. MainPID — це єдине число, яке читає політика перезапуску. Якщо ці два значення не відповідають вашій моделі роботи системи, саме ця невідповідність є помилкою. MainPID=0 означає, що systemd не має основного процесу, з якого можна отримати статус завершення. Він і далі відстежує cgroup, тому бачить, коли останній процес у ній завершується. Але до цього моменту логіка перезапуску не має статусу завершення для оцінювання.
Є один справжній виняток із правила основного процесу. Якщо kernel out-of-memory killer завершує будь-який процес у cgroup цього unit, systemd бачить це, оскільки відстежує файл memory.events у cgroup. OOMPolicy= визначає подальшу дію. За замовчуванням це stop: весь unit зупиняється, результат записується як oom-kill, і це вважається помилкою, тому спрацьовує Restart=on-failure. У журналі це зазначено однозначно.
myapp.service: A process of this unit has been killed by the OOM killer.
myapp.service: Failed with result 'oom-kill'.Отже, дочірній процес, завершений через нестачу пам’яті, справді зупиняє весь unit, тоді як завершення цього самого процесу через segmentation fault — ні. Якщо ви встановлюєте обмеження пам’яті для unit, перед налаштуванням політики перезапуску прочитайте як MemoryMax і CPUQuota застосовуються до cgroup unit, оскільки саме тут ці дві функції взаємодіють — і більше ніде.
Як Type= визначає головний процес
Type= у розділі [Service] стосується не лише порядку запуску. Це правило визначає, який PID (ідентифікатор процесу) стане MainPID. Фактично воно визначає, що саме може бачити Restart=.
Type=simple— значення за замовчуванням. Процес, який systemd породжує зExecStart=, є головним процесом. systemd негайно позначає unit як запущений, ще до того, як перевірить, чи взагалі спрацювавexec. Помилка в шляху до бінарного файла дає успішне завдання запуску, а потімMain process exited, code=exited, status=203/EXECчерез мить.Type=execпрацює якsimple, але завдання запуску очікує успішного завершенняexec. Тому наведена вище помилка перетворюється на коректну помилку запуску. Потрібен systemd версії 240 або новішої. В Ubuntu 20.04 і новіших версіях, а також у Debian 12, він доступний, але Ubuntu 18.04, підтримка якого досі надається через Ubuntu Pro, постачається з systemd 237 і не підтримує це значення. Якщо воно доступне, надавайте йому перевагу передsimple.Type=forkingочікує, що процес ізExecStart=створить фоновий daemon, а потім завершить роботу. systemd очікує завершення батьківського процесу, а потім шукає фактичний daemon. ВкажітьPIDFile=. Без ньогоGuessMainPID=(увімкнений за замовчуванням) працює лише тоді, коли в cgroup залишається рівно один процес. Якщо залишити два процеси,MainPIDзалишається0.Type=notifyозначає, що сервіс викликаєsd_notify(3)і надсилаєREADY=1, коли готовий обслуговувати мережевий трафік. Він також може надсилатиMAINPID=, щоб передати systemd інший процес для відстеження. За умовиType=notifyNotifyAccess=встановлюється вmain, якщо не вибрати інше значення. Тому сповіщення, надіслане дочірнім процесом, ігнорується, а в журналі вказується PID процесу, від якого воно надійшло.Type=oneshotне має постійного головного процесу. Unit переходить у неактивний стан одразу після завершенняExecStart=, якщо не встановитиRemainAfterExit=yes. ЗначенняRestart=alwaysіRestart=on-successтут відхиляються з повідомленнямService has Restart= set to either always or on-success, which isn't allowed for Type=oneshot services. Refusing.. Інші значення, зокремаon-failure, приймаються.
Варто запам’ятати дві помилки Type=forking, оскільки кожна з них залишає unit у стані, який виглядає зламаним без видимої причини:
myapp.service: Can't open PID file /run/myapp.pid (yet?) after start: No such file or directory
myapp.service: New main PID 4711 does not belong to service, and PID file is not owned by root. Refusing.Перша означає, що daemon записує свій PID-файл в інше місце або робить це пізніше, ніж systemd перевіряє файл. Друга означає, що PID-файл вказує на процес за межами cgroup unit. systemd відмовляється переймати такий процес, оскільки файл PID із правом запису інакше можна було б використати, щоб змусити systemd надсилати сигнали будь-якому процесу на сервері.
Чому wrapper script приховує завершення дочірніх процесів
Ось схема, яка породжує запитання із заголовка.
#!/bin/bash
/usr/local/bin/myapp-web &
/usr/local/bin/myapp-worker &
waitUnit — це Type=simple, тому головний процес — shell. wait без аргументів повертається лише після завершення всіх дочірніх процесів. Завершіть worker, і shell продовжить чекати на web process. Тому shell не завершується, MainPID не завершується, а Restart= так і не перевіряється. Тепер cgroup містить на один процес менше, systemctl status виводить коротше дерево, а unit і далі має стан active (running). systemd не відстежує зміни в цьому дереві.
Другий варіант тієї самої помилки менш помітний:
ExecStart=/bin/sh -c 'export APP_ENV=production; /usr/local/bin/myapp'Головний процес — shell, а не myapp. Під час systemctl stop systemd надсилає SIGTERM головному процесу, але shell, який очікує на foreground child, не передає цей сигнал далі. Тоді зупинка триває всі TimeoutStopSec — за замовчуванням 90 секунд — і завершується так:
myapp.service: State 'stop-sigterm' timed out. Killing.
myapp.service: Killing process 4711 (myapp) with signal SIGKILL.Виправлення — exec. Додайте exec /usr/local/bin/myapp, і shell буде замінено програмою. Тоді MainPID — це програма, і сигнали надходять безпосередньо до неї. Ще краще — видаліть shell і використайте в unit Environment= або EnvironmentFile=. Зверніть увагу: ця помилка непомітна, коли рядок -c містить одну команду, оскільки bash і dash оптимізують такий випадок до прямого exec. Додайте до рядка другу команду — і shell залишиться запущеним перед вашою програмою.
Відтворіть проблему на тестовому VPS за дві хвилини
Збережіть наведений вище wrapper як /usr/local/bin/two-children.sh, зробіть його виконуваним за допомогою chmod +x і замініть два шляхи до програм на sleep 3600. Вкажіть цей wrapper в unit за допомогою Type=simple і Restart=on-failure, потім виконайте systemctl daemon-reload та запустіть unit. Виконайте systemd-cgls --unit two-children.service і зверніть увагу на три PID: shell і два його дочірні процеси. Завершіть один дочірній процес за допомогою sudo kill <pid>. Перевірте unit ще раз. Дерево стало на один процес коротшим, стан і далі active (running), а в журналі немає нових повідомлень. Тепер виконайте sudo kill -9 <shell pid>. Unit завершується помилкою, дочірній процес, що залишився, буде очищено, оскільки KillMode=control-group є значенням за замовчуванням, а в журналі з’явиться Scheduled restart job, restart counter is at 1.
Повний перелік значень Restart= і випадки, коли on-failure кращий за always
Restart= має одне із семи значень. Відмінність між ними визначає те, що вважається штатним завершенням. systemd вважає код виходу 0, усі коди, перелічені в SuccessExitStatus=, а також сигнали SIGHUP, SIGINT, SIGTERM і SIGPIPE штатним завершенням для всіх типів, крім Type=oneshot. Усі інші випадки, зокрема SIGKILL і SIGSEGV, вважаються аварійними.
no— значення за замовчуванням. Unit не перезапускає себе. Тому unit без рядкаRestart=завершується після першого збою і залишається зупиненим.on-successперезапускає unit лише після штатного завершення.on-failureперезапускає unit після ненульового коду виходу, аварійного сигналу, перевищення тайм-ауту запуску або зупинки чи завершення часу очікування watchdog.on-abnormalперезапускає unit після аварійного сигналу, перевищення тайм-ауту або завершення часу очікування watchdog, але не після звичайного ненульового коду виходу.on-abortперезапускає unit лише після аварійного сигналу, тобто після збою.on-watchdogперезапускає unit лише після завершення часу очікуванняWatchdogSec=.alwaysперезапускає unit після кожного з перелічених випадків, зокрема після штатного завершення зі статусом 0.
on-failure — правильне значення за замовчуванням для довготривалого daemon. Воно відновлює роботу після збою, але не запускає знову unit після навмисного exit 0. always підходить програмі, яка завершується штатно з причин, що від неї не залежать, наприклад клієнту тунелю, який повертає 0 після розриву з’єднання віддаленою стороною. Недолік always полягає в тому, що воно приховує помилки: сервіс, який запускається, читає пошкоджений конфігураційний файл, записує помилку в журнал і завершується з кодом 0, буде просто запущений знову. За стандартної затримки 100 мілісекунд він невдовзі досягає ліміту частоти запусків, описаного нижче, і завершується зі станом failed через start-limit-hit. Якщо встановити RestartSec=, достатньо довге для дотримання цього ліміту, unit зациклиться без кінця. Єдиною ознакою буде зростання лічильника перезапусків.
SuccessExitStatus= змінює межу між штатним і аварійним завершенням. Borg завершується з кодом 1 у разі попереджень і з кодом 2 у разі помилок. Тому backup unit без SuccessExitStatus=1 щоразу отримує стан failed, якщо пропускає один недоступний для читання файл. RestartPreventExitStatus= містить коди, які блокують перезапуск навіть за always. Це коректний спосіб повідомити програмі, що її не потрібно запускати знову. RestartForceExitStatus= робить протилежне. Backup job слід запускати в unit Type=oneshot, керованому timer, а не в циклі перезапусків. Для цього використовуйте пару service і timer, яка запускає job за розкладом.
Врахуйте це під час тестування. Завершення сервісу звичайною командою kill <pid> надсилає SIGTERM, який належить до списку штатних сигналів. Тому Restart=on-failure правильно нічого не робить, і ви можете помилково вирішити, що конфігурація несправна. Натомість використовуйте kill -9 <pid> або systemctl kill -s SIGKILL myapp.service. Також пам’ятайте, що жодне значення Restart= не спрацьовує після systemctl stop або коли unit зупинено через зникнення залежності BindsTo= чи PartOf=. Stop job не є помилкою.
RestartSec і стандартне значення 100 мілісекунд
RestartSec= — це пауза між зупиненням unit і його повторним запуском systemd; стандартне значення — 100 мілісекунд. Перевірте, яке значення фактично завантажив ваш unit:
systemctl show -p RestartUSec -p StartLimitIntervalUSec -p StartLimitBurst myapp.serviceЯкщо для unit це значення не задано, він виведе RestartUSec=100ms, якщо тільки хтось не змінив DefaultRestartSec= у /etc/systemd/system.conf. Саме звідти береться значення, яке не було задано. Це стандартне значення підходить для сервісу, який один раз аварійно завершується, а потім запускається знову. Воно неправильне для сервісу, який взагалі не може запуститися, оскільки перший запуск і чотири повторні спроби тоді завершуються значно менше ніж за секунду, якщо програма завершується одразу. У результаті вичерпуються п’ять запусків, дозволених описаним далі обмеженням частоти. Для сервісу, який очікує на базу даних, змонтований диск або мережевий маршрут, задайте RestartSec=5s або більше.
Станом на жовтень 2026 року systemd 254 і новіші версії також підтримують RestartSteps= і RestartMaxDelaySec=. Вони збільшують затримку від RestartSec= до граничного значення протягом такої кількості спроб. Ubuntu 24.04 постачається із systemd 255 і підтримує ці параметри. Debian 12 постачається із systemd 252 і не підтримує їх, хоча bookworm-backports містить systemd 254. Збільшення затримки — правильне рішення, коли залежність може бути недоступною тривалий час.
Що насправді означає «start request repeated too quickly»
Це стан, через який користувачам здається, що systemd довільно припиняє спроби запуску. Насправді це лічильник. Правило таке: якщо unit запускається більше ніж StartLimitBurst= разів протягом StartLimitIntervalSec=, systemd відмовляється запускати його знову та переводить його у стан failed. Значення за замовчуванням — 5 запусків за 10 секунд.
У журналі відображається така послідовність:
myapp.service: Scheduled restart job, restart counter is at 5.
myapp.service: Start request repeated too quickly.
myapp.service: Failed with result 'start-limit-hit'.
Failed to start myapp.service - My application.а systemctl start вже містить готове виправлення:
Job for myapp.service failed because start of the service was attempted too often. See "systemctl status myapp.service" and "journalctl -xeu myapp.service" for details. To force a start use "systemctl reset-failed myapp.service" followed by "systemctl start myapp.service" again.systemctl reset-failed myapp.service скидає лічильник і стан failed. Без цього звичайний systemctl start і надалі відхилятиметься, доки не мине інтервал StartLimitIntervalSec=, а автоматичні перезапуски залишатимуться вимкненими, доки щось знову не запустить unit. Ручні запуски також враховуються в ліміті, тому кілька нетерплячих запусків systemctl restart під час редагування конфігураційного файлу можуть перевищити ліміт, навіть якщо жодного збою не сталося.
Ось що вводить в оману: start-limit-hit ніколи не повідомляє, чому сервіс не запускався. Воно лише вказує, що запуск неодноразово завершувався помилкою за короткий час. Справжня причина міститься в попередніх рядках журналу.
Обидва параметри потрібно задавати в секції [Unit]. Ви можете знайти приклади, де їх указано в [Service]. Старіші версії systemd це приймали, і саме звідси виникає плутанина. Записуйте їх у [Unit], а потім перевірте, які значення systemd завантажив, за допомогою systemctl show, оскільки враховуються лише завантажені значення.
[Unit]
Description=My application
StartLimitIntervalSec=300
StartLimitBurst=5
[Service]
Type=exec
ExecStart=/usr/local/bin/myapp
Restart=on-failure
RestartSec=10sЦе дозволяє unit виконати п’ять спроб протягом п’ятихвилинного інтервалу, перш ніж systemd припинить спроби. StartLimitIntervalSec=0 повністю вимикає ліміт. Потрібно розуміти наслідки: сервіс, який не може запуститися, повторюватиме спроби без кінця й щоразу записуватиме повідомлення в журнал. Загальносистемні значення за замовчуванням зберігаються в /etc/systemd/system.conf як DefaultStartLimitIntervalSec= і DefaultStartLimitBurst=.
Окремо зверніть увагу на сусідній параметр. StartLimitAction= визначає, що відбувається після досягнення ліміту, і приймає, зокрема, значення reboot, reboot-force і poweroff. Значення за замовчуванням — none: unit переходить у стан failed, а система не виконує жодних інших дій. На віддаленому VPS poweroff означає, що сервер залишиться вимкненим, доки ви не відкриєте консоль провайдера.
Виправлення 1: один процес на unit
У більшості випадків це правильне рішення. Якщо потрібно запускати дві програми, створіть два unit-файли. Кожен із них матиме власний основний процес, фактичний код завершення та окрему політику перезапуску. Ви також отримаєте окремі журнали, ліміти ресурсів і лічильники перезапусків. Саме це потрібно, коли проблема виникає о третій годині ночі.
Описуйте зв’язок між unit-файлами в самих unit-файлах, а не в shell-скрипті.
After=визначає лише порядок запуску. Ця директива нічого не повідомляє про збої.Requires=запускає інший unit одночасно з цим і зупиняє цей unit, якщо інший зупинено явно.BindsTo=— цеRequires=плюс потрібна вам поведінка: цей unit зупиняється, коли інший зупиняється з будь-якої причини, зокрема через аварійне завершення. Додайте такожAfter=, інакше порядок запуску не визначений.PartOf=поширює зупинку та перезапуск на залежні unit-файли, томуsystemctl restart myapp.targetдосягає кожного unit-файлу, який є для ньогоPartOf=.Upholds=(у systemd 249 і новіших версіях, тобто в Ubuntu 22.04 і новіших) підтримує вказаний unit у запущеному стані: якщо він зупиняється, systemd запускає його знову. На нього поширюється той самий ліміт частоти запуску, що й на всі інші unit-файли.
Worker, який не повинен працювати без свого API-сервера і який systemd підтримує запущеним, доки працює API:
# /etc/systemd/system/myapp-api.service
[Unit]
Description=myapp API server
Wants=network-online.target
After=network-online.target
Upholds=myapp-worker.service
[Service]
Type=exec
User=myapp
ExecStart=/usr/local/bin/myapp serve
Restart=on-failure
RestartSec=5s
[Install]
WantedBy=multi-user.target# /etc/systemd/system/myapp-worker.service
[Unit]
Description=myapp background worker
BindsTo=myapp-api.service
After=myapp-api.service
StartLimitIntervalSec=120
StartLimitBurst=5
[Service]
Type=exec
User=myapp
ExecStart=/usr/local/bin/myapp worker
Restart=on-failure
RestartSec=5sWorker не має секції [Install], і його ніколи не вмикають вручну. API unit підтягує його через Upholds=, тому systemctl enable --now myapp-api.service — єдина команда, яку потрібно виконати. Перезавантажте конфігурацію та перевірте, що systemd зробив із цією парою:
sudo systemctl daemon-reload
systemd-analyze verify /etc/systemd/system/myapp-worker.service
systemctl list-dependencies myapp-api.servicesystemd-analyze verify нічого не виводить, якщо файл коректний. Будь-який вивід означає проблему. Зазвичай це ключ systemd не розпізнає в секції, де його вказано, або залежність від unit-файлу, якого не існує.
Виправлення 2: Type=notify, щоб systemd знав більше, ніж лише PID
Якщо програма підтримує протокол сповіщень systemd, використовуйте його. За допомогою Type=notify сервіс повідомляє systemd, коли він готовий. Це забезпечує фактичний порядок запуску замість припущень. Також сервіс може надсилати MAINPID=, щоб указати systemd на потрібний процес, а не на процес запуску.
WatchdogSec= — це частина, заради якої варто докласти зусиль. Після його налаштування сервіс має надсилати WATCHDOG=1 через sd_notify(3) щонайменше з такою періодичністю. Коли повідомлення припиняють надходити, systemd завершує сервіс сигналом SIGABRT і позначає його як невдалий. Тому Restart=on-failure або Restart=on-watchdog запускає його знову. Це єдиний вбудований спосіб перезапустити процес, який працює, але завис. Політика перезапуску за кодом завершення не може виявити такий стан.
[Service]
Type=notify
NotifyAccess=main
ExecStart=/usr/local/bin/myapp serve
WatchdogSec=30s
Restart=on-failure
RestartSec=5sСпрацювання watchdog з’являється в журналі як myapp.service: Watchdog timeout (limit 30s)!, після чого systemd завершує процес. Якщо натомість unit залишається у стані activating (start), доки не спливає TimeoutStartSec, повідомлення READY=1 не надійшло або не було враховане. Або програма не підтримує цей протокол, або NotifyAccess=main відхиляє сповіщення, яке надійшло від дочірнього процесу. У журналі в такому разі зазначаються обидва PID. Інший варіант: допоміжний процес надіслав повідомлення та завершився до того, як systemd зміг визначити, до якого unit воно належало. Навіть за використання NotifyAccess=all це повідомлення ігнорується. Виправлення потрібно внести в програму: вона має викликати sd_notify_barrier() до завершення допоміжного процесу.
Для програм, які надають HTTP endpoint перевірки стану, але не підтримують sd_notify, є два коректні варіанти: створити невеликий timer unit, який перевіряє endpoint і викликає systemctl restart, або доручити перевірку середовищу виконання контейнерів. Саме для цього призначені перевірки стану в Compose та їхня поведінка під час перезапуску.
Виправлення 3: супервізор усередині unit, лише якщо іншого вибору немає
Деяке програмне забезпечення справді постачається як набір процесів, якими керує launcher, що його неможливо розділити. У такому разі запустіть супервізор усередині unit і прийміть наслідок: systemd стежить за супервізором, супервізор — за всіма іншими процесами, а політика перезапуску тепер зберігається у двох файлах.
Типовий приклад — container runtime. Unit docker compose або podman є саме таким варіантом: політика перезапуску окремих контейнерів задається у Compose-файлі, а unit systemd лише підтримує роботу runtime. Якщо у вас така схема, у статті описано unit, який запускає Compose stack під час завантаження системи робочий варіант, зокрема пояснено, чому Type=oneshot разом із RemainAfterExit=yes зазвичай є правильним вибором.
cgroup і далі працює на вашу користь. Усе, що запускає супервізор, залишається в cgroup цього unit, тому MemoryMax=, CPUQuota= і очищення під час зупинки й надалі охоплюють усе дерево процесів. Делеговано лише рішення про перезапуск.
Незалежно від вибраного супервізора, не встановлюйте Restart=always для зовнішнього unit і агресивну політику перезапуску всередині нього без попереднього аналізу. Два рівні логіки перезапуску з власними затримками призводять до того, що сервіс кілька хвилин безперервно перезапускається, а журнал не пояснює причину.
ExitType=cgroup не означає «перезапускати, коли завершується будь-який процес»
ExitType= (у systemd 250 і новіших версіях, тому він є і в Ubuntu 24.04, і в Debian 12) — це параметр, який знаходять під час пошуку розв’язання цієї проблеми. Він працює протилежно до того, що можна припустити з його назви. Значення за замовчуванням, ExitType=main, означає, що сервіс вважається зупиненим після завершення головного процесу. Значення ExitType=cgroup означає, що сервіс вважається запущеним, доки не завершиться останній процес у cgroup.
Отже, ExitType=cgroup зменшує чутливість unit до завершення одного процесу, а не збільшує її. Це правильний параметр для програми, яка створює окремий worker-процес, завершує батьківський процес і не записує PID-файл, через що Type=forking не може знайти daemon. Для описаного тут випадку це неправильний параметр.
Значення Restart=, яке означало б «перезапускати unit, коли завершується будь-який процес у cgroup», не існує. Якщо потрібна така поведінка, кожен процес має працювати в окремому unit. Якщо розділити програму неможливо, але ви керуєте wrapper script, найближчий варіант — wait -n. Він повертає керування одразу після завершення першого дочірнього процесу:
#!/bin/bash
/usr/local/bin/myapp-web &
/usr/local/bin/myapp-worker &
wait -n
exit 1Тепер завершення будь-якого дочірнього процесу завершує wrapper із ненульовим статусом, тому спрацьовує Restart=on-failure. Це компроміс, а не виправлення. Ви й далі матимете один лічильник перезапусків для двох програм, один потік журналу та не зможете перезапустити несправну частину окремо.
Як перевірити, що сталося насправді
Чотири команди в такому порядку.
systemctl status myapp.service
systemd-cgls --unit myapp.service
systemctl show -p MainPID -p NRestarts -p Result -p ExecMainStatus myapp.service
journalctl -u myapp.service -b -o short-precisesystemctl status показує стан, основний PID і дерево cgroup на одному екрані. Справний unit має стан Active: active (running) і рядок Main PID: із назвою очікуваного процесу. Якщо внизу дерева є незнайомі процеси або немає процесу, який має бути присутнім, відповідь уже знайдено.
systemd-cgls --unit виводить те саме дерево без обрізання. Це важливо, коли unit керує більше ніж кількома процесами.
systemctl show виводить факти у форматі, придатному для обробки програмами. NRestarts= — це лічильник перезапусків. Це найшвидший спосіб відрізнити сервіс, який перезапускався сорок разів, від сервісу, що працює від моменту завантаження системи. Result= містить причину останньої помилки: exit-code, signal, timeout, oom-kill, watchdog або start-limit-hit. ExecMainStatus= — це необроблений статус завершення останнього основного процесу.
У журналі зберігається послідовність подій. Знайдіть у ньому ці три рядки:
myapp.service: Main process exited, code=exited, status=1/FAILURE
myapp.service: Failed with result 'exit-code'.
myapp.service: Scheduled restart job, restart counter is at 1.code=exited, status=N означає, що програма сама повернула N, тому проблема в програмі або її конфігурації. code=killed, signal=SEGV означає, що програма аварійно завершилася. code=killed, signal=TERM зазвичай означає, що інший процес попросив її зупинитися. Це не є помилкою і не запускає Restart=on-failure. code=dumped означає, що програма залишила core-файл. coredumpctl list покаже його, якщо встановлено systemd-coredump.
Якщо йдеться про кілька машин, NRestarts — це показник, який варто збирати за розкладом. Якщо лічильник unit зростає щодня, unit щодня завершується з помилкою, навіть якщо цього ніхто не помітив. Коли машин уже більше двох або трьох, уніфікований спосіб виконати одну команду на кожному сервері перетворює припущення на звіт.
FAQ
Чому systemctl повідомляє, що мій сервіс активний, хоча процес завершився?
systemd відстежує один процес для кожного service unit — головний процес, а Restart= читає лише статус завершення цього процесу. Усі інші процеси, запущені unit, перебувають у тій самій cgroup. systemd завершить їх, коли unit зупиниться, але не відстежує їхнє завершення. Виконайте systemctl show -p MainPID myapp.service і порівняйте номер із systemd-cgls --unit myapp.service. Якщо завершений процес є в дереві, але не є MainPID, systemd працює саме за задумом. Потрібно запускати один процес на unit, а зв’язок між unit слід задати за допомогою BindsTo= і Upholds=.
Що означає повідомлення "start request repeated too quickly"?
Це означає, що unit запускали понад StartLimitBurst= разів протягом StartLimitIntervalSec=. Типове значення — 5 запусків за 10 секунд, після чого systemd припиняє спроби. Це лише обмеження частоти. Воно не пояснює, чому сервіс не запускається, тому перегляньте рядки журналу вище. Скиньте цей стан за допомогою systemctl reset-failed myapp.service, а потім виправте основну причину збою. Якщо сервіс очікує повільну залежність, збільште RestartSec=, оскільки типовий інтервал 100 мілісекунд вичерпує всі п’ять спроб менш ніж за секунду.
Чи слід використовувати Restart=always або Restart=on-failure?
Майже завжди використовуйте on-failure. Цей параметр перезапускає сервіс після аварійного завершення, ненульового коду завершення, тайм-ауту або спрацювання watchdog, але не реагує на навмисний exit 0. Використовуйте always лише тоді, коли програма завершується успішно через причини, які не залежать від неї, наприклад коли клієнт повертає 0 після розриву з’єднання з вузлом-партнером. Недолік always полягає в тому, що сервіс, який читає пошкоджену конфігурацію, записує одну помилку та завершується з кодом 0, запускатиметься знову й знову. За типового інтервалу він невдовзі завершиться з помилкою start-limit-hit, а за довшого RestartSec= може зациклитися назавжди. Єдиною видимою ознакою буде зростання NRestarts у systemctl show.
Чому ручне завершення мого процесу не запускає перезапуск?
Тому що для всіх типів, крім Type=oneshot, systemd вважає SIGHUP, SIGINT, SIGTERM і SIGPIPE штатним завершенням, а звичайний kill <pid> надсилає SIGTERM. За Restart=on-failure штатне завершення не є збоєм, тому перезапуск не відбувається. Через це може здаватися, що конфігурація не працює, хоча вона правильна. Перевірте це за допомогою kill -9 <pid> або systemctl kill -s SIGKILL myapp.service — це аварійне завершення, яке активує цю політику. Це саме правило пояснює, чому systemctl stop ніколи не суперечить вашій політиці перезапуску.
Де потрібно вказувати StartLimitIntervalSec і StartLimitBurst?
У секції [Unit]. У старих матеріалах і старих версіях systemd їх вказували в [Service], тому приклади, скопійовані з різних джерел, можуть відрізнятися. Не визначайте навмання, який варіант підтримує ваша версія. Після systemctl daemon-reload запитайте systemd, які параметри він завантажив, за допомогою systemctl show -p StartLimitBurst -p StartLimitIntervalUSec myapp.service, і вважайте ці значення фактичними. systemd-analyze verify /etc/systemd/system/myapp.service знаходить ключі, які systemd взагалі не розпізнає, і не виводить нічого, якщо файл не містить помилок.