Giữ command chạy sau khi SSH bị ngắt kết nối
SSH ngắt là job chết vì SIGHUP. Biết khi nào dùng nohup, disown, tmux hoặc systemd-run để giữ command chạy và chọn đúng cách cho từng job.
Vì sao command của bạn dừng khi SSH bị ngắt kết nối
Để command tiếp tục chạy sau khi SSH bị ngắt kết nối, cuối cùng command phải nằm ở nơi mà hangup signal không thể truyền tới. Mỗi phương pháp dưới đây sắp xếp việc này theo một cách khác nhau, vì vậy hãy bắt đầu từ cơ chế.
Phiên đăng nhập của bạn chạy trên một pty (pseudo-terminal), tức thiết bị terminal ảo mà sshd tạo trên server cho phiên của bạn. Đây là controlling terminal của shell và của mọi command bạn chạy từ shell đó. Nếu muốn xem đầy đủ chuỗi hoạt động này, SSH thiết lập những gì khi bạn đăng nhập sẽ giải thích. Khi kết nối TCP bị ngắt, sshd đóng đầu kết nối của nó và pty bị hủy. Kernel xem đó là terminal bị hangup, nên gửi SIGHUP đến foreground process group của terminal đó và đến session leader, chính là shell của bạn. Hành động mặc định của SIGHUP là kết thúc process. Command của bạn nằm trong foreground process group, nên command bị dừng.
Background job cũng không an toàn. Job được khởi động bằng & nằm trong process group riêng, nên kernel không gửi signal trực tiếp cho job đó. Bash sẽ làm việc này. Khi nhận SIGHUP, interactive bash gửi lại SIGHUP cho mọi job trong bảng của nó trước khi thoát. Từ phía bạn, kết quả trông không khác: job biến mất và log file dừng giữa chừng.
Có một điểm bất đối xứng khiến nhiều người nhầm lẫn. Gõ exit không hangup các background job, vì bash chỉ làm vậy khi option huponexit được bật, trong khi option này mặc định đang tắt. Kết nối bị rớt thì lại hangup chúng. Job vẫn sống sau khi bạn đóng terminal một cách đúng quy trình vẫn có thể chết khi wifi bị ngắt.
Từ đó có 2 hệ quả, và đây là toàn bộ vấn đề. Process bỏ qua SIGHUP, hoặc process không có controlling terminal, sẽ không bị hangup. Ngoài ra, nếu standard output của process vẫn trỏ đến pty đã bị hủy thì process không còn nơi để ghi: thao tác ghi thất bại với EIO (lỗi input/output), và hầu hết chương trình sẽ thoát tại thời điểm đó. Bạn phải xử lý cả 2 phần. Nhiều hướng dẫn chỉ xử lý phần đầu, nên người dùng mới báo rằng "nohup không hoạt động".
Nếu kết nối của bạn bị rớt vài lần mỗi ngày, hãy xử lý cả vấn đề đó. ServerAliveInterval 60 trong ~/.ssh/config ngăn một NAT (network address translation) nào đó trên đường truyền loại bỏ session không hoạt động do timeout. Session hoàn toàn không mở được là một lỗi khác với các nguyên nhân khác; khi đó sự khác nhau giữa connection refused và connection timed out rất quan trọng.
Phương pháp nào giữ cho command tiếp tục chạy sau khi SSH bị ngắt?
Có 4 lựa chọn, được sắp xếp theo mức độ quan trọng của công việc.
nohuphoặcsetsid: tác vụ chạy một lần mà bạn khởi động ngay rồi đọc log sau đó. Bạn tự redirect output.disown: tác vụ đã chạy nhưng bạn quên bảo vệ trước. Nó cứu process. Nó không thể khôi phục output cho bạn.tmuxhoặcscreen: công việc cần theo dõi, ngắt và quay lại trong nhiều ngày.systemd-runhoặc một unit file thực sự: mọi thứ phải tiếp tục tồn tại sau khi bạn đăng xuất, chẳng hạn mộtrsynckéo dài 6 giờ hoặc một lần import database qua đêm.
Quy tắc cần nhớ: nếu việc quên tác vụ sẽ gây ra vấn đề, tác vụ đó thuộc về systemd, không phải tmux. Một tmux window cần có người nhớ đến nó. Một unit có tên, status, log và restart policy để người tiếp theo có thể tự tìm thấy mà không cần ai hướng dẫn.
nohup và setsid: khởi chạy rồi rời đi
nohup ./import.sh > ~/import.log 2>&1 &
echo $! > ~/import.pidnohup đặt disposition của SIGHUP thành bỏ qua rồi chạy command của bạn. Vì vậy, khi kernel gửi hangup, tiến trình sẽ bỏ qua tín hiệu này. Bạn tự viết phần redirect. Nếu để standard output vẫn trỏ đến terminal, nohup sẽ tự redirect output vào nohup.out trong thư mục hiện tại, nếu không được thì dùng $HOME/nohup.out, rồi in:
nohup: ignoring input and appending output to 'nohup.out'Rất dễ mất dấu file này, nên hãy tự đặt tên cho nó. $! chứa PID (process identifier) của background job gần nhất. Lưu PID này để bạn có thể kiểm tra job sau khi đăng nhập lại.
setsid xử lý cùng vấn đề từ hướng ngược lại. Nó chạy command trong một session mới không có controlling terminal. Vì vậy không có terminal nào có thể gửi hangup đến process.
setsid --fork ./import.sh > ~/import.log 2>&1Hãy dùng --fork. Nếu không có tùy chọn này, setsid sẽ gọi setsid() ngay tại chỗ khi process chưa phải process group leader. Trường hợp này xảy ra bên trong shell script và script sẽ bị chặn tại đó. Với --fork, hành vi trong script và tại prompt là như nhau.
Kiểm tra kết quả thực tế:
ps -o pid,ppid,sid,tty,stat,cmd -p "$(cat ~/import.pid)"Cột TTY của ? cho biết process không có controlling terminal. Vì vậy không có gì có thể gửi hangup đến process. Với nohup, cột TTY vẫn hiển thị giá trị như pts/0 trong khi bạn còn kết nối và chuyển thành ? khi pty bị hủy. Cả hai kết quả đều bình thường. Job vẫn chạy.
disown: cứu một job đã khởi động
Bạn đã khởi động một job chạy foreground trong 2 giờ rồi mới nhớ ra vấn đề này. Không được kill job đó rồi khởi động lại.
# press Ctrl-Z to suspend the job first
bg
jobs -l
disown -h %1Ctrl-Z suspend job, bg tiếp tục chạy job ở background, còn jobs -l in số job bên cạnh PID của job. disown -h %1 đánh dấu job đó để bash không gửi SIGHUP cho job. Lệnh đơn giản disown %1 xóa hoàn toàn job khỏi bảng của bash. Cách này cũng có cùng hiệu lực khi hangup, nhưng sau đó jobs không còn liệt kê job đó nữa.
Điều disown không làm được là chuyển output. Process vẫn giữ pty làm standard output. Khi pty biến mất, lần ghi tiếp theo sẽ trả về EIO. Vì vậy, disown đáng tin cậy khi cứu một job không ghi output nhiều, chẳng hạn một lần compile ghi kết quả vào file, nhưng thường làm mất một job ghi output liên tục. Job có thể vẫn chạy nhưng không còn nơi để in output, hoặc chết ở dòng output tiếp theo.
Có một công cụ cứu các file descriptor. reptyr chuyển một process đang chạy sang terminal hiện tại của bạn: cài đặt bằng sudo apt install -y reptyr, rồi chạy reptyr <pid> từ bên trong một cửa sổ tmux. Công cụ này hoạt động thông qua ptrace. Ubuntu cung cấp kernel.yama.ptrace_scope = 1, cho phép tracing chỉ các process con của chính bạn, nên process mà bạn thừa hưởng cần sudo reptyr <pid>. Hãy xem đây là công cụ khẩn cấp. Không nên dùng nó làm quy trình thường lệ.
tmux: công việc cần theo dõi và quay lại sau
tmux (terminal multiplexer) giải quyết vấn đề ở một lớp khác. Thay vì bảo vệ process khỏi pty, nó cấp cho process một pty không thuộc SSH session của bạn. tmux server chạy bên ngoài session đó và sở hữu các terminal của mọi thứ bên trong. SSH connection của bạn chỉ là một viewer attach vào đó. Khi connection bị ngắt, server không nhận biết việc này.
sudo apt update && sudo apt install -y tmux
tmux new -s importChạy job trong window đó, rồi nhấn Ctrl-b và tiếp theo là d để detach. Sau đó đăng nhập lại và tiếp tục công việc:
tmux ls
tmux attach -t importtmux ls phải in ra một dòng bắt đầu bằng import: 1 windows. Nếu in ra no server running on /tmp/tmux-1000/default, không có session để attach vì session chưa từng được tạo hoặc có process nào đó đã kill server.
screen thực hiện cùng chức năng bằng một phím tắt khác. screen -S import tạo session, sau đó Ctrl-a rồi d để detach khỏi session. screen -ls liệt kê những session đang tồn tại và screen -r import attach lại một session. Dùng công cụ nào cũng được. Phím detach là phần mọi người thường quên.
Multiplexer cũng là nơi phù hợp để chạy các công việc tương tác cần tiếp tục sau khi tín hiệu kết nối bị mất. Vì vậy, chạy Claude Code trên VPS bên trong tmux là cách thiết lập thông thường. Đây cũng là điều giúp điều khiển server session từ điện thoại có thể sử dụng được trên mạng di động thường reconnect sau mỗi vài phút.
systemd-run: giao job cho PID 1
Với job hoàn toàn không được phụ thuộc vào bạn, hãy giao nó cho init system.
sudo systemd-run --unit=bigsync --collect /usr/bin/rsync -aH --stats /srv/data/ /mnt/backup/Lệnh này tạo một service unit tạm thời có tên bigsync.service. Unit có cgroup riêng, không có controlling terminal và không liên quan đến phiên đăng nhập của bạn. Lệnh trả về ngay và in ra Running as unit: bigsync.service. Dùng một trong hai cách sau để theo dõi:
systemctl status bigsync
journalctl -u bigsync -f--collect yêu cầu systemd xóa unit sau khi unit kết thúc, kể cả khi job bị lỗi. Nếu không có tùy chọn này, transient unit bị lỗi vẫn được load và tên unit vẫn bị giữ. Vì vậy, lần chạy tiếp theo sẽ lỗi với thông báo unit đã tồn tại. Output được ghi vào journal, mỗi dòng có timestamp. Các journal entry chỉ tồn tại sau khi reboot nếu có /var/log/journal. Vì vậy, hãy chạy sudo mkdir -p /var/log/journal rồi restart systemd-journald nếu muốn giữ chúng.
Khi là user bình thường, gọi systemd-run mà không có sudo sẽ yêu cầu polkit cấp quyền và in ra ==== AUTHENTICATING FOR org.freedesktop.systemd1.manage-units ===. Dùng sudo cho system unit.
Bạn cũng có thể chạy job dưới user manager của chính mình:
systemd-run --user --unit=bigsync --collect /usr/bin/rsync -aH /srv/data/ /mnt/backup/Cách này có một điểm dễ mắc lỗi. User manager của bạn, user@1000.service, thường dừng khi session cuối cùng kết thúc và dừng theo mọi user unit. Hãy bật lingering một lần:
loginctl enable-linger "$USER"
loginctl show-user "$USER" --property=LingerLệnh thứ hai phải in ra Linger=yes. Khi đã bật lingering, user manager của bạn sẽ khởi động cùng hệ thống và tiếp tục chạy dù bạn có đăng nhập hay không. Nếu không bật, systemd-run --user không mang lại lợi ích gì so với nohup.
systemd-run --scope là một cơ chế khác. Nó chạy command ở foreground và gắn với terminal của bạn, nên tự nó không giải quyết được trường hợp này.
Với mọi job sẽ chạy nhiều hơn một lần, hãy ghi unit ra file thay vì nhập một transient unit mỗi lần.
Unit cố định cho job sẽ chạy lại
User=deploy bên dưới là user chạy job. Điền login name của bạn vào đó hoặc tạo một service user riêng cho job:
sudo useradd --system --shell /usr/sbin/nologin deploy[Unit]
Description=Nightly data sync
Wants=network-online.target
After=network-online.target
[Service]
Type=oneshot
User=deploy
WorkingDirectory=/srv/data
ExecStart=/usr/local/bin/nightly-sync.shLưu nội dung đó thành /etc/systemd/system/nightly-sync.service, chạy sudo systemctl daemon-reload, sau đó start bằng sudo systemctl start nightly-sync và đọc lại bằng journalctl -u nightly-sync. Thêm file .timer tương ứng khi job cần chạy theo schedule thay vì chạy on demand.
Viết systemd service unit và timer của nó trình bày đầy đủ format file và cú pháp schedule.
Lệnh xuất đi đâu và vì sao nó biến mất
Thứ tự redirect rất quan trọng. > file 2>&1 chuyển standard output vào file, sau đó chuyển standard error đến cùng vị trí đó. 2>&1 > file làm ngược lại: standard error vẫn tiếp tục đi đến terminal, còn terminal lại là thứ sắp biến mất. Bash cũng hỗ trợ &> file để chuyển cả hai stream cùng lúc.
Điểm bất ngờ thứ hai là cơ chế buffering. Khi standard output là terminal, C library flush sau mỗi dòng. Khi standard output là file, nó chuyển sang block buffer vài kilobyte. Vì vậy tail -f ~/import.log có thể không hiển thị gì trong vài phút và khiến job trông như đã chết. Dùng stdbuf -oL ./import.sh > ~/import.log 2>&1 để buộc line buffering. Cách này hoạt động với các chương trình ghi qua standard stream của C library và không tự quản lý buffering riêng, nhưng không hoạt động với các chương trình như dd hoặc tee. Nếu không, hãy dùng switch riêng của chương trình, chẳng hạn python3 -u hoặc grep --line-buffered.
Tránh mẫu sau:
nohup ./import.sh 2>&1 | tee ~/import.log &nohup chỉ bảo vệ import.sh, không bảo vệ thành phần nào khác. tee là một process riêng trong cùng pipeline và vẫn chết khi nhận hangup. Sau đó import.sh ghi vào pipe không còn reader, nên nó nhận SIGPIPE rồi dừng. Hãy đặt toàn bộ pipeline bên trong setsid bash -c '...', hoặc ghi thẳng vào file rồi chạy tail -f trên file đó khi bạn kết nối lại.
Còn một chi tiết riêng với rsync. --info=progress2 ghi ra một stream gồm các carriage return. Cách này hiển thị đúng trên terminal nhưng trở thành một dòng khổng lồ trong log file. Journal chỉ tách record tại newline, nên cùng output đó sẽ đến đây dưới dạng một chuỗi gồm các fragment 48K (giá trị mặc định của LineMax=). Với một lần chạy không cần giám sát, hãy bỏ nó và dùng --stats thay thế.
Vì sao một job chạy được trong shell lại lỗi khi chạy dưới systemd hoặc cron
Shell đăng nhập SSH đọc /etc/profile, sau đó đọc mục đầu tiên trong ~/.bash_profile, ~/.bash_login và ~/.profile mà nó tìm thấy. Shell tương tác không đăng nhập đọc ~/.bashrc. Vì vậy shell có PATH, các shim của version manager và những biến đã export. systemd không đọc bất kỳ file nào trong số đó. Cron cũng không đọc chúng: trên Debian và Ubuntu, cron chạy job với SHELL=/bin/sh và PATH=/usr/bin:/bin.
Triệu chứng dưới systemd là systemctl status báo (code=exited, status=203/EXEC). Điều đó có nghĩa systemd không thể thực thi file ngay từ đầu vì path bị sai hoặc file chưa được đánh dấu là executable. Với cron, lỗi thường là command not found, được gửi qua local mail, hoặc hoàn toàn không được gửi đi nếu chưa cài mail system.
Hãy xác minh environment trước khi mất cả giờ để đoán:
sudo systemd-run --collect --wait --unit=envtest /usr/bin/env
journalctl -u envtest --no-pagerLệnh này in chính xác environment mà job của bạn sẽ chạy với nó. Sau đó hãy xử lý phần khác biệt. Dùng absolute path cho mọi thứ do bạn quản lý, vì systemd phân giải rsync trần dựa trên danh sách system path cố định và không bao giờ dựa trên PATH của shell. Truyền các biến cần thiết bằng -p Environment="KEY=value" trên command line hoặc bằng EnvironmentFile=/etc/default/myjob trong unit file. Khi job thực sự cần login environment của bạn, hãy chạy nó bằng /bin/bash -lc 'my-command' và chấp nhận rằng job lúc này phụ thuộc vào dotfile của bạn.
Điều gì vẫn có thể làm chết một job chạy detached
- Reboot. tmux không duy trì gì qua reboot, vì server chỉ là một process thông thường và các session là state nằm trong memory của nó. Kernel update thường yêu cầu reboot, nên một job không thể restart dễ dàng nên chạy trong một unit mà bạn có thể
systemctl enable. - OOM killer.
dmesg -T | grep -i 'killed process'hiển thị sự việc này, bao gồm cả tên process mà nó đã chọn. Một lần import lớn trên VPS nhỏ thường là mục tiêu của OOM killer. - logind cleanup. Nếu
/etc/systemd/logind.confđặtKillUserProcesses=yes, các process còn lại trong scope của login session sẽ bị kill khi bạn logout khỏi session đó. Điều này cũng áp dụng cho tmux server được khởi chạy từ session đó. Kiểm tra setting hiện tại bằngloginctl show-session --property=KillUserProcesses. Chỉ bật lingering là chưa đủ để miễn cơ chế này. Khởi chạy tmux bên ngoài session scope bằngsystemd-run --scope --user tmux new -s importvà tiếp tục bật lingering bằngloginctl enable-linger "$USER", hoặc nhờ administrator thêm user của bạn vàoKillExcludeUsers=. - Full disk. Job dừng vì log mà bạn redirect đã làm đầy filesystem, không phải vì bạn đã logout. Chạy
df -htrước khi đổ lỗi cho signal.
Khởi chạy job qua SSH mà không duy trì kết nối
ssh vps 'sudo systemd-run --unit=import --collect /usr/local/bin/import.sh'systemd-run trả về ngay sau khi unit khởi động, vì vậy lệnh ssh cũng trả về và job không còn liên kết với session đã khởi chạy nó. Đây là cách sạch nhất.
Phiên bản nohup cần xử lý cẩn thận hơn:
ssh vps 'nohup ./import.sh > ~/import.log 2>&1 < /dev/null &'Nếu không có các redirection, lệnh này có vẻ bị treo. sshd giữ channel mở khi bất kỳ process nào vẫn còn giữ standard output hoặc standard error của remote command, và job chạy nền kế thừa cả hai. Chỉ dùng nohup không khắc phục được vấn đề, vì nohup chỉ redirect output khi output đó là terminal, còn ở đây output là pipe quay về client của bạn. Thêm < /dev/null sẽ đóng cả phía input. ssh -n thực hiện việc tương tự ở phía client.
FAQ
Tại sao command của tôi dừng khi kết nối SSH bị ngắt?
pty (pseudo-terminal) mà session của bạn đang sử dụng bị hủy, và kernel gửi SIGHUP đến foreground process group trên terminal đó. Hành động mặc định của SIGHUP là kết thúc process. Background job cũng bị ảnh hưởng vì bash gửi lại SIGHUP cho mọi job trong bảng của nó trước khi thoát. Command bỏ qua SIGHUP, chẳng hạn command được chạy bằng nohup, hoặc command chưa từng dùng chung session của bạn, chẳng hạn systemd unit, sẽ không bị ảnh hưởng.
Dùng tmux hay systemd-run tốt hơn cho một lần rsync kéo dài sáu giờ?
systemd-run. tmux session phụ thuộc vào server process do bạn khởi động, nên nó kết thúc sau lần reboot tiếp theo. Session cũng không hiển thị với người không biết chạy tmux ls. Chạy sudo systemd-run --unit=bigsync --collect /usr/bin/rsync -aH --stats /srv/data/ /mnt/backup/ cung cấp systemctl status bigsync cho state và journalctl -u bigsync cho output. Administrator tiếp theo có thể tìm thấy cả hai mà không cần được hướng dẫn. Dùng tmux cho công việc cần theo dõi màn hình và nhập lệnh vào đó.
Làm cách nào để xem output của một job mà tôi quên redirect?
Thông thường bạn không thể xem, vì output đó đã được ghi vào một terminal không còn tồn tại. Khi process vẫn đang chạy, bạn có thể kiểm tra các file đang mở bằng sudo ls -l /proc/<pid>/fd hoặc theo dõi system call bằng sudo strace -p <pid>, nhưng phần text đã ghi thì không thể khôi phục. reptyr <pid> có thể chuyển process sang một terminal mới. Trên Ubuntu, kernel.yama.ptrace_scope = 1 có nghĩa là bạn cần sudo đối với process không phải child process của chính bạn. Thói quen tránh được toàn bộ vấn đề này là redirect output vào file ngay từ đầu và tail -f file đó.
tmux session đã detach có tồn tại sau reboot không?
Không. tmux server là một process thông thường, còn session là state được lưu trong memory của nó, nên reboot sẽ kết thúc cả hai. tmux server cũng bị dừng khi /etc/systemd/logind.conf đặt KillUserProcesses=yes và bạn logout khỏi session đã khởi động nó. Chỉ bật lingering không ngăn được việc này: khởi động tmux bên ngoài session scope bằng systemd-run --scope --user tmux new -s import khi lingering đang bật, hoặc thêm user của bạn vào KillExcludeUsers=. Với công việc phải tự khởi động lại sau reboot, hãy viết một systemd unit và systemctl enable unit đó.
Tại sao script chạy được trong shell nhưng lại fail khi chạy dưới dạng systemd unit?
Unit không đọc /etc/profile hoặc ~/.bashrc, nên không có các phần bổ sung của PATH và cũng không có các biến đã export của bạn. systemctl status hiển thị (code=exited, status=203/EXEC) nghĩa là systemd không thể execute file đó, vì vậy hãy dùng absolute path và kiểm tra executable bit. Chạy sudo systemd-run --collect --wait --unit=envtest /usr/bin/env, đọc lại kết quả bằng journalctl -u envtest, và bạn sẽ có chính xác environment mà job nhận được. Cung cấp những giá trị còn thiếu bằng Environment= hoặc EnvironmentFile=.