systemd 限制服務記憶體與 CPU 的設定方法
即使限制單一程序,VPS 仍可能卡住。學會用 MemoryHigh、MemoryMax、CPUQuota 與 TasksMax 設定 systemd,並解讀 OOM kill 與錯誤訊息。
使用 systemd drop-in 限制處理程序的記憶體與 CPU
您可以透過在執行處理程序的單元(unit)中加入幾行設定,來限制 Linux VPS 上的處理程序記憶體與 CPU 使用量。MemoryMax= 是記憶體的硬性上限。CPUQuota= 則是處理器時間的上限。兩者皆由 cgroup v2(控制群組第二版)強制執行,這是 systemd 已用於計算伺服器上每個服務資源用量的核心功能。
sudo systemctl edit myapp.service這會開啟一個包含說明註解的 drop-in 檔案。請在註解上方加入以下內容:
[Service]
MemoryHigh=512M
MemoryMax=768M
MemorySwapMax=0
CPUQuota=80%
TasksMax=128sudo systemctl daemon-reload
sudo systemctl restart myapp.service
systemctl show myapp.service -p MemoryHigh -p MemoryMax -p CPUQuotaPerSecUSec -p TasksMaxsystemctl show 必須以核心自身的單位回傳您的數值:MemoryMax=805306368 與 CPUQuotaPerSecUSec=800ms。若顯示 MemoryMax=infinity,表示 drop-in 未成功載入。請檢查檔案是否已放置於 /etc/systemd/system/myapp.service.d/override.conf,且開頭是否包含 [Service] 標頭;因為若設定行上方沒有區段標頭,systemd 會記錄 Assignment outside of section. Ignoring. 並在無任何限制的情況下啟動服務。
本指南後續內容將說明如何選擇這些數值,以及設定後可能發生的問題。
為何不斷成長的程序會讓 VPS 凍結,即使它從未用盡記憶體
程序觸及硬性記憶體上限後,在約 1 秒內終止,服務隨即重新啟動。這是理想情況。較糟的情況是沒有任何程序終止:主機仍會回應 ping,SSH 也接受連線,但 shell 提示字元始終不會出現。主機仍在運作且持續忙碌,但這些工作沒有任何實際效益。
以下是其運作機制,因為這並不直觀。可用記憶體不足時,kernel 會回收頁面,而不是配置新的頁面。最容易回收的是檔案支援頁面,而 page cache 保存著所有執行中程式的可執行程式碼。因此,kernel 會逐出 sshd 的程式碼頁,而接下來執行的指令 sshd 會觸發 page fault,必須從儲存裝置讀回這些位元組。最後,每個程序都在等待磁碟,而不是執行。相同的頁面不斷被逐出又載回,這種狀態稱為 thrashing。
在 VPS 上,以下兩點會讓情況比筆記型電腦更糟。儲存裝置通常透過網路連接或由多個租戶共用,因此每次 page fault 的延遲都高於本機 NVMe 裝置。其次,kernel 衡量的不是時間,而是失敗:只要回收程序仍能交還頁面,無論速度多慢,kernel 就會認為仍在取得進展,不會啟動 out of memory (OOM) killer。主機可能維持這種狀態數分鐘,之後才終止任何程序。
你可以觀察這個狀態。Linux 4.20 及更新版本會透過 PSI 匯出 pressure stall information:
cat /proc/pressure/memory
cat /proc/pressure/iosome avg10=63.72 avg60=41.02 avg300=12.33 total=13729481
full avg10=48.15 avg60=30.44 avg300=8.90 total=9114233其中 full 行最重要。full avg10=48.15 表示在最近 10 秒內,有 48% 的時間主機上所有非 idle 工作同時因記憶體而停滯,因此你的工作完全沒有進展。健康的伺服器在 full 上的數值接近 0。數值高於 10 時,人通常會感覺系統變慢;達到 40 以上時,就是人們所說的凍結狀態。
這也是為何單獨設定限制並不能構成保證。受 MemoryHigh= 約束的 unit 會被限速,而不是終止,因此它會持續存在,也會持續緩慢執行;從 systemd 的角度看,它從未失敗,所以不會重新啟動。仍允許使用 swap 的受限 unit 會產生由該 unit 計費、但由同一個共用裝置處理的讀寫作業,因此可能讓主機上所有其他服務的 /proc/pressure/io 升高。限制只能決定由誰承擔資源短缺的代價,無法創造容量。
確認 VPS 執行 cgroup v2
stat -fc %T /sys/fs/cgroupcgroup2fs 是統一階層,以下的記憶體設定需要此階層。tmpfs 表示該伺服器啟動的是較舊的 v1 配置,其中不支援 MemoryHigh= 和 MemorySwapMax=,每個 unit 的 OOM 行為也不同,但 CPUQuota= 仍可透過舊版的 cpu.cfs_quota_us 檔案運作。Ubuntu 22.04 及後續版本,以及 Debian 11 及後續版本,預設使用 v2。舊映像檔不會使用 v2;在 systemd 255 或更舊版本中,以 systemd.unified_cgroup_hierarchy=0 啟動的 kernel 也不會使用 v2。systemd 256 和 257 在 v1 環境下拒絕啟動,除非 kernel command line 同時包含 SYSTEMD_CGROUP_ENABLE_LEGACY_FORCE=1。systemd 258 移除了 cgroup v1 支援,並在啟動時一律掛載統一階層,因此在採用該版本的發行版本中,加入任一參數都無法恢復 v1。
在 cgroup v2 中,systemd 預設會為每個 unit 啟用記憶體 accounting,因此這些數值已經可用:
systemd-cgtop -m這會依記憶體使用量排序列出 cgroup。只要伺服器仍能回應,這是最快確認「什麼正在耗用這台伺服器資源」的方法。如果伺服器是新的,應先完成 新 VPS 的前 10 分鐘 中的帳號與防火牆設定,再進行這項檢查。
MemoryHigh 會節流,MemoryMax 會終止程序。
這兩個記憶體設定的差異,決定故障時的表現。
MemoryHigh=是軟上限。超過此值後,kernel 會積極回收該 cgroup 的資源,並刻意降低其配置速度。使用量仍可超過此數值,但不會終止任何程序。MemoryMax=是硬上限。若無法在此上限內滿足配置要求,OOM killer 會在該 cgroup 內執行,並終止該 unit 自有的其中一個程序。
這就是在任何未完全信任的服務上設定 MemoryMax= 的真正原因。未設定上限時,資源不足會影響整台主機,全域 OOM killer 會依 oom_score 選擇目標,通常代表選擇使用量最大的程序。使用量最大的程序通常是資料庫,而不是發生記憶體洩漏的 script。設定上限後,終止動作會落在造成問題的 unit 內。
請同時設定兩者,並讓 MemoryHigh= 約比 MemoryMax= 低 20 到 30 percent。兩者之間是警告區間:緩慢的洩漏會先超過 High,表現為服務速度變慢;突然的尖峰則會直接穿過 Max 並導致程序終止。
百分比值是以已安裝的實體記憶體為基準計算,因此 4 GB 方案中的 MemoryMax=25% 是 1 GB;方案擴充後,該值仍會維持整台主機記憶體的四分之一。MemorySwapMax=0 會讓該 unit 完全不使用 swap,因此達到 MemoryMax= 時會迅速終止,而不是先在 swap 中長時間變慢。低於此值時,MemoryHigh= 仍可對其進行節流;超過 high limit 也不會觸發 OOM killer,因此在兩者之間徘徊的 unit 會維持緩慢,而不會終止。
有些服務可讓你預先決定資源用量,而不必透過測量估算:Ollama unit 會依你提供的 context window 設定 KV cache 大小,因此請先閱讀 提高 num_ctx 會增加多少 RAM 用量,再為該服務選擇上限。
設定上限時,也必須同時設定 restart policy,否則程序終止後只會留下停止中的服務。
[Unit]
StartLimitIntervalSec=300
StartLimitBurst=5
[Service]
Restart=on-failure
RestartSec=5sStartLimit* 應放在 [Unit] 中,而 Restart= 應放在 [Service] 中。放錯 section 後,systemd 會忽略設定。五分鐘內重新啟動五次表示發生洩漏,而不是短暫異常;達到此次數後,systemd 會放棄並將 unit 留在 failed 狀態。這樣之後才能找到問題,也不會讓 crash loop 掩蓋故障。
使用 CPUQuota 限制 CPU,或使用 CPUWeight 分配資源
CPUQuota= 佔用單一 CPU 可用時間的百分比。CPUQuota=50% 代表半個核心。CPUQuota=200% 相當於兩個核心的效能,該單元可視需求將負載分散至任意數量的執行緒。在 2 vCPU 的方案中,CPUQuota=200% 代表整台機器的效能。
對於大多數服務而言,CPUWeight= 是較佳的預設值。這是一個 1 到 10000 之間的相對權重,核心預設值為 100。它僅在資源競爭時生效:當負載過高時,設定為 CPUWeight=20 的備份工作會讓位給設定為 100 的網頁伺服器,但在系統閒置時,備份工作仍可使用整台機器的資源。硬性配額(Hard quota)則會浪費這些閒置的運算能力。
請務必釐清 CPU 限制的實際效益。CPU 密集型程序極少導致 Linux 當機,因為排程器會持續分配時間給所有程序。真正會導致伺服器崩潰的是記憶體不足。當您需要可預測的效能上限時,請使用 CPUQuota=,例如針對編譯任務或代理程式,否則它們可能會長時間全速運作。這類工作負載的規模評估屬於另一個議題,詳見 編碼代理程式 VPS 需要多少 RAM 與 CPU。
若您的程序並未執行繁重任務,但 CPU 讀數仍顯示忙碌,原因可能來自 Hypervisor 的另一端。這就是 來自鄰居干擾的 CPU steal time,無論您設定何種配額都無法改善此狀況。
TasksMax 可防止 fork 迴圈
TasksMax= 是單元(unit)所能持有的處理程序與執行緒總數。由於執行緒也會被計入,因此 Java 或 Go 服務所需的額度會比處理程序清單顯示的更多。這是防止腳本陷入 fork 迴圈最經濟實惠的保護機制,因為 fork 會在單元內部失敗,而不至於導致整台伺服器耗盡處理程序 ID(PID)。
TasksMax=128當單元達到限制時,核心會在日誌中記錄該 cgroup 的名稱:
cgroup: fork rejected by pids controller in /system.slice/myapp.service程式本身通常會回報 fork: retry: Resource temporarily unavailable。請使用 systemctl show -p DefaultTasksMax 查看管理程式預設套用的限制。
使用 systemd-run 限制一次性任務
您不需要單元檔案(unit file)即可使用這些功能。systemd-run 會圍繞單一指令建立一個暫時性單元。
sudo systemd-run --scope -p MemoryMax=1G -p MemorySwapMax=0 -p CPUQuota=50% -p TasksMax=64 ./import-data.sh--scope 會在終端機中執行該指令,並在列印 Running scope as unit: run-r7c1a....scope 後執行。輸出會保留在您的螢幕上,且當指令結束時,限制也會隨之消失。systemd.resource-control 中的任何屬性在 -p 之後皆可使用。
若為長時間執行的任務,請移除 --scope 並為其命名。該任務隨後會以暫時性服務(transient service)在背景執行,並將日誌寫入 journal:
sudo systemd-run --unit=nightly-import -p MemoryMax=1G -p CPUWeight=20 ./import-data.sh
journalctl -u nightly-import -f當您不具備 root 權限時,相同的選項也適用於 --user,但您的使用者管理器(user manager)僅擁有委派給它的控制器,因此某些屬性可能會被拒絕。若發生此情況,請使用 sudo 執行。當任務需要永久執行時,設定可直接移至正式單元中:請參閱 將腳本作為 systemd 服務與計時器執行。
誠實回答 swap 的問題
swap 會改變故障的形式,但無法防止故障。
沒有 swap 時,記憶體洩漏一旦觸及上限,通常會在幾秒內導致某個程序終止。服務中斷會快速發生,事後也容易從 journal 判讀。有 swap 時,kernel 會將不常使用的 anonymous pages 寫入磁碟,藉此爭取時間。如果程序原本會自行穩定下來,swap 能避免故障。如果程序持續失控,swap 會把 5 秒的服務中斷變成 20 分鐘的停滯,而且停滯更糟,因為程序終止後仍會留下可用的 shell;持續 thrashing 的主機則不會。
swapon --show
free -h在小型 VPS 上,可採用折衷方案:保留適量的 swap file,供只配置一次且之後不再存取的 pages 使用,並在你願意捨棄的 units 上設定 MemorySwapMax=0。重要服務保留 swap。不可預測的服務則會迅速觸及上限,而上限旁的 restart policy 會讓它們重新啟動。
降低 vm.swappiness 的作用有限,了解原因很重要。它只會改變驅逐 page cache 與將 anonymous pages 寫入 swap 之間的平衡,而這兩種作法之後都需要進行磁碟讀取。它改變的是哪些 pages 發生 thrashing,而不是主機是否發生 thrashing。
記憶體耗盡前及早終止程序,避免系統卡住
核心在回收記憶體完全失敗前會持續等待;對小型 VPS 而言,這段等待時間正是系統失去回應的時機。兩個使用者空間 daemon 會自行監控記憶體,提早終止程序,縮短這段空窗。
earlyoom 每秒最多檢查可用記憶體與可用 swap 十次,只有在兩者都低於門檻時,才會終止 oom_score 最高的程序。沒有 swap 的主機則只由記憶體門檻決定。
sudo apt install earlyoom
systemctl status earlyoomDebian 和 Ubuntu 的套件會在安裝時啟動服務。相關選項位於 /etc/default/earlyoom:
EARLYOOM_ARGS="-m 5,2 -s 5,2 --avoid ^(sshd|systemd)$ --prefer ^(node|python3)$"-m PERCENT 設定可用記憶體下限,-s PERCENT 設定可用 swap 下限,兩者預設都是 10%。每組數值中的第二個數字是 SIGKILL 門檻:當記憶體和 swap 都低於各自的第一個數值時,earlyoom 會先傳送 SIGTERM;當兩者都低於第二個數值時,才會傳送 SIGKILL。第二個數值預設為第一個數值的一半。服務單元會將此變數傳給 earlyoom,作為 $EARLYOOM_ARGS,因此 systemd 會以空白字元將其拆分為引數。為 --avoid 和 --prefer 模式加上引號是安全的:systemd 讀取檔案時會移除外層雙引號,接著在拆分值時解析並移除值內的單引號,因此 --avoid '^(sshd|systemd)$' 的效果與上方未加引號的形式相同。包含空白字元的模式必須使用這些單引號,否則會被拆成兩個引數。使用 sudo systemctl restart earlyoom 套用變更,再讀取 journalctl -u earlyoom,即可查看它終止了哪個程序,以及該程序當時占用多少記憶體。
systemd-oomd 是另一個選項。其手冊頁將它描述為「使用 cgroups-v2 和 pressure stall information (PSI),在核心空間發生 OOM 前進行監控並採取修正措施的系統服務」。它以整個 cgroup 為處理單位,而非單一程序,因此終止的是服務單元,不是個別的子程序。服務單元可透過 ManagedOOMMemoryPressure=kill 或 ManagedOOMSwap=kill 選擇啟用,門檻則位於 /etc/systemd/oomd.conf。
systemctl status systemd-oomd
oomctloomctl 會顯示目前正在監控的項目。在伺服器映像檔上通常沒有任何項目,因為每個服務單元都必須個別選擇啟用。請選擇其中一個 daemon 使用即可。兩者同時執行時,會有兩個元件競相選擇要終止的程序,也會更難還原每次終止的原因。
負責的是哪個 unit?
先從 kernel 開始,因為它會記錄每次由它執行的 kill。
journalctl -k --grep "Killed process" --since "2 hours ago"由全域 OOM killer 執行的 kill 會像這樣:
Out of memory: Killed process 4127 (node) total-vm:2731084kB, anon-rss:1874232kB, file-rss:0kB, shmem-rss:0kB, UID:1000 pgtables:4212kB oom_score_adj:0anon-rss 是該程序終止時仍保留在 RAM 中的匿名記憶體,例如 heap;此處約為 1.8 GB。常駐檔案對映與 shared memory 會分別計入 file-rss 與 shmem-rss。請審慎解讀括號中的名稱。那是 kernel 選定的受害程序,而 kernel 會選擇最大的程序;最大的程序不一定是造成記憶體不足的程序。
由 cgroup limit 觸發的 kill 會使用不同的前綴,而其上方的報告會列出達到自身上限的 cgroup:
Memory cgroup out of memory: Killed process 8811 (python3) total-vm:1044320kB, anon-rss:769112kB, file-rss:0kB, shmem-rss:0kB, UID:998 pgtables:1720kB oom_score_adj:0這個前綴已能提供大部分診斷資訊。Memory cgroup out of memory 表示某個 unit 達到你設定的 MemoryMax=,而系統其餘部分運作正常。單獨出現 Out of memory 表示整台機器的記憶體已耗盡,因此你的上限不是未設定,就是總和過高。
接著詢問 systemd 看到了什麼:
systemctl status myapp.service
journalctl -u myapp.service -n 50myapp.service: A process of this unit has been killed by the OOM killer.
myapp.service: Main process exited, code=killed, status=9/KILL
myapp.service: Failed with result 'oom-kill'.systemctl status 會以一行顯示相同資訊,作為 Active: failed (Result: oom-kill)。
cgroup counters 是第三個來源,也是唯一會記錄 throttling 的來源;throttling 完全不會產生日誌行:
cat /sys/fs/cgroup/system.slice/myapp.service/memory.events
cat /sys/fs/cgroup/system.slice/myapp.service/memory.peaklow 0
high 4213
max 118
oom 12
oom_kill 12high 計算該 unit 超過 MemoryHigh= 並遭到 throttled 的次數。max 計算它達到硬性上限的次數,oom_kill 則計算實際被 kill 的程序數量。high 很大但搭配 oom_kill 0 時,就是前面提到的無聲情況:自建立 cgroup 以來,該 unit 一再遭到 throttled,卻一次也沒有被 kill,因此 systemd 沒有記錄任何失敗。這個 counter 只會增加,因此隔一分鐘讀取兩次:持續上升的 high 表示目前仍在發生 throttling。memory.peak(Linux 5.19 及更新版本)會記錄該 cgroup 達到的最高使用量,應以此數值估算 MemoryMax=。unit 重新啟動時,這兩個檔案都會重設,因為 systemd 會重新建立 cgroup。
所有這些功能都依賴一項前置條件。如果不存在 /var/log/journal,journal 就會儲存在 RAM 中,而你為了復原系統所進行的那次重新開機後,所有日誌行都會消失。
sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal
sudo systemctl restart systemd-journald
journalctl --list-bootsjournalctl --list-boots 顯示的開機次數多於目前這次,表示歷史紀錄已持久化,因此 journalctl -k -b -1 可以顯示導致系統停止運作之次開機的 kernel 訊息。
小型 VPS 的起點
在 2 GB 的方案中,請保留 300 至 400 MB 給核心與頁面快取(page cache),且各項限制總和不應達到 2 GB 上限,因為每個單元都有可能同時達到峰值。請將最大份額分配給最重要的服務,並對周邊的非必要服務進行限制。
[Service]
MemoryHigh=256M
MemoryMax=384M
MemorySwapMax=0
CPUWeight=20
TasksMax=64
Restart=on-failure
RestartSec=5s保留一個進入系統的管道值得多做一項設定。在 ssh.service 的 drop-in 設定檔中加入 OOMScoreAdjust=-500,能大幅降低全域 OOM killer 選中 SSH daemon 作為犧牲品的機率,這決定了你是能直接修復伺服器,還是必須從控制面板重啟。此設定僅改變核心選擇犧牲品的邏輯,並不會縮短系統停滯的時間。
容器運行在各自的 cgroup 中,這些 cgroup 是由容器執行時期(container runtime)而非你的 unit 檔案所建立,因此對 docker.service 的限制不會直接套用到單一容器上。關於每個容器對應的 MemoryMax= 與 CPUQuota= 設定,請參閱 在 Docker Compose 中設定記憶體與 CPU 限制。
FAQ
為什麼我的 VPS 會凍結,而不是終止失控的程序?
因為核心判斷系統是否有進展,是看回收程序是否能釋放頁面,而不是看回收花費多少時間。記憶體不足時,核心會逐出頁面快取,其中也包括執行中程式的可執行檔頁面,接著在下一個指令執行時再讀回這些頁面。所有工作都在等待儲存裝置,而且配置操作在技術上尚未失敗,因此永遠不會呼叫 OOM killer。問題發生時,請檢查 /proc/pressure/memory:full avg10 高於 40 表示在最近 10 秒內,超過 40% 的時間裡,所有非閒置工作都同時因記憶體而停滯。使用 earlyoom 這類 userspace daemon,可以在主機進入這種狀態前終止程序。
MemoryHigh 和 MemoryMax 有什麼差異?
MemoryHigh= 是會進行節流的軟上限。核心會積極從該 unit 回收記憶體,並降低其配置速度,但使用量可以超過這個數值,也不會終止任何程序。MemoryMax= 是硬上限:如果在此限制下無法滿足配置要求,就會在該 unit 自己的 cgroup 內呼叫 OOM killer。因此,造成問題的程序會被終止,而不是終止主機上使用量最大的程序。請將 MemoryHigh= 設定低於 MemoryMax=,並將兩者之間的差距視為警告區間。
如何找出 OOM killer 終止了哪個服務?
執行 journalctl -k --grep "Killed process" --since "2 hours ago"。以 Memory cgroup out of memory 開頭的行表示某個 unit 觸發了自己的 MemoryMax=;單獨出現 Out of memory 則表示整台機器的記憶體耗盡。接著執行 journalctl -u <unit> -n 50,並尋找 Failed with result 'oom-kill'。如果伺服器上不存在 /var/log/journal,表示 journal 儲存在 RAM 中,相關證據已隨重新開機遺失,因此請在下次事件發生前建立該目錄。
我應該為小型 VPS 加入 swap 嗎?
小型 swap 檔案有助於處理只配置一次、之後不再使用的冷頁面。它無法解決失控的程序問題:swap 只會延後終止程序,將短暫中斷變成無法登入處理的長時間停滯。請將 swap 維持在適度大小,並在願意讓其失效的 unit 上設定 MemorySwapMax=0,讓這些 unit 快速達到上限;搭配設定 Restart=on-failure 後,它們會自行恢復,同時重要服務仍可使用自己的 swap。
不撰寫 unit file,也能限制命令嗎?
可以。sudo systemd-run --scope -p MemoryMax=1G -p CPUQuota=50% ./script.sh 會在終端機中以 transient scope 執行命令,並套用這些限制;命令結束後,限制也會消失。systemd.resource-control 中的每個屬性,在 -p 之後都可使用,因此 MemorySwapMax=、TasksMax= 和 CPUWeight= 也能在此使用。移除 --scope 並加入 --unit=name,即可在背景執行工作,並將其輸出寫入 journal。