SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor

如何讓 Ollama 模型持續載入記憶體?

Ollama 預設閒置 5 分鐘後卸載模型,下一次請求需重新載入。學習以 systemd override 設定 OLLAMA_KEEP_ALIVE,並在重新開機後預先載入模型。

為什麼 Ollama 會在幾分鐘後卸載模型?

Ollama 會在最後一次請求後,讓模型繼續載入記憶體 5 分鐘,之後將其釋放。下一次請求必須再次將權重載入 RAM 或 VRAM,因此在第一個 token 產生前會暫停一段時間。這就是為什麼聊天 UI 或程式碼代理一開始反應快速,閒置一段時間後,下一則訊息又變慢。這不是故障,而是閒置計時器已經到期。

這個計時器稱為 keep_alive。它以模型為單位,每次請求完成後都會重新計時。目前正在回答請求的模型不會被卸載,因為伺服器只會卸載沒有進行中請求的模型。截至 2026 年 10 月,預設值為 5 分鐘,並套用至此伺服器載入的所有模型。

設定閒置逾時有兩個位置:個別請求中的 keep_alive 欄位,或伺服器預設值 OLLAMA_KEEP_ALIVE。使用 systemd drop-in 才能讓伺服器預設值在重新啟動後持續生效。本指南假設 Ollama 已經以服務形式執行。若尚未執行,請先參閱 在 VPS 上安裝 Ollama,再返回本指南。

目前有哪些模型常駐?何時到期?

ollama ps
NAME        ID              SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3:8b    500a1f067a9f    6.6 GB    100% GPU     4096       4 minutes from now

輸出為空表示目前沒有載入任何模型,因此下一個請求必須先載入模型。PROCESSOR 會顯示權重所在的位置。100% GPU 和 100% CPU 表示模型完整位於單一位置。若顯示 25%/75% CPU/GPU 這類結果,表示模型只有部分位於 VRAM,其餘部分在處理器上執行,因此生成速度較慢。通常這是因為模型無法完整放入 VRAM,但限制 GPU 載入層數的 num_gpu 設定,也會產生相同類型的分割結果。

UNTIL 是倒數計時器,會輸出例如 4 minutes from now 這類相對時間。若模型載入時使用負值的 keep_alive,則會顯示 Forever。模型到期後會顯示 Stopping...;即使作用中的請求延後卸載,也會如此。

不同版本的欄位集合可能有所變更,因此請讀取標頭,不要在腳本中依欄位數量判斷。Ollama v0.40.5 在 2026-10-30 檢查時,也會在 CONTEXT 和 UNTIL 之間輸出 RUNNER 欄位,並指出提供該模型服務的 runner,因此你的標頭可能比上方範例多一欄。若要自動化處理,請查詢 API:

curl -s http://localhost:11434/api/ps

每個項目都包含 expires_at,也就是如 2026-08-09T14:38:31.83753Z 所示的絕對時間戳記,以及 size_vram,表示該模型位於 GPU 記憶體中的部分。size_vram 為 0 時,表示模型在 CPU 上執行。

實際重新載入的成本

不要猜測。Ollama 會在每個回應中回報載入時間,欄位為 load_duration,單位是奈秒。

sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'

在 ollama stop 之後,先等到 ollama ps 不再列出該模型,再執行這 2 個 API 呼叫。第 1 個呼叫會載入模型,因此其 load_duration 數值較大。將數值除以 1000000000,即可換算為秒。第 2 個呼叫會在模型仍駐留於記憶體時執行,回報的數值會小得多。這 2 個數值之間的差距,就是計時器到期後每位使用者都必須承擔的成本,也是變更 keep_alive 的完整原因。卸載後,核心的頁面快取通常仍會保留模型檔案。因此,在剩餘 RAM 充足的主機上,重新載入可能比開機後的第 1 次載入更快。快取被回收後,權重會從磁碟讀取;如果你已將模型目錄移至第 2 個磁碟區,該磁碟區的速度就會決定每次冷啟動載入的最低耗時。若要了解暫停前後的生成速度,請參閱如何在自己的主機上測量每秒產生的 token 數量。

讓 Ollama 模型在單次請求後繼續載入記憶體

在請求中傳送 keep_alive。請求完成後,這項設定會套用至該模型。

curl -s http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "hello"}],
  "keep_alive": "30m"
}'

支援以下 4 種值:

  • duration 字串:"30m"、"24h"、"90s"
  • 純數字,視為秒數:3600
  • 負值,例如 -1 或 "-1m",表示完全不設定閒置逾時
  • 0,表示模型沒有作用中的請求後卸載

請求中的值會覆寫伺服器預設值,且雙向皆適用。這一點比看起來更重要:用戶端自行傳送的 keep_alive,會優先於伺服器上的任何設定。

您也可以在不產生任何內容的情況下載入模型。只傳送模型名稱即可。伺服器會載入模型,並以 "done": true 傳回空回應。

curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'

重新開機或拉取新模型後,請執行這個命令。如此可避免第一個實際使用者請求承擔載入模型的時間成本。CLI 也能透過旗標執行相同操作:

ollama run --keepalive 30m qwen3:8b "hello"

預設載入模型:使用 OLLAMA_KEEP_ALIVE

伺服器啟動時會讀取 OLLAMA_KEEP_ALIVE,並將其套用至所有未自行指定值的模型。它採用與請求欄位相同的格式,因此 30m、3600 和 -1 都可使用。

關鍵在於環境變數必須設定在哪個執行環境中。在 SSH 工作階段執行 export OLLAMA_KEEP_ALIVE=30m 不會生效,因為套件安裝會以獨立使用者身分,透過 systemd 服務執行伺服器,並使用該服務自己的環境變數。登入 shell 與該服務不共用環境。這是設定看似未生效的最常見原因。

使用 systemd drop-in 讓設定在重新啟動後保留

sudo systemctl edit ollama.service

編輯器開啟時會顯示兩個註解標記。請在兩者之間輸入內容:systemd 會捨棄第二個標記以下的所有內容。

[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"

儲存後會寫入 /etc/systemd/system/ollama.service.d/override.conf。這是 drop-in,不是修改隨套件提供的 unit,因此 Ollama 套件升級並替換 ollama.service 時,仍會保留你的設定。如果你不熟悉 drop-in 與 unit 檔案,systemd 服務與計時器指南說明了相關運作方式。

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

最後一個命令會列出服務實際執行時使用的環境。如果該行缺少 OLLAMA_KEEP_ALIVE=30m,表示 drop-in 未生效;原因幾乎一律是缺少 [Service] 標頭,或將內容輸入在標記以下。重新啟動會卸載所有已載入的模型,因此下一個請求會重新載入模型。請使用上方的預載入呼叫先行載入。drop-in 會在重新開機後保留設定,但不會保留模型:服務啟動時 ollama serve 不會載入任何模型,因此每次開機後都要執行相同的預載入呼叫。

讓模型常駐的成本

SIZE 中的 ollama ps 欄位,是整個閒置期間都會占用的記憶體,不只在處理請求時占用。使用 4-bit 量化的 8B 模型約占 5 到 6 GB。27B 模型的情況完全不同;在決定讓模型常駐前,值得先推算僅使用 CPU 的 VPS 執行模型所需的記憶體。將 keep_alive 設為 -1 會停用閒置逾時;之後對相同模型的請求可能會取代這個逾時設定,或在 runner 選項變更時強制重新載入。在小型 VPS 上,這會直接排擠資料庫、網頁應用程式與建置工作所需的資源。

請查看實際數值,不要只相信估算值。模型載入期間執行一次,然後在 ollama stop 後再次執行:

free -h

available 欄位表示核心仍可提供給新程序的記憶體。在 NVIDIA GPU 主機上,nvidia-smi 會在 VRAM 中顯示相同情況。如果主機耗盡資源,核心會終止程序以回收資源:

sudo dmesg -T | grep -i "out of memory"

列出 ollama 的行表示模型伺服器成為受害者。列出資料庫的行表示模型勝出,而你重視的其他服務遭到終止。兩種結果都源自同一項決策:在沒有餘裕的主機上設定過長的 keep-alive 期間。

這裡有兩項容易忽略的成本。較長的 context length 會保留較大的 KV cache(key value cache,也就是模型生成內容時保留的每個 token 注意力狀態),而這個快取會計入常駐大小。其大小取決於 num_ctx;因此,提高 context window 會增加常駐模型在整個閒置期間持有的記憶體,而不只是在模型回答時增加。OLLAMA_NUM_PARALLEL 大於 1 時,如果模型支援平行處理,會為每個平行 slot 各保留一次該快取。Ollama v0.40.16 會對不具備 completion 能力的模型強制將平行處理設為 1,其中包括 embedding 模型;其 scheduler 不再特別處理 mllama 或 qwen3next。如果計畫讓多位使用者共用一個模型,請依 slot 數量計算所需記憶體,不要只依權重大小計算。

合理的預設值是:有餘裕的主機執行一個模型時,可以使用 -1。共用主機則應設定涵蓋請求間隔的期間,例如 30m,讓你停止工作後記憶體能夠釋放。

立即卸載模型

ollama stop qwen3:8b

要求模型到期後,命令會在沒有輸出的情況下返回。卸載作業會等待進行中的請求完成,因此命令返回時,記憶體可能尚未釋放。對於已拉取但目前未載入的模型,命令同樣不會輸出任何內容。此命令不會檢查目前有哪些模型常駐記憶體,而是直接傳送卸載要求。無論記憶體中是否有模型,伺服器都會以成功回應。只有當此伺服器未安裝該名稱的模型時,才會出現錯誤 couldn't find model "qwen3:8b" to stop。通常原因是模型名稱或標籤拼寫錯誤。因此,沒有輸出的 ollama stop 不能證明記憶體已釋放。ollama ps 才能證明。API 形式是不帶提示的要求,並將 keep_alive 設為 0:

curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'

回應會包含 "done_reason": "unload"。請使用此方式,不要重新啟動服務。systemctl restart ollama 同樣會釋放記憶體,但會卸載其他所有已載入的模型,並終止當時正在處理的請求。

在同一台伺服器上執行多個模型

OLLAMA_MAX_LOADED_MODELS限制同時保持載入的模型數量。截至 October 2026,預設值是每個 GPU 3 個模型;僅使用 CPU 的主機則是 3 個模型。此上限計算模型數量,但真正的限制是記憶體。因此,第二個大型模型可能在達到 3 個模型之前,就已無足夠空間可載入。

要求載入新模型時,如果可用記憶體不足,或已達到模型數量上限,排程器會卸載其中一個常駐模型以騰出空間。排程器優先選擇目前沒有處理要求的模型,也可能驅逐計時器尚未到期的模型,包括使用 -1 載入的模型,但會先處理剩餘時間較短的模型。因此,負值 keep_alive 表示沒有閒置逾時。它不會將模型權重固定,藉此阻止其他模型的要求。

這些決策會記錄在服務日誌中,而達到模型數量上限的情況只會以 debug 層級記錄。在相同的 drop-in 設定中加入第二行 Environment="OLLAMA_DEBUG=1",重新啟動服務,然後監看日誌:

sudo journalctl -u ollama -f

查看觸發卸載之要求旁所列的原因。max runners achieved, unloading one to make room 表示已達到 OLLAMA_MAX_LOADED_MODELS 上限。即使兩個模型的記憶體需求都能容納,也可能發生此情況;如果 free -h 顯示仍有可用餘裕,請提高上限。若日誌先顯示系統預測新模型會超過可用記憶體,接著又顯示驅逐模型,表示排程器的適配檢查認定兩個模型無法在目前的記憶體餘裕下同時載入。解決方式是減少這台主機上的模型數量,或為必須快速回應的模型設定較長的保留時間,並為低頻使用的模型設定 0。

不受下一個版本影響的指引

Ollama 經常發布新版本,預設值也會變動。因此,請檢查目前使用的 build,不要死記數字:

ollama --version
ollama serve --help

ollama serve --help 會列出該 build 實際讀取的環境變數,其中包括 OLLAMA_KEEP_ALIVE。有兩項規則在各版本中都維持不變,可以放心依循。請求中的值會覆寫伺服器預設值。此外,無論設定檔宣告應載入什麼,ollama ps 才是實際已載入內容的依據。

如果由編輯器或 agent 控制伺服器,請先確認該用戶端傳送的內容,再判斷問題是否出在伺服器。將 coding agent 指向自有的 Ollama 伺服器說明這些請求設定所在的位置。

FAQ

為什麼 Ollama 會在 5 分鐘後卸載模型?

5 分鐘是預設的 keep_alive,也就是 Ollama 在請求完成後啟動的閒置計時器。計時器到期後,伺服器會釋放模型權重,因此下一個請求必須重新載入模型,而您感受到的停頓就是重新載入所造成的。若只要針對單一請求延長時間,請在 JSON body 中傳送 "keep_alive": "30m";若要套用至整個伺服器,請設定 OLLAMA_KEEP_ALIVE 環境變數。

如何讓 Ollama 模型永久載入記憶體?

使用負值:在請求中設定 "keep_alive": -1,或在伺服器上設定 OLLAMA_KEEP_ALIVE=-1。接著,ollama ps 會在 UNTIL 欄顯示 Forever。這只會移除閒置計時器,不會變更其他行為。如果要求載入其他模型但可用記憶體不足,排程器仍會卸載此模型以騰出空間。之後對同一模型的請求也可能覆寫其逾時設定,或在 runner 選項變更時觸發重新載入。重新啟動服務或重新開機也會清除這項設定,因此之後必須再次預載模型。

為什麼 OLLAMA_KEEP_ALIVE 沒有生效?

請確認設定環境變數的位置。執行 systemctl show ollama --property=Environment;如果輸出中沒有該變數,表示伺服器根本沒有取得它,因為在 shell 中匯出的變數不會傳遞給 systemd 服務。使用 sudo systemctl edit ollama.service 設定它,然後執行 sudo systemctl daemon-reload 和 sudo systemctl restart ollama。另一個原因是用戶端在請求中自行傳送 keep_alive,覆寫了伺服器的預設值。

如何在不重新啟動 Ollama 的情況下釋放記憶體?

ollama stop qwen3:8b 會要求卸載單一模型,並讓伺服器及其他已載入模型繼續執行。卸載前必須先完成目前進行中的請求。透過 API 時,請傳送不含 prompt 且包含 "keep_alive": 0 的請求,回應會包含 "done_reason": "unload"。使用 ollama ps 確認;卸載完成後,輸出中應不再列出該模型。

這篇文章對您有幫助嗎?