SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor · 已更新 2026-10-26

如何在 VPS 上部署 Nemotron 3.5 Lightning

在 VPS 使用 Ollama 執行 Nemotron 3.5 Lightning 的完整指南。包含正確的 pull 標籤、記憶體需求分析,以及 CPU 執行效能的真實評估,協助您評估伺服器硬體規格。

Nemotron 3.5 Lightning 的用途

Nemotron 3.5 Lightning 是 NVIDIA 開放的 30B 混合專家模型,於 August 2026 發布,主要用於執行數小時的代理程式,而不是只服務單一聊天視窗。MoE(mixture of experts)表示權重分割成許多專家子網路,每個 token 只會經過其中少數幾個子網路。NVIDIA 的模型卡列出 30 billion 個總參數,以及每個 token 會啟用 3 billion 個參數。記憶體需求取決於較大的總參數量,速度則受益於較小的啟用參數量。

這項取捨正是租用伺服器時值得考慮此模型的原因。執行實際工作的代理程式每天會傳送數千個簡短請求,因此每美元可取得的吞吐量,會決定它是否適合部署在自己的主機上。每次回覆需要 40 秒的模型可以作為實用的助理,卻不適合作為代理程式,因為單一工作可能需要 20 次呼叫,而每次都必須等待。

NVIDIA 將此架構描述為混合架構:交錯使用 Mamba-2 與 MoE 層,並搭配選定的 attention 層。模型卡列出的最大上下文長度最高可達 1M tokens,採用 OpenMDW-1.1 授權,並標示為可供商業使用。主要支援語言為 English 與 code,另外也列出 Spanish、French、German、Italian 和 Japanese。

Artificial Analysis 在 August 2026 發布的啟動測試顯示,每秒輸出接近 670 個 tokens。測試使用的是提供 NVFP4 權重的預發布 DeepInfra endpoint。這是代管的 GPU endpoint。應將此數據理解為架構所能達到的效能,而不是 VPS 實際會達到的效能。

哪個 Ollama 標籤適合哪種 VPS

Ollama 程式庫會發布相同權重的多種建置版本。它們之間的差異在於量化方式,也就是每個權重使用多少位元儲存;這會大幅影響下載大小。

圖表Download size by Ollama tag, GB (Ollama library, checked October 2026)
此圖表背後的資料
[
  {
    "label": "30b-a3b-q4_K_M",
    "size_gb": 25
  },
  {
    "label": "30b-a3b-q8_0",
    "size_gb": 35
  },
  {
    "label": "30b-a3b-bf16",
    "size_gb": 66
  },
  {
    "label": "30b-a3b-mlx",
    "size_gb": 19
  }
]

標示為 latest、30b 和 30b-a3b 的標籤現在各自帶有 digest。自程式庫在 2026 年 10 月中旬更新後,這些標籤列出的大小為 19 至 25 GB。直接在 2026 年 10 月 25 日從 registry 查詢時,該指標回傳的檔案與 30b-a3b-q4_K_M 完全相同,因此 VPS 的預設下載版本是 25 GB、使用 4 位元量化且具備完整 1M context 的建置版本。列出範圍的 19 GB 下限與 MLX 建置版本相符,這表示 Apple silicon 機器可能會取得這些版本。Q8_0 為 35 GB,bf16 為 66 GB,兩者同樣支援 1M context。大小為 19 GB 的 MLX 建置版本是供 Apple silicon 使用,且 context 上限為 256K,因此不適合 Linux VPS。程式庫也列出 30b-mlx 和 30b-a3b-nvfp4;兩者的 digest 都與 30b-a3b-mlx 相同,儘管第二個格式名稱聽起來像 NVIDIA 的格式。此外還有大小為 34 GB 的 30b-a3b-mxfp8 和大小為 66 GB 的 30b-a3b-mlx-bf16。這些版本的 context 上限也都是 256K,因此都無法提供完整的 context window。

這些是下載大小,不是記憶體需求。NVIDIA 沒有公布 Ollama 建置版本所需的最低 VRAM(video RAM),因此只能將下載大小視為最低估計,不能視為完整需求。權重必須常駐於某處;如果顯示卡能容納,就會放在 GPU 記憶體中,否則會放在系統 RAM 中。此外還要加上 KV cache(key/value cache,也就是模型針對對話中每個 token 使用的記憶體)。你的硬體實際需要多少記憶體,必須透過下方的指令取得,不能只靠計算。如果你尚未決定量化等級,Q4、Q8 和 FP16 各自需要付出什麼代價 會說明每個等級需要犧牲的內容。

精確拉取指定標籤,絕不使用 latest

latest 是會變動的指標。函式庫重新發布該標籤時,您的代理程式行為會在下一次拉取時改變,而筆記中沒有任何資訊可說明原因。這個模型已經發生過一次這種情況:2026 年 10 月中旬,函式庫將 latest 移至新的摘要。請指定標籤名稱。

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_M

安裝指令碼會建立一項 systemd 服務,以 ollama 使用者身分執行,並將模型存放在 /usr/share/ollama/.ollama/models。在大多數 VPS 映像檔中,該路徑位於 root 檔案系統,因此在要求 25 GB 空間前,請先確認剩餘容量。若該檔案系統空間不足,建議先閱讀Ollama 儲存模型的位置及移動方式,不要等到拉取完成並填滿磁碟後才處理。

df -h /usr/share/ollama

拉取程序中途停止並回報 no space left on device,表示的就是該錯誤;部分 blob 會留在磁碟上,直到您將其刪除。接著確認已拉取的內容:

ollama show nemotron-3.5-lightning:30b-a3b-q4_K_M

ollama show 會列出架構、參數數量、內容長度,以及檔案實際包含的量化設定。若其中任何一項與函式庫頁面不一致,表示您拉取的不是原本指定的標籤。

啟動服務,並確認實際執行位置

sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"

模型仍載入時,請在第二個 shell 中執行:

ollama ps

這個指令可回答該模型在您機器上的記憶體需求。ollama ps 會顯示已載入的模型、其占用的記憶體大小,以及 PROCESSOR 欄位。100% GPU 表示模型全部位於 VRAM。100% CPU 表示模型完全未使用 VRAM,所有 token 都由處理器使用系統 RAM 計算。像 65%/35% CPU/GPU 這樣的分配表示所有層無法全部容納,CPU 所占的比例會影響速度。不要估算需求。直接載入模型,讀取這一行。

如果模型完全無法載入,Ollama 會正常拒絕,而不是當機:

Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)

CPU-only VPS 夠快嗎?

一般用途的 VPS 沒有 GPU,因此所有工作都由 CPU 執行,並從系統 RAM 讀取所需的每個權重。MoE 在這裡有所幫助,因為每個 token 只會處理約 30 billion 個參數中的 3 billion 個,所以每個 token 所需的運算量遠小於 dense 30B 模型。記憶體用量則完全不會減少。所有 30 billion 個參數都必須常駐記憶體,因為 router 可能為任何 token 選取任一個 expert。

因此,在這個模型上進行 CPU-only 推論時,限制因素是記憶體頻寬,而不是核心數量。對於 vCPU 數量已經合理的方案,繼續增加 vCPU 幾乎不會改善效能。你需要的是足以容納權重與 KV cache 的 RAM,以及方案所提供的最快記憶體。

在決定讓 agent 使用前,先按照 測量本機 LLM 的每秒 token 數 中的方法進行測量:

ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."

最後列出的 eval rate 行,就是你的每秒 token 生成速度。這個數值足以決定答案,因為 agent 的實際耗時主要由它決定。將這個數值乘以預期的回覆長度;如果結果超過你願意等待的時間,使用 num_predict 限制輸出就是在不變更硬體的情況下,限制單次呼叫耗時的唯一調整方式。

圖表Average seconds per Intelligence Index task (Artificial Analysis, published August 2026)
此圖表背後的資料
[
  {
    "label": "Nemotron 3.5 Lightning",
    "sec_per_task": 30
  },
  {
    "label": "gpt-oss-120b",
    "sec_per_task": 204
  },
  {
    "label": "Qwen3.6 35B",
    "sec_per_task": 210
  }
]

這些是已發布的第三方數據,根據 Artificial Analysis 在發布時回報的每項工作所需分鐘數換算而來,測試環境是代管的 GPU endpoint,而不是 VPS。Nemotron 3.5 Lightning 平均每項工作約需 30 秒,其中 gpt-oss-120b 約需 204 秒,Qwen3.6 35B 約需 210 秒。請將這些數據用於了解差距的幅度,不要將其視為你的硬體效能保證。

實際建議取決於等待的是誰。如果有人在等待 agent,或 agent 會連續執行多個呼叫,請租用 GPU 資源。如果 agent 在夜間依排程執行,且沒有人監看,則選擇大容量 RAM 的 CPU 方案也合理。無論採用哪種方案,設定方式都相同;在 VPS 上執行 Ollama 說明了方案規模,以及 GPU 執行個體與按 token 支付 API 供應商費用之間的差異。損益平衡取決於使用率:GPU 執行個體只要存在就會按小時計費,而 API token 只在使用時計費。因此,若 agent 一天大部分時間都在忙,擁有自己的伺服器較有利;若 agent 每小時只執行兩次,通常不值得。Ollama 軟體本身不會增加這項比較的成本,因為在租用的伺服器上執行不需支付軟體費用;Ollama 收費與不收費的項目則說明了 Ollama Cloud 適用的情境,適合不想租用硬體的使用者。

1M context window 並非免費

1M tokens 是該模型的上限,但 Ollama 預設並不會直接提供。Ollama 預設的視窗大小小得多,一旦對話超過該長度,就會捨棄最舊的 tokens。在預設的日誌層級下,此行為不會留下任何紀錄,因此對 Agent 而言,這看起來就像模型忘記了任務的開頭。

請務必手動設定視窗大小。若要針對整個伺服器進行設定,請編輯該服務:

sudo systemctl edit ollama

加入以下內容,然後執行 sudo systemctl restart ollama:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"

若要針對個別請求設定,請改在 options 物件中傳送 num_ctx:

curl http://localhost:11434/api/chat -d '{
  "model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
  "messages": [{"role": "user", "content": "Say ready"}],
  "options": {"num_ctx": 32768},
  "stream": false
}'

增加數值會消耗更多記憶體,因為 KV cache 會隨著允許的 token 數量增加而成長。調高數值並重啟後,再次執行 ollama ps 並觀察回報的容量變化。若變更後 PROCESSOR 欄位從 100% GPU 變為 split,代表 KV cache 將模型層擠出了 VRAM,導致運作速度大幅下降。在 Ollama 中選擇 num_ctx 詳細說明了此權衡。請勿僅因為模型卡(model card)允許就設定為 1000000,因為記憶體配置會預先執行,導致載入直接失敗。

將其整合至常駐代理程式

Ollama 的模型函式庫頁面記載了一項捷徑,可啟動已指向該模型的支援代理程式:

ollama launch claude --model nemotron-3.5-lightning

該頁面列出了 claude、opencode、openclaw 與 hermes 等選項。此子指令需要較新版本的 Ollama,請先檢查 ollama --version,若版本過舊,請自行將代理程式指向 API。Ollama 提供了相容於 OpenAI 的端點,大多數代理程式框架皆可支援:

export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollama

Ollama 會忽略 API 金鑰,但大多數客戶端若未設定金鑰則無法啟動。關於框架端的設定,請參閱 將程式開發代理程式指向 Ollama 以及 建置您自己的 OpenClaw 代理程式。

當代理程式在背景常駐執行時,有兩項伺服器設定至關重要。OLLAMA_KEEP_ALIVE 用於控制模型在最後一次請求後保留於記憶體中的時間;預設值會在五分鐘後卸載模型,導致下一次呼叫時必須重新載入。在沒有 GPU 的情況下,處理 25 GB 的檔案時,此延遲足以造成逾時。請設定 OLLAMA_KEEP_ALIVE=-1 以確保模型常駐。OLLAMA_HOST=0.0.0.0:11434 可讓 API 接受來自其他機器的連線,由於此設定不具備任何驗證機制,請務必僅在防火牆規則保護下或私有網路內開放。

常見失敗模式與對應訊息

拉取映像檔立即失敗。 Error: pull model manifest: file does not exist 表示該標籤不存在。標籤名稱必須完全相符,因此請從 library 頁面複製標籤,不要自行猜測量化後綴。

模型無法載入。 Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) 表示目前設定下,該標籤超出此方案的容量。請改用較小的量化版本,或降低 OLLAMA_CONTEXT_LENGTH,因為 KV cache 也會計入這項需求。

11434 埠沒有回應。 curl: (7) Failed to connect to localhost port 11434 表示服務未執行,或未監聽預期的位置。請查看 systemctl status ollama 與 journalctl -u ollama -n 50。如果你也手動啟動了 ollama serve,第二個執行個體會以 Error: listen tcp 127.0.0.1:11434: bind: address already in use 結束。

服務有回應,但速度非常慢。 先檢查 ollama ps,再進行其他變更。在 GPU 機器上,只要 PROCESSOR 欄位出現任何 CPU 使用量,就表示部分模型已移出 VRAM。請降低 context,或改用較小的量化版本。在沒有 GPU 的機器上,速度慢是預期結果,無法透過設定修正。

代理程式執行任務到一半忘記指示。 對話已超過 context window,最舊的 tokens 會在無提示的情況下遭到捨棄。請提高 OLLAMA_CONTEXT_LENGTH,再以 ollama ps 確認模型仍可容納。如果已無法容納,應改用更大容量的機器,而不是縮小視窗。

這個模型與其他選項的比較

對於小型工作負載而言,託管 30B MoE 模型的成本很高。如果已有足以處理工作需求的 dense 8B 模型,執行成本會低得多,載入時間也只需幾秒;在 VPS 上比較 8B 與 27B 的 Qwen 3可直接協助判斷。若要更全面了解特定方案實際能容納哪些模型,請先參閱可自行託管哪些 AI 模型。如果計畫同時提供多個 agent,而不是只服務一個 agent,請先閱讀Ollama 與 vLLM 的比較。Ollama 可以平行處理對同一模型的請求,但 OLLAMA_NUM_PARALLEL 的預設值為 1,因此在未調整設定的情況下,第二個 agent 的請求必須排隊,直到第一個請求完成。對此模型而言,提高該數值也沒有幫助:截至 Ollama v0.40.11,排程器會強制這個標籤所使用的 nemotron_h_moe 架構一次只處理一個請求,並記錄 model architecture does not currently support parallel requests。對於確實接受此設定的模型,提高該數值會增加記憶體需求:Ollama 的 FAQ 表示,所需 RAM 會按 OLLAMA_NUM_PARALLEL 倍的 OLLAMA_CONTEXT_LENGTH 擴展,因此對大型模型而言,這項乘數就是單一使用者設定開始無法擴展的地方。

FAQ

我應該在 Linux VPS 上拉取哪個 Nemotron 3.5 Lightning 標籤?

請使用 nemotron-3.5-lightning:30b-a3b-q4_K_M。該版本大小為 25 GB,包含完整的 1M 最大上下文,而且是 latest、30b 與 30b-a3b 在 2026 年 10 月 25 日查詢時回傳的建置版本;不過,該函式庫已在 10 月中旬將這些指標移至個別摘要。請明確指定此名稱,不要拉取 latest,如此一來,未來若重新發布該指標,便不會在你未察覺的情況下改變代理程式的行為。mlx 標籤是 Apple silicon 建置版本,30b-a3b-nvfp4 也是如此,且兩者共用 30b-a3b-mlx 摘要。在 Linux 上使用它們沒有幫助。

Nemotron 3.5 Lightning 需要多少 RAM?

NVIDIA 未公布 Ollama 建置版本的最低記憶體需求,因此請實際測量,不要估算。拉取標籤後執行模型一次,並在模型載入期間讀取 ollama ps:它會顯示實際佔用的大小,以及模型是載入 GPU 還是 CPU。預設標籤的下載大小為 25 GB,這只是最低需求,因為 KV cache 會額外佔用記憶體,且會隨你設定的上下文視窗增長。若方案容量不足,Ollama 會以 model requires more system memory 拒絕執行,並列出這兩個數值。

沒有 GPU 的 VPS 可以執行 Nemotron 3.5 Lightning 嗎?

可以,前提是方案具備足夠的 RAM 以容納模型權重。MoE 架構也有幫助,因為每個 token 只會計算約 30 billion 個參數中的 3 個。問題在於速度。沒有 GPU 時,模型效能受記憶體頻寬限制,因此增加 vCPU 幾乎不會改善結果。使用固定提示執行 ollama run --verbose,讀取 eval rate 行,再根據代理程式的截止時間評估該數值。若是夜間執行的批次工作,通常可以接受。若需要讓人員等待結果,通常不適合。

為什麼 Ollama 沒有提供完整的 1M 上下文視窗?

1M 是模型的最大值,不是 Ollama 的預設值。Ollama 使用小得多的視窗;對話超過該大小後,會捨棄最早的 token,且不會顯示錯誤,因此看起來像是代理程式忘記自己的指示。請在 systemd 服務上設定 OLLAMA_CONTEXT_LENGTH,或針對每個請求傳入 num_ctx。請逐步提高設定值,並在每次調整後重新檢查 ollama ps,因為 KV cache 的記憶體用量會隨視窗大小增加,並可能使模型層被移出 GPU。

Nemotron 3.5 Lightning 可免費用於商業用途嗎?

NVIDIA 的模型卡將此模型列為 OpenMDW-1.1 授權,並標示為可供商業使用;上述資訊已於 2026 年 10 月 25 日確認。Ollama 的函式庫頁面則將其下載內容所附的授權標示為 NVIDIA Open Model License Agreement,因此在依賴任一授權前,請先閱讀兩者。這些授權涵蓋你自行下載並執行的模型權重,但不涵蓋技術堆疊中的其他軟體。因此,請另外確認代理程式框架及所連接工具的授權,並在將此模型用於任何合約事項前閱讀目前版本的模型卡。

這篇文章對您有幫助嗎?