SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor · 已更新 2026-11-11

Ollama 在 VPS 執行 Qwen 3.8 27B:RAM 與速度

Qwen 3.8 27B 的 Ollama 標籤是 qwen3.8:27b。了解 CPU only VPS 的 RAM、速度計算,以及 8 至 64 GB 方案哪些能執行。

可以在沒有 GPU 的 VPS 上執行 Qwen 3.8 27B 嗎?

若要在 VPS 上執行 Qwen 3.8 27B,需要使用 qwen3.8:27b 標籤。截至 21 October 2026,Ollama library 已提供可在本機 pull 的標籤:27.3 billion 個參數、Q4_K_M 量化、Apache 2.0 授權、256K context window,以及 18 GB 的下載內容,其中包含約 0.9 GB 的 vision projector。Ollama 在 v0.32.12 中加入 Qwen 3.8 27B 支援,該版本於 14 August 2026 發布,因此較舊的安裝必須先升級。截至 29 October 2026,最新的 stable release 是 v0.40.13,於 28 October 2026 發布。

簡短答案是:可以在 32 GB 以上的 VPS 上執行,但速度很慢。27B dense model 使用 Q4 時,光是儲存權重就需要約 17 GB RAM,還未儲存任何 context token。因此 8 GB 和 16 GB 方案完全不適用。在常見的雙通道 DDR4 VPS 上,上限約為 3 tokens per second,速度低於大多數人的閱讀速度。

較早的 27B 標籤仍位於 library 中:qwen3.6:27b 和 qwen3.5:27b 都是大小相近的 Q4_K_M build。Qwen3.8-27B 沿用 Qwen3.6-27B 的 architecture,而兩者的 official config files 顯示相同的 layer layout,因此下方的記憶體計算適用於兩者。複製任何 command 前,請先查看即時清單:Ollama qwen3.8 標籤頁面。這裡的計算取決於 parameter count、每個 weight 的 bits 與 attention layout,而不是 version number。

要拉取哪個 Ollama 標籤,以及如何檢查

拉取不存在的標籤會顯示明確錯誤,因此可直接在該主機上快速確認。存在的標籤仍可能無法在本機執行,這正是人們使用 資料庫中有列出、但只能由 Ollama 雲端提供服務的 GLM 5.2 時容易遇到的問題。

ollama --version
ollama pull qwen3.8:27b
ollama show qwen3.8:27b

ollama show 會顯示目前實際擁有之標籤的架構、參數數量、上下文長度與量化格式。如果參數列顯示 27.3B,且量化列顯示 Q4_K_M,表示你擁有本指南所使用的建置版本。該資料庫也提供相同權重但精度較高的 qwen3.8:27b-q8_0 與 qwen3.8:27b-bf16、27b-mtp 變體,以及標籤頁標示為 MLX 的 27b-nvfp4、27b-mxfp8、27b-mlx 與 27b-mlx-bf16 標籤。MLX 的目標平台是 Apple Silicon,而不是 Linux VPS。不同於 qwen3.6,qwen3.8 項目沒有 35b-a3b 標籤。這些 MoE(專家混合)模型仍歸在 qwen3.6 下,且在 CPU 上的行為非常不同。下文會進一步說明。

參數數量乘以每個權重的位元數

圖表Qwen3.8 27B weights in RAM, by quantisation
此圖表背後的資料
[
  {
    "label": "Q4_K_M",
    "size_gb": 17,
    "bits_per_weight": 4.98,
    "notes": "published tag qwen3.8:27b, language model file"
  },
  {
    "label": "Q5_K_M",
    "size_gb": 19.5,
    "bits_per_weight": 5.7,
    "notes": "computed, no official library tag exists"
  },
  {
    "label": "NVFP4",
    "size_gb": 18,
    "bits_per_weight": 5.27,
    "notes": "published tag 27b-nvfp4, MLX build, one file including the vision encoder"
  },
  {
    "label": "Q8_0",
    "size_gb": 29,
    "bits_per_weight": 8.5,
    "notes": "published tag 27b-q8_0, language model file"
  },
  {
    "label": "BF16",
    "size_gb": 55,
    "bits_per_weight": 16.1,
    "notes": "published tag 27b-bf16, language model file"
  }
]

公式只有一行:權重位元組數 = 參數數量 * 每個權重的位元數 / 8。若採用標準 4 bits,27.3 billion 個參數會占用 13.7 GB。隨附的 Q4_K_M tag 中,語言模型檔案大小為 17 GB,換算後實際上是每個權重 4.98 bits。

這個差距不是錯誤。K-quant 格式不會以標稱位寬儲存每個 tensor。壓縮後品質損失最大的 tensor 會配置較多 bits。Ollama 對隨附 qwen3.8:27b 檔案列出的 tensor 顯示,以下項目採用 Q6_K:輸出層、約一半的 feed-forward down projection、約一半全注意力層中的 attention V projection,以及線性注意力層中約一半的融合 QKV projection。較小的正規化 tensor 維持完整的 32-bit 精度。token embedding、attention Q 與 K projection,以及 feed-forward gate 與 up projection,則和模型大多數部分一樣維持 Q4_K。格式名稱代表的是平均值,而平均值接近 5。這種情況在另一端也相同:BF16 的 55 GB,換算後是每個權重 16.1 bits,而不是固定的 16。這裡 token embedding 和其他項目一樣採用 BF16;少量額外空間則來自檔案 metadata、維持 32-bit 的正規化 tensor,以及四捨五入到最接近 GB 的檔案大小。

請以整個 tag 為預算單位,不要只計算語言模型檔案。qwen3.8:27b 的每個 GGUF tag 也會隨附約 0.9 GB 的 vision projector,因此 Q4_K_M tag 會列為 18 GB。

官方 qwen3.8 library entry 沒有發布 Q5_K_M tag,因此 19.5 GB 這一列,是依該格式通常的每個權重 5.7 bits 計算,而不是實測值。Q8_0 幾乎是 Q4 的兩倍,達到 29 GB。在僅使用 CPU 的主機上,這項加倍會使每個 token 的記憶體流量增加一倍,因此每秒 token 數也大致減半。單就這個原因而言,Q4_K_M 就是此處適合的預設選項。如果你想了解的是品質而非記憶體方面的取捨,Q4、Q8 與 fp16 的詳細比較會說明輸出從哪裡開始劣化。

隨著內容長度增加,KV cache 的成本

權重是固定成本。KV cache(key 和 value cache,也就是模型為已看過的每個 token 保留的 attention 狀態)會隨內容長度直線增加,也是多數人實際耗盡 RAM 的地方。

圖表KV cache size by context length, Qwen3.8 27B
此圖表背後的資料
[
  {
    "label": "4k tokens",
    "kv_f16_gb": 0.25,
    "kv_q8_gb": 0.13
  },
  {
    "label": "8k tokens",
    "kv_f16_gb": 0.5,
    "kv_q8_gb": 0.25
  },
  {
    "label": "16k tokens",
    "kv_f16_gb": 1,
    "kv_q8_gb": 0.5
  },
  {
    "label": "32k tokens",
    "kv_f16_gb": 2,
    "kv_q8_gb": 1
  },
  {
    "label": "64k tokens",
    "kv_f16_gb": 4,
    "kv_q8_gb": 2
  },
  {
    "label": "128k tokens",
    "kv_f16_gb": 8,
    "kv_q8_gb": 4
  }
]

這些數據來自模型本身的設定檔。Qwen3.8-27B 和 Qwen3.6-27B 一樣,都是混合 attention 模型。64 個 layer 中只有 16 個使用完整 attention,並保留會隨每個 token 增加的 cache;這些 layer 在 GQA(grouped-query attention)下有 4 個 key/value head,head dimension 為 256。其餘 48 個 layer 使用線性 attention(Gated DeltaNet),改為保留固定大小的狀態。依我的計算,無論內容長度為何,每個對話 slot 約需 150 MB。f16 模式下,每個 token 需要 64 KiB,因此 32k 個 token 需要 2 GB,128k 個 token 則需要 8 GB。不要只依賴我的計算結果,請在自己的主機上驗證。載入模型後讀取 ollama ps 的 SIZE 欄位;該欄位會將權重、cache 與額外負擔合併為單一數值。

模型卡上的 256K context 在這個架構上可以達成,但並非沒有成本。以 f16 填滿整個 context,除了權重之外約需 16 GB 的 cache;而這台機器已經為權重使用 17 GB。Ollama 預設不會提供完整的 context window。其 context-length 文件會依 VRAM 設定預設值:少於 24 GiB 時為 4k 個 token,24 至 48 GiB 時為 32k 個 token,48 GiB 以上時為 256k 個 token。僅使用 CPU 的 VPS 完全沒有 VRAM,因此會落在 4k 層級;你可以透過 OLLAMA_CONTEXT_LENGTH 明確調高。這個伺服器層級的變數不是唯一的控制方式;在個別請求中設定 num_ctx,可以讓其他請求維持較低的預設值,同時讓單一長時間工作取得較大的 window。請分階段調高,並在每次變更後檢查 ollama ps。

有兩個設定可以降低 cache 使用量。OLLAMA_KV_CACHE_TYPE=q8_0 會以 8 bits 而非 16 bits 儲存 cache,使 32k 個 token 的需求從 2 GB 降至 1 GB。這需要 flash attention,因此也要設定 OLLAMA_FLASH_ATTENTION=1,並確認 ollama ps 中的數值確實下降,不要假設設定已套用。如果之前沒有調整過 cache type,Ollama 中比較 q8_0 與 f16 KV cache 的操作說明會示範如何設定這兩個變數,並讀取變更前後的數值。OLLAMA_NUM_PARALLEL=1 同樣重要。Ollama 可以同時處理多個請求,而每個 slot 都會取得自己的 context 區段,因此提高平行處理數會悄悄倍增你原本估算的 cache 需求。目前的預設值已經是 1,以下的覆寫設定會將它固定為 1。如果這台主機會供多人使用,問題會從這種倍增開始;自架模型能服務的並行使用者數,早在受到 core 數量限制之前,就已由 cache slot 數量與佇列深度決定。

8、16、32 與 64 GB RAM 可容納的內容

圖表Usable context by VPS RAM tier, f16 cache, headless Linux
此圖表背後的資料
[
  {
    "label": "8 GB",
    "q4_max_ctx_ktok": 0,
    "q8_max_ctx_ktok": 0,
    "notes": "Weights alone exceed the box. Use a 4b or 8b model."
  },
  {
    "label": "16 GB",
    "q4_max_ctx_ktok": 0,
    "q8_max_ctx_ktok": 0,
    "notes": "17 GB of weights does not fit in 16 GB of RAM."
  },
  {
    "label": "32 GB",
    "q4_max_ctx_ktok": 128,
    "q8_max_ctx_ktok": null,
    "notes": "Q4 fits with room for long context. Q8 weights fit, but usable context needs a measured total memory budget."
  },
  {
    "label": "64 GB",
    "q4_max_ctx_ktok": 256,
    "q8_max_ctx_ktok": 256,
    "notes": "Both fit with the full 256K window."
  }
]

將這兩個數字視為可在權重與 vision projector 之外容納的上下文 token 數量(單位為千),條件是在無頭 Linux VPS 上使用 f16 cache,並預留約 1.5 GB 給作業系統及少量額外緩衝。0 表示權重本身就無法容納,因此沒有任何內容能容納;null 表示權重可以容納,但尚未確認該層級可用的上下文數值。

8 GB 與 16 GB 都不是勉強可行的配置。17 GB 的權重無法放入 16 GB RAM,變更上下文設定也無法解決。增加 swap 同樣無法補救。Ollama 會對 GGUF 檔案使用 memory-map,因此常駐頁面超過 RAM 後,核心便會開始將頁面逐出並重新讀取;之後每產生一個 token,都會從磁碟讀取數 GB 的資料。此時主機會維持高 iowait,產出速度低於每秒一個 token。

32 GB 是入門配置。權重占用 17 GB,vision projector 約占 0.9 GB,剩餘約 12.5 GB;這足以在保留緩衝的情況下容納約 128k 個 f16 context token。容量為 29 GB 的 Q8_0 權重可放入 32 GB,但可用上下文也取決於 vision projector、cache、作業系統及 runtime 的記憶體需求。在將 Q8 視為此層級可執行之前,請先在你的主機上確認完整的記憶體占用量。

64 GB 會寬裕許多。Q4 可為完整的 256k 視窗保留空間,Q8_0 權重也能在其後容納完整的 256k 上下文。若你打算為了 Q8 購買 64 GB,請先確認實際獲得的效益:輸出品質略高,但速度只有一半,而且主機原本就已經很慢。Q4 在 32 GB 配置上已可達到 128k token,對幾乎所有人而言,這是更好的取捨。

VPS 上的 CPU 推論速度有多快?

從密集模型產生 1 個 token,代表每個權重都要從記憶體讀取 1 次。不是只讀取其中一部分,而是全部讀取。因此,速度上限不是核心數,而是記憶體頻寬除以權重大小。使用 Q4 時,每個 token 需要 17 GB 的記憶體流量。

圖表Theoretical token ceiling from memory bandwidth, 17 GB of weights
此圖表背後的資料
[
  {
    "label": "DDR4-2666, 2 channel",
    "mem_bandwidth_gb_s": 42.6,
    "ceiling_tok_s": 2.5
  },
  {
    "label": "DDR4-3200, 2 channel",
    "mem_bandwidth_gb_s": 51.2,
    "ceiling_tok_s": 3
  },
  {
    "label": "DDR5-4800, 2 channel",
    "mem_bandwidth_gb_s": 76.8,
    "ceiling_tok_s": 4.5
  },
  {
    "label": "DDR4-3200, 8 channel",
    "mem_bandwidth_gb_s": 204.8,
    "ceiling_tok_s": 12
  },
  {
    "label": "DDR5-4800, 12 channel",
    "mem_bandwidth_gb_s": 460.8,
    "ceiling_tok_s": 27.1
  }
]

這些是理論上限,不是實測值。實際輸出速度約為顯示數值的 50 到 70%,因為記憶體延遲與預取效率有限,無法達到理論峰值。雙通道 DDR4-3200 VPS 的上限為每秒 3 個 token,因此預期約為 2。雙通道 DDR5-4800 主機的上限為 4.5,因此預期約為 3。

大型伺服器列出的數值需要特別注意。12 通道 EPYC 平台具備 460.8 GB/s 的記憶體頻寬,上限為每秒 27.1 個 token,但你租用的不是整台 EPYC。記憶體頻寬是整台主機共用的資源,由所有租戶共同使用,因此 8 vCPU 方案不會提供 12 通道的專用頻寬。以 GPU 為主的指南通常完全略過這點,這也是相同模型在兩個 vCPU 數相同的 VPS 方案上,速度可能相差 3 倍的原因。

增加 vCPU 很早就不再有幫助,原因相同。當核心要求資料的速度超過記憶體控制器的供應能力後,額外執行緒只會增加排程負擔,不會帶來其他效益。Ollama 沒有設定全伺服器執行緒數的環境變數,因此請在請求 options 中將 num_thread 設為實體核心數,先進行測量,再嘗試使用一半的數值。在許多共用方案上,較低的設定反而較快。

提示詞處理方式不同。Prefill 是在第一個 token 出現前掃描輸入內容的階段,主要受計算能力限制,而不是記憶體頻寬限制,因此會隨核心數增加而提升。實際上,大型提示詞會讓輸出開始前出現較長的等待,之後才以如上的穩定低速率輸出。請使用 --verbose 分別測量這兩個階段;它會為每個請求列印 prompt eval rate 和 eval rate。

如果密集 27B 模型的速度確實太慢,放棄 CPU 前先查看 qwen3.6:35b-a3b 標籤。這些標籤每個 token 約啟用 3 billion 個參數,而不是全部 27.3 billion 個,因此即使磁碟上的檔案更大,每個 token 的記憶體流量仍會降低接近一個數量級。這是以 RAM 佔用量換取速度。此處執行環境的選擇也很重要,而 Ollama 與 llama.cpp 對相同的底層推論程式碼提供不同的 CPU 調校控制項。

何時應改為租用 GPU

圖表GPU memory bandwidth and token ceiling on the same 17 GB of weights
此圖表背後的資料
[
  {
    "label": "L40S, 48 GB",
    "mem_bandwidth_gb_s": 864,
    "ceiling_tok_s": 51
  },
  {
    "label": "RTX 4090, 24 GB",
    "mem_bandwidth_gb_s": 1008,
    "ceiling_tok_s": 59
  },
  {
    "label": "A100, 80 GB",
    "mem_bandwidth_gb_s": 2039,
    "ceiling_tok_s": 120
  },
  {
    "label": "H100 SXM, 80 GB",
    "mem_bandwidth_gb_s": 3350,
    "ceiling_tok_s": 197
  }
]

將相同公式套用到已發布的 GPU 記憶體頻寬時,答案會落在不同的類別。24 GB 消費級顯示卡在這些權重下的上限為 59 tokens per second。目前的資料中心顯示卡可達 197。這不是調整執行緒數量就能彌補的差距。該顯示卡的記憶體頻寬為 1008 GB/s,而 VPS 只有數十 GB/s。

因此,應依工作負載而非個人偏好劃定界線。當工作是非同步執行,且沒有人在等待結果時,CPU 推論就是合適的選擇,例如在夜間摘要一批文件,或在你睡覺時執行每晚的分類工作。只要有人正在等待輸出,或請求抵達的速度超過主機完成請求的速度,就應租用 GPU。CPU 執行環境不只限於一次處理一個請求:llama.cpp server 文件說明 CPU 與 GPU 都支援平行解碼和連續批次處理,Ollama 也能處理平行請求,但會使用更多快取。決定因素是你實際測得的服務處理速率與請求抵達速率,因此應在自己的主機上測試具代表性的批次。請求抵達速度一旦超過該速率,佇列就會增長。

成本比較不像表面上那麼直接。64 GB VPS 不論模型是否載入,每小時都會持續計費;按小時計費的 GPU 租用服務則會將運算費用與儲存費用分開,而 GPU 停止後儲存費用仍可能持續產生。如果你的實際使用量是每天 2 小時,租用 GPU 可能同時更快且更便宜。先計算使用率,再估算價格。選擇具備 GPU 的 VPS 說明應檢查執行個體本身的哪些項目,而在 GPU 上提供並行請求時,vLLM 會因正確進行批次處理而超越 Ollama。

還有第三個常被忽略的選項。保留 CPU 上的 27B 模型處理批次工作,並在互動式路徑前端配置代管的 API 模型。沒有任何要求規定同一個模型必須同時處理這兩種工作。

安裝 Ollama 並測量自己的主機

安裝指令碼是官方提供的版本,並會設定以專用的 ollama 使用者身分執行的 systemd 服務。

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
free -g

ollama --version 應輸出 0.32.12 或更新版本;這是第一個支援 Qwen 3.8 27B 的版本。在下載任何內容前,先檢查 free -g。該指令以 GiB 為單位,因此標示配備 32 GB RAM 的方案,可能會在 total 欄顯示約 29;請將可用記憶體與上述權重及快取預算比較。

請在 systemd override 中設定執行階段選項,不要在 shell 中設定。模型會在服務內執行,因此不會取得互動式環境的設定。

sudo systemctl edit ollama
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_KEEP_ALIVE=60m"
sudo systemctl restart ollama
ollama pull qwen3.8:27b
ollama run qwen3.8:27b --verbose "Name two Linux distributions."

--verbose 輸出就是要取得的測量結果。eval rate 是產生內容時每秒處理的 tokens 數。prompt eval rate 是 prefill 速度。load duration 是從磁碟讀取權重所需的時間,因此會設定 OLLAMA_KEEP_ALIVE=60m:在 CPU 上,每次請求都從磁碟重新載入 17 GB 的權重,所需時間可能比處理請求本身還長。預設閒置逾時為 5 分鐘;批次佇列中項目之間若有間隔,就會反覆支付這次載入成本。保留模型常駐的選項涵蓋每個請求的 keep_alive 欄位,也涵蓋讓設定在重新開機後仍然生效的方法。

模型載入期間,從第二個終端機檢查記憶體占用量。

ollama ps

SIZE 欄是包含 KV cache 在內的實際記憶體占用量,應接近權重、vision projector,以及 KV 圖表中對應您上下文長度的列之總和。在 8192 tokens 且使用 8-bit cache 時,快取的成長部分僅約四分之一 GB;若維持 f16,則為 0.5 GB,此外還要加上固定的 linear-attention state。PROCESSOR 欄應顯示 100% CPU。若顯示其他內容,表示某個程序已占用 GPU,因此本指南中的速度數據不適用於您的主機。

失敗模式與您會看到的確切字串

模型拒絕載入。 Ollama 會輸出一行,同時列出兩個數值,格式為 model requires more system memory (18.6 GiB) than is available (15.2 GiB)。這是較理想的失敗情況,因為 Ollama 在配置記憶體前就完成檢查,而不是讓 kernel 自行處理。請降低 context length、改用較小的 tag,或升級至更大的方案。

程序在回答中途消失。 用戶端不會顯示有用資訊,而 journalctl -u ollama -n 50 會顯示服務正在重新啟動。執行 dmesg -T | tail;若看到內容為 Out of memory: Killed process ... (ollama) 的行,表示 kernel 的 OOM killer 終止了程序。這通常發生在預先載入檢查通過,但長時間對話期間 cache 增長超過估算值時。請降低 context length。

pull 立即失敗。 Error: pull model manifest: file does not exist 表示該 tag 不在 library 中。尚未 release 的版本號會產生完全相同的結果,tag 中的任何拼字錯誤也一樣。qwen3.8:27b 本身是有效的 tag,因此若該確切 tag 失敗,請先檢查拼字。先在 library 頁面確認 tag,再判斷是否為網路問題;若有效的 tag 可以 pull,但無法執行,請將 ollama --version 與 0.32.12 比對。

所有功能都正常,但速度慢得無法使用。 在 RAM 足夠的主機上,若速度低於每秒 1 個 token,通常表示發生 paging,而不是運算能力不足。產生輸出時執行 vmstat 1。si 或 so 欄位若非 0,表示 kernel 正在使用 swap;解決方式是減少 context 或載入較少模型。若 wa 持續偏高但沒有 swap 活動,表示 memory-mapped weights 正從磁碟重新讀取,也就是這些權重實際上無法完整放入記憶體。

第一個 token 需要 30 秒,之後輸出速度加快。 這是 prefill,屬於正常現象。每次請求未命中 cache 時,都必須重新處理冗長的 system prompt,因此在進行其他調校前,請先縮短 system prompt。

CPU-only 27B 實際適合哪些用途

請根據數據,而不是希望,設定合理預期。每秒 2 到 4 個 token 時,500 個 token 的回答需要 2 到 4 分鐘。這不適合聊天,卻完全可以用於佇列處理。模型回覆前若會先進行推理,情況會更慢,因為隱藏的推理 token 也會以相同的低速率產生。因此,讓推理強度符合工作需求,是少數不必更換模型就能縮短回覆時間的方法。文件摘要、批次標記、從大量檔案擷取欄位,以及無人值守的程式碼審查都能容忍這種速度,因為沒有人需要等待即時回覆。程式碼輔助正好處於臨界點,因此讓程式碼代理使用你託管的模型,適合用於產生 commit 訊息和測試樣板等背景工作,不適合用於需要坐著等待的行內建議。

真正重要的是隱私。模型執行於你租用並控制的硬體上,不會有請求離開該主機,也沒有按 token 計費。即使每秒只有 3 個 token,對受監管資料而言仍很有價值。但也應誠實地與替代方案比較:自行託管 frontier-scale 模型需要多一個數量級的硬體資源,而 CPU 上的 27B 是這條曲線中最便宜、且輸出仍值得閱讀的選項。

若要對上述用途進行基準測試,就需要真實的結構化輸入;但多數公開資料 API 在測量吞吐量前就要求建立帳戶。Strasmore 的示範 schema(由我們執行)提供美國股票與選擇權資料的唯讀 SQL 說明,不需要 key 或註冊,並使用包含資料庫名稱的資料表名稱:https://ai.strasmore.com/api/demo/sql?sql=SELECT ticker, close FROM global_markets.delayed_stocks_minute_aggs LIMIT 5。示範限制為每次呼叫 500 列與 20 秒,資料歷史自 1 January 2025 起,對每秒處理 2 個 token 的主機而言綽綽有餘。完整欄位清單位於 https://ai.strasmore.com/api/demo/schema。

如果這是你第一次安裝 Ollama,在 VPS 上執行 Ollama 的完整教學涵蓋本指南假設你已具備的服務設定、HTTP API 和防火牆規則。不要將 port 11434 暴露到網際網路。Ollama 的本機 API 不需要驗證,因此任何能連線到該 port 的來源都可以使用你的模型。

FAQ

Ollama 上有 Qwen 3.8 27B 模型嗎?

有。截至 21 October 2026,Ollama library 已有 qwen3.8 項目,而 qwen3.8:27b(也標記為 latest)是容量 18 GB 的 Q4_K_M 版本,採用 273 億參數的 dense model,包含 vision projector,context window 為 256K。此模型可在本機執行,且需要 Ollama v0.32.12 或更新版本。較舊的 qwen3.6:27b 與 qwen3.5:27b 標記仍列在清單中。請查看 https://ollama.com/library/qwen3.8/tags 取得目前清單。不存在的標記會因 Error: pull model manifest: file does not exist 而執行失敗。

在 VPS 上執行 Qwen 27B 模型需要多少 RAM?

Q4_K_M 實際上至少需要 32 GB。權重大小為 17 GB,vision projector 約增加 0.9 GB,作業系統約需 1.5 GB,而在 f16 下,context 每增加 16,000 個 token,KV cache 約增加 1 GB,因為模型的 64 層中只有 16 層會保留持續成長的 cache。16 GB 方案完全無法容納權重;swap 也沒有幫助,因為檔案採用 memory-mapped,kernel 只會在每個 token 到來時重新從磁碟讀取。64 GB 可容納完整的 256K window,即使使用容量為 29 GB 的 Q8_0 權重也一樣。

27B 模型在 CPU 上每秒能產生多少 token?

將記憶體頻寬除以權重大小,再取其 50% 至 70%。雙通道 DDR4-3200 VPS 的上限約為 3 token/秒,實際約可達 2。雙通道 DDR5-4800 主機的上限約為 4.5,實際約可達 3。更多通道的 server platform 在紙面上的表現更好,但記憶體頻寬由主機上的所有 tenant 共用,因此請使用 ollama run qwen3.8:27b --verbose 測量自己的效能,並查看 eval rate 行。

僅使用 CPU 的 VPS 應該選 Q4 還是 Q8?

幾乎所有情況都應選 Q4_K_M。Q8_0 的容量為 29 GB,相較之下 17 GB 的 Q4_K_M,其權重可放入 32 GB,但 projector、cache、作業系統與 runtime 會使剩餘空間很少;64 GB 才有足夠空間支援較長的 context。Q8_0 每個 token 需要搬移的記憶體幾乎是兩倍,因此每秒 token 數大約會減半。對多數工作而言,27B 模型使用 Q4_K_M 與 Q8_0 的品質差異不大。與其升級量化格式,不如將 RAM 用於更長的 context,因為這會改變模型能執行的工作,而不是只改變措辭方式。

什麼時候租用 GPU 會比大型 RAM VPS 便宜?

當使用率低,或有人需要等待結果時。記憶體為 24 GB 的 GPU 在這些權重上的理論上限約為 59 token/秒,而一般 VPS 預估約為 2 或 3;GPU 的按時計算費用會在 instance 停止時停止計費,但 persistent storage 仍可能產生費用。64 GB VPS 無論模型是否載入,整個月份都會持續計費。請先計算每天實際產生 token 的時數。損益平衡點取決於租用費率、runtime 與 persistent storage 費用。持續執行的低優先級批次工作,適合使用長時間開啟的 VPS。

這篇文章對您有幫助嗎?