開放模型能取代 Claude 方案嗎？

簡短結論

以開放模型取代 Claude 方案，有些工作可行，有些則會失敗，而且分界相當明確。開放權重模型是指可自行下載並執行其權重的模型。這類模型現在已能讀取長篇文件，並以你使用的語言撰寫品質足夠的草稿，因此許多人不再為這類工作付費。它們可在監督下執行程式撰寫迴圈，但無法涵蓋最複雜的推理工作，而且並非免費，因為按月計費的 GPU（graphics processing unit）伺服器，成本通常高於其所取代的訂閱方案。如果負擔得起，請購買該方案。本頁說明的是：如果你無法購買，或認為該方案的價格不值得，哪些模型可在你能控制的硬體上執行。

方案費用，以及你要替換的內容

截至 2026 年 10 月，Claude Pro 每月 $20；一次預付 1 年時，每月為 $17。Max 每月 $100 起，並提供 2 個高於 Pro 的使用量級距。Team 每個席位每月 $25，按年計費時則為每個席位每月 $20。另有使用限制較嚴格的免費方案。以上是價格。至於這些價格背後的考量，應參閱相應頁面：你需要哪個方案會依使用量而非價格比較各個級距；Pro 頁面說明其限制實際會在哪些情況造成影響；若工作內容是撰寫程式，則應閱讀各方案的 Claude Code 費用。

如果每月訂閱費用不適合你，先查看改按 token 計費，而非按月付費，再考慮硬體。API（應用程式介面）沒有每月最低消費，因此每週使用助理 2 小時的人，可能比任何訂閱方案支付更少的費用。輸入與輸出 token 分開計價，因此值得實際計算，而不是直接猜測。

請先釐清離開託管服務的代價。託管的 frontier model 能維持一長串相互依賴的步驟一致，也能從自身的工具錯誤中恢復，不會因此卡住。改用自己的主機，換來的是固定的每月費用、沒有逐則訊息限制，以及資料完全不離開你的機器。但模型版本也會因此固定；當你已針對某個版本調整提示時，這點尤其重要。

依工作任務評估模型，不要只看排行榜

基準測試表是根據一組與你實際工作無關的任務平均結果排名。某個模型可以在程式設計基準測試中勝出，但仍不適合用來閱讀俄文合約。因此，請將自己的使用情境拆分成不同工作，分別評估每一項。多數人付費訂閱主要是為了完成 4 類工作：代理式程式設計迴圈、閱讀長篇文件、翻譯與撰寫，以及針對不熟悉問題進行深入推理。前 3 類目前都有可行的公開答案。第 4 類則沒有。

開放式模型能執行代理式程式設計迴圈嗎？

代理式迴圈是指模型讀取檔案、執行命令、讀取輸出，然後再次編輯，而且會重複多次，不需要你逐步核准。開放式模型可以執行這類迴圈，但需要監督，原因在於算術，而不是觀點。錯誤會在迴圈中累積，因為每個步驟的錯誤都會成為下一個步驟的輸入。模型在單一步驟中有九成正確率，執行 20 個步驟後，整體結果仍更常出錯。託管的前沿模型也無法避免這點。它的單步正確率較高，但迴圈越長，這項優勢越明顯。因此，本機執行這類工作時，應採用短迴圈，並在結尾進行檢查：處理一個檔案、一個函式，以及一個必須通過的失敗測試。

多數本機程式設計環境最後會選用以下 2 個模型。先安裝 Ollama，再拉取其中一個：

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen3-coder

qwen3-coder 是一個已發布的 30B 混合專家模型，每個 token 啟用 3.3B 個參數，並提供 256K context window。ollama run devstral 則是 Mistral 以 Apache 2.0 授權發布的 24B 代理式程式設計模型，提供 128K context window。這些是供應商公布的數據，不是我們測量的結果。若要了解各模型需要多少硬體資源，以及在何種量化設定下執行（量化會以較低精度儲存權重，縮小模型，但會犧牲部分準確度），請參閱實際能自行託管的模型以取得測量結果，並參閱在 VPS 上執行 Qwen 3 模型的逐步說明。

Ollama 在 http://localhost:11434/v1/ 提供與 OpenAI 相容的端點，因此多數程式設計工具只需變更一個 base URL 即可連線。用戶端函式庫仍要求填入 API key 欄位，但伺服器會忽略該值。對於範圍明確的請求，預期可獲得良好結果：撰寫這個函式、轉換這份設定、解釋這段 stack trace、為這個檔案撰寫測試。對於開放式請求，預期結果較弱：找出這 40 個檔案中某處發生錯誤的原因。第二種情境正是較長的迴圈，單步錯誤會在其中持續累積。

在自己的電腦上閱讀長篇文件

這是本機模型最接近付費模型的工作，因為重點是找出並濃縮文字中已有的內容，而不是憑空產生新內容。這也是最適合將資料留在本機的工作類型，因為文件可能包含合約、醫療紀錄、內部報告，以及任何受保密協議約束的內容。

這裡的陷阱是 context window，而且失敗時不會顯示錯誤。Ollama 會根據偵測到的 GPU 記憶體選擇預設值：VRAM 低於 24 GiB 時為 4k tokens，24 至 48 GiB 時為 32k，48 GiB 以上時為 256k。在較小的顯示卡上，如果輸入一份 40 頁的文件，超過前 4k tokens 的內容會在模型讀取前遭到捨棄，因此你會得到一份語氣流暢、但只摘要前幾頁的內容，整個過程也不會顯示任何錯誤。具備 24 GiB 以上 VRAM 的 GPU server 會從 32k 開始，可容納更多內容；但長篇合約或俄文文件仍可能超過這個上限，並產生相同的無提示結果。Ollama 較舊的 FAQ 頁面仍標示固定的 4096 tokens；其專用的 context-length 文件與發佈版本的程式碼則都使用依 VRAM 分級的設定。請明確設定大小，避免結果取決於實際使用的顯示卡：

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

也可以針對每個要求設定相同的值，使用 num_ctx；或以互動方式使用 /set parameter num_ctx。ollama ps 會在 CONTEXT 欄中顯示實際配置的大小。文件所公布的 context window 是上限，不是保證值。記憶體用量會隨 KV cache 增加；KV cache 會儲存截至目前每個 token 的 key 與 value。因此，長篇輸入會消耗載入模型權重後剩餘的 GPU 記憶體，導致程序結束，或溢出至系統記憶體後速度大幅下降。對於位於極長輸入中段的事實，準確度也會降低。實務上的做法是將文件分割成多個區塊，逐一詢問各區塊，再自行整合答案。

以你實際使用的語言進行翻譯與撰寫測試

這是選用開放模型最有力的理由，也是英文基準測試最無法提供判斷依據的情況。請使用你實際撰寫的語言進行測試。多數 tokenizer 將斯拉夫文字切分成比英文相同文字更多的 token，因此相同長度的俄文文件會更快填滿 context window，生成速度也比英文文件慢。這是 tokenizer 的特性，不代表模型的語言能力。

在比較任何模型前，先建立固定的測試集。從你自己的工作中選出 20 份實際文件，並為每份文件準備一個你會接受的輸出。讓每個候選模型都處理相同的 20 份文件，再由你親自閱讀結果。任何排行榜都無法替你衡量這些結果，因為評估關鍵在於你的領域詞彙與語體。

開放模型已有俄語微調版本，並且公開發布，其中包括 Vikhr 系列。不要假設專用微調版本一定優於目前的新一代通用模型。較新的多語言基礎模型，通常可能比針對俄語微調的舊模型更擅長俄語，因為基礎模型本身的改進幅度超過了微調帶來的提升。讓兩者都處理你的 20 份文件，再以結果決定。

無法彌合的差距

需要深入推理的工作，才值得保留付費選項。長串相依步驟、在未撰寫的程式碼中進行設計決策，以及需求本身含糊不清的問題，都是較小型開放模型最容易以最高代價失敗的情境。它會維持流暢且自信的表達，但答案中段卻是錯的。讀起來合理的錯誤答案，比完全沒有答案的代價更高，因為你必須逐行檢查，才能找出錯誤所在。

可行的設定是分流。大量工作交給你自行執行的模型。困難案例則交給按 token 計費的 API key，每月呼叫幾次即可，而且依這種用量，成本非常低。在這些情境中，為工作選擇適合的模型比其他任何地方都更重要。如果你主要是為了額度而使用 Max，請先確認自己實際使用的內容，因為那項決定和這項決定其實是同一項決定。

硬體每月實際要花多少

這是決定性的部分。GPU VPS 按月計費時，不論執行 5 小時或 500 小時，都會收取整個月的費用。閒置期間不會折價。GPU instance 每月租金通常也遠高於 Pro 訂閱費用，因此一開始就處於劣勢，必須靠使用效益追上差額。請以你實際會購買的 instance 月租費率，除以方案價格。如果答案是 5，代表這項替代方案必須提供訂閱服務無法販售的價值，例如資料留在自己的機器上，或能整夜執行且沒有每則訊息上限的 agent。GPU VPS 與 API tokens 的損益平衡提供公式與計算範例；將 token 帳單換成月租方案價格時，計算方式也相同。

有兩種方式可以調整成本。按小時計租，工作完成後停止 instance，這適合批次工作；但請確認供應商在 instance 停止後是否仍會收取磁碟費用，因為這是最容易被忽略的費用。另一種方式是在一般 CPU VPS 上執行較小的模型，完全不需支付 GPU 費用。CPU 生成速度太慢，不適合互動式程式開發迴圈；但如果只是等待一項整夜執行、摘要 400 份文件的工作，速度就不成問題。一般 VPS 的費用說明了這項成本下限。

提供服務：先用 Ollama，有多位使用者時改用 vLLM

先從 Ollama 開始，因為只需執行一個命令，便會下載並執行模型，且使用現有工具已支援的 API。實際上，它一次只能服務一位使用者。當多位使用者或多個代理程式同時連線至同一台主機時，改用 vLLM。vLLM 會批次處理請求，讓 GPU 持續運作，而不是在提示之間閒置：

uv pip install vllm --torch-backend=auto
vllm serve Qwen/Qwen2.5-1.5B-Instruct

將其中的模型 ID 替換成你選擇的模型。vLLM 會在 port 8000 上監聽，並提供相同格式的 OpenAI 相容介面，因此搬移服務時，基礎 URL 以上的設定都不必修改。

有一點安全事項必須特別注意，因為這是導致這類伺服器遭到發現的常見錯誤。Ollama 預設會在 port 11434 的 127.0.0.1 上繫結，且完全沒有任何驗證機制。在具有公開 IP 的機器上，若將 OLLAMA_HOST 設為 0.0.0.0，就會把未經驗證的模型伺服器公開到網際網路。任何掃描該埠的使用者都能耗用你的 GPU 資源，並讀取工具透過該服務傳送的所有內容。請讓它僅在 localhost 上提供服務，並透過 SSH tunnel 或 VPN 存取；或者在前方放置要求憑證的反向代理。port 8000 上的 vLLM 也需要採取相同的防護。

服務開始在某個埠上回應後，其餘就是一般的整合工作。在 VPS 上建置自己的代理程式 和 從 n8n workflow 驅動代理程式 都能使用本機 endpoint，因為它們只需要基礎 URL 和模型名稱，不需要其他設定。

如何在一週內做出決定

1. 記下你實際使用助理處理的工作，並為每項工作寫下 1 個具體範例。
2. 使用目前已有的服務執行這些範例，包括 免費方案，並保存回答。
3. 租用 GPU 伺服器 1 個晚上的時數，部署 1 個候選模型，然後用相同範例測試。
4. 將每月成本與保存的回答比較，不要與基準測試表比較。

多數人完成這一週的測試後，最後會選擇分工，而不是完全切換。大量工作交由自行託管的模型處理，複雜問題則繼續使用付費 API。這樣能降低每月帳單，同時不會犧牲複雜問題的回答品質。

FAQ

開放式模型可以取代 Claude Code 進行日常程式開發嗎？

對於簡短且範圍明確的工作，可以。撰寫函式、轉換設定檔、解釋錯誤、產生測試：本機程式開發模型都能處理，並可透過 http://localhost:11434/v1/ 的 OpenAI-compatible endpoint 連接編輯器。模型較不擅長跨越多個檔案執行長時間的自主迴圈，因為每個步驟的錯誤都會影響下一個步驟，導致迴圈逐漸偏離。請將工作拆短，保留可供比對的測試，並閱讀每個差異檔。

我應該先執行哪個開放式模型？

程式碼可選 ollama run qwen3-coder 或 ollama run devstral。一般文字與翻譯則可先使用目前的通用模型，例如 gemma4 或 qwen3.5，並選擇硬體能以你可接受的速度提供服務的最大尺寸。接著不要再繼續閱讀模型卡，直接讓每個模型處理你自己的 20 份文件，因為決定因素是你的語言與領域，而不是供應商的表格。

GPU VPS 比 Claude 方案便宜嗎？

單看價格，通常不是。每月 GPU 執行個體的費用是 Pro 訂閱的數倍，而且無論是否使用，都會收取相同費用。在你需要訂閱方案未提供的項目時，GPU VPS 具有優勢：資料不會離開你的機器、工作可整晚執行且沒有訊息上限，或費用固定且不會隨用量變動。在租用任何資源前，請先使用損益平衡頁面的公式計算成本。

本機模型處理俄文的能力能與英文相當嗎？

目前的多語言開放式模型能以實用的品質撰寫及翻譯俄文，但與英文相比有兩項差異。多數 tokenizer 對西里爾字母每個單字使用較多 token，因此相同文件會更快填滿 context window，產生速度也會變慢。此外，英文基準測試分數不一定適用，因此在英文排行榜領先的模型，處理你的俄文文字時可能反而較弱。請使用自己的文件進行測試，並比較俄文微調模型與最新通用模型，不要預設微調模型一定較好。