SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor

如何自架 LiteLLM 作為 LLM gateway

用 LiteLLM 在 VPS 架設單一 OpenAI 相容端點,集中串接各家供應商,並設定虛擬金鑰、每金鑰預算、備援與固定映像檔版本。

自架 LLM gateway 的功能

LiteLLM 是一個可自行架設的開源 LLM gateway:它提供單一 HTTP 端點供所有應用程式呼叫,並將請求轉發至指定的服務供應商。LLM 指的是大型語言模型(Large Language Model)。此 gateway 支援 OpenAI chat completions API,因此任何現有的 OpenAI 客戶端程式庫,只需修改 base URL 與 key 兩項設定,即可直接對接使用。

這種間接層正是其核心價值。應用程式無需再儲存供應商的憑證。若要更換模型,只需修改伺服器設定檔中的一行內容,無須更動五個服務的程式碼。由於所有呼叫皆通過單一處理程序,您能統一控管預算並記錄所有支出。

系統運作後,您將擁有以下功能:

  • 單一端點。 應用程式指向 https://gateway.example.com/v1 並請求您自訂的模型名稱,例如 bulk 或 strong。
  • 虛擬金鑰。 每個應用程式皆擁有專屬金鑰,並可設定個別的模型白名單與支出上限。您可以撤銷其中一個金鑰,而不影響其他應用程式。
  • 備援機制。 若呼叫失敗或提示詞(prompt)過大,系統會自動改用其他模型重試。
  • 完整日誌。 每一筆請求都會記錄其成本,讓您能明確追蹤「是哪個應用程式產生了該筆費用」。

為何要自行架設閘道器

託管式路由器在處理每個請求時,都會經過第三方程序。自行架設可確保供應商金鑰與提示詞(prompt)皆儲存於您掌控的機器中。這確實需要付出代價:您現在必須維護每個應用程式所依賴的核心組件。本指南最後一節將探討此成本,因為這是大多數技術文章所忽略的部分。

準備工作

  • 一台執行 Ubuntu 24.04 的 VPS(虛擬專用伺服器),並已安裝 Docker 與 Compose 外掛程式。
  • 若外部機器需透過 TLS(傳輸層安全性協定)連線至閘道,則需準備一個指向該伺服器的網域名稱。
  • 至少一組供應商 API key。

此閘道本身不執行推論。它僅負責轉送請求並回傳串流答案,因此 CPU 負載取決於請求量而非模型大小。一台 1 vCPU 的伺服器即可順暢執行多個內部應用程式。真正會隨時間增長的是資料庫,因為閘道會為每個請求寫入一筆費用記錄。

先撰寫 config.yaml

設定檔決定用戶端可以請求哪些模型。共有 4 個重要的頂層區段:model_list、litellm_settings、router_settings 和 general_settings。

model_list:
  - model_name: bulk
    litellm_params:
      model: anthropic/claude-haiku-4-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: strong
    litellm_params:
      model: anthropic/claude-sonnet-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: strong
    litellm_params:
      model: openai/gpt-5.5
      api_key: os.environ/OPENAI_API_KEY

litellm_settings:
  num_retries: 2
  request_timeout: 120
  json_logs: true
  set_verbose: false

router_settings:
  allowed_fails: 3
  cooldown_time: 30
  fallbacks: [{"bulk": ["strong"]}]
  context_window_fallbacks: [{"bulk": ["strong"]}]

general_settings:
  background_health_checks: true
  health_check_interval: 300

model_name 是用戶端傳送的名稱。litellm_params.model 是實際模型,格式為 provider/model。請以工作用途而非供應商為模型命名。應用程式請求 bulk 後,即使您下個月決定將 bulk 改用其他模型,仍可繼續運作。

api_key: os.environ/ANTHROPIC_API_KEY 會指示 LiteLLM 在執行階段讀取該變數。檔案中不會出現實際的 key;由於您會提交 config.yaml,這一點很重要。

這裡刻意有 2 個項目使用相同的名稱 strong。當多個 deployment 使用相同的 model_name 時,router 會將它們視為可互換,並將對該名稱的請求分散到這些 deployment。這就是 strong 能承受單一供應商暫時異常的原因:某個 deployment 進入 cooldown(如下所述)後,對 strong 的新請求會轉送到另一個 deployment。

num_retries: 2 會針對可重試的錯誤最多重試 2 次。這些重試可在相同的 model group 中選擇其他可用的 deployment:LiteLLM 的架構文件於 2026-10-29 查閱,內容將群組內重試與跨群組 fallback 說明為不同步驟。因此,strong 的重試可能會改送到另一個供應商,不需要啟用 weighted failover。只有在這些重試用盡後,才會觸發 fallback。

allowed_fails 和 cooldown_time 是 router 選項,因此必須放在 router_settings 下。proxy 會根據該區段建立 router;在 v1.95.0 中,若將 cooldown_time 寫在 litellm_settings 下,設定不會傳遞給 router,因此 cooldown 會悄悄維持 5 秒的預設值。cooldown_time: 30 設定 deployment 進入 cooldown 後退出輪替的時間。設定參考文件將 allowed_fails 定義為 deployment 在 cooldown_time 內必須超過的失敗次數,超過後才會進入 cooldown。在 v1.95.0 的原始碼中,allowed_fails: 3 是預設值;使用預設值時,router 會採用內建觸發條件,只有在您設定不同數值後,失敗次數才會生效。這些觸發條件包括:在具有多個 deployment 的群組中收到 429 回應時立即進入 cooldown;這類群組在目前分鐘內至少收到 5 個請求,且失敗率超過 50% 時進入 cooldown;以及 router 不會重試的錯誤,例如錯誤 key 造成的 401。另一個觸發條件適用於單一 deployment:當目前分鐘內所有請求都失敗,且流量達到 SINGLE_DEPLOYMENT_TRAFFIC_FAILURE_THRESHOLD 時,也會進入 cooldown;其預設值為每分鐘 1000 個請求。因此,對於具有 2 個 deployment 的 strong,供應商在短時間內持續回傳 500 時,不會在每個請求上都被重試;但若每幾分鐘才出現 1 個 500,則不會觸發 cooldown。bulk 只有 1 個 deployment,因此失敗率觸發條件不適用:每分鐘少於 1000 個請求的 500 錯誤突發不會讓它退出輪替,而保護其呼叫端的機制是先使用 num_retries,再 fallback 到 strong。

fallbacks 和 context_window_fallbacks 的觸發條件不同,第二個才是實務上有用、卻常被略過的選項。

  • fallbacks 會在主要呼叫失敗時觸發。
  • context_window_fallbacks 會在供應商因請求長度超過該模型的 context window 而拒絕請求時觸發。如此一來,過大的 prompt 會改送到具有足夠容量的模型,而不是將錯誤傳回呼叫端。

此外還有 content_policy_fallbacks,用於供應商因內容政策而拒絕請求的情況。只有在您有適當的目的地可接收這些呼叫時,才應設定此選項。

使用 Docker Compose 在 VPS 上部署 LiteLLM

建立一個目錄,存放 3 個檔案:config.yaml、docker-compose.yml 和 .env。上游 quickstart 會拉取 latest 標籤。請改用固定的版本標籤,這樣只有在編輯檔案時才會升級,也能以修改一行的方式回復版本。單獨使用標籤並不能保證內容完全相同,因為 image 標籤可以變更,發布者也能將標籤指向新的 image。若 docker compose up -d 下個月必須提供與今天完全相同的 gateway,請另外加入 image digest,格式為 ghcr.io/berriai/litellm:v1.95.0@sha256:<digest>;docker buildx imagetools inspect ghcr.io/berriai/litellm:v1.95.0 會輸出該 digest。

services:
  litellm:
    image: ghcr.io/berriai/litellm:v1.95.0
    restart: unless-stopped
    command: ["--config", "/app/config.yaml", "--num_workers", "1"]
    ports:
      - "127.0.0.1:4000:4000"
    volumes:
      - ./config.yaml:/app/config.yaml:ro
    env_file: .env
    depends_on:
      db:
        condition: service_healthy

  db:
    image: postgres:16
    restart: unless-stopped
    environment:
      POSTGRES_USER: litellm
      POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?set POSTGRES_PASSWORD in .env}
      POSTGRES_DB: litellm
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U litellm"]
      interval: 5s
      timeout: 5s
      retries: 10
    volumes:
      - postgres_data:/var/lib/postgresql/data

volumes:
  postgres_data:

Compose 在此讀取 .env 兩次。第一次是替換 compose 檔案中的 ${POSTGRES_PASSWORD},第二次則是透過 env_file 將所有變數傳入 container。

v1.95.0 是 2026 年 8 月的目前版本。請查看專案的 releases 頁面,並固定部署當下的目前版本。每個版本都會發布簽章,因此可以在信任 image 前先驗證:

cosign verify --key https://raw.githubusercontent.com/BerriAI/litellm/v1.95.0/cosign.pub ghcr.io/berriai/litellm:v1.95.0

連接埠設定為 127.0.0.1:4000:4000,只會在 loopback 介面發布該連接埠。若改寫為 4000:4000,gateway 就能從整個網際網路連線,因為 Docker 會在 iptables 的 FORWARD chain 中加入自己的規則,而這些規則會先於 ufw 的規則套用,因此 ufw deny 4000 無法阻止連線。這是自架 gateway 最常見的公開方式:請參閱 Docker 如何直接繞過 ufw 發布 container 連接埠。外部流量會改由 reverse proxy 進入。

將供應商金鑰排除在映像檔之外

.env 檔案存放所有機密資訊。該檔案在執行階段以環境變數形式傳入,因此絕不會被寫入映像檔,也不會被提交至版本控制系統。

LITELLM_MASTER_KEY=sk-REPLACE_ME
LITELLM_SALT_KEY=sk-REPLACE_ME_TOO
POSTGRES_PASSWORD=REPLACE_ME_AS_WELL
DATABASE_URL=postgresql://litellm:REPLACE_ME_AS_WELL@db:5432/litellm
STORE_MODEL_IN_DB=True
LITELLM_MODE=PRODUCTION
LITELLM_LOG=ERROR
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-proj-...

請使用真正的隨機數產生兩組 LiteLLM 金鑰,並鎖定該檔案權限:

printf 'sk-%s\n' "$(openssl rand -hex 32)"
chmod 600 .env

LITELLM_MASTER_KEY 是管理員憑證。它用於驗證管理 API,也是 /ui 管理介面的登入密碼。任何應用程式都不應儲存此憑證。

LITELLM_SALT_KEY 用於加密儲存在資料庫中的供應商憑證。請設定一次後便不再更動。若事後變更,已儲存的憑證將無法解密,導致閘道器雖然能正常啟動,但後續所有對供應商的呼叫都會因驗證失敗而中斷。

STORE_MODEL_IN_DB=True 讓您無需修改 config.yaml 即可透過管理介面新增與編輯模型。這雖然方便,但會導致設定來源分散。請決定哪一個來源具備最高權限,並將此決策記錄在 config 檔案旁。

將金鑰排除在設定檔之外的邏輯,與將金鑰排除在交給代理程式(agent)的工具之外的邏輯相同。將供應商機密排除在 AI 代理程式之外 涵蓋了此模式,而 Docker Compose 中的環境變數檔案與機密管理 則說明了相關技術細節。

啟動服務並監控首次開機過程:

docker compose up -d
docker compose logs -f litellm

確認服務運作正常

目前有兩個未經身分驗證的探測端點,以及一個需經身分驗證的端點,它們會因不同原因而失敗。

curl -s http://127.0.0.1:4000/health/liveliness
curl -s http://127.0.0.1:4000/health/readiness

/health/liveliness 不需要身分驗證,只要處理程序正在執行,就會回應 "I'm alive!"。/health/readiness 同樣不需要身分驗證。它會回傳包含 "status": "healthy" 與 db 欄位的 JSON 物件;若無法連線至資料庫,則會回傳 503 錯誤。請將監控指向 readiness,因為即使閘道器無法查詢任何虛擬金鑰,liveliness 仍會顯示為正常(綠色)。

需經身分驗證的檢查項目會與供應商進行通訊:

curl -s http://127.0.0.1:4000/health \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY"

它會以 healthy_endpoints 與 unhealthy_endpoints 陣列進行回應。若模型位於 unhealthy_endpoints 且出現身分驗證錯誤,代表 .env 中的供應商金鑰錯誤或遺失,這正是您目前需要排查的故障點。由於已設定 background_health_checks: true,代理程式會自行每 health_check_interval 秒執行一次這些探測,並由 /health 回傳最後一次的結果,因此輪詢該端點並不會每次都向您的供應商發送測試請求。

虛擬金鑰與每把金鑰的預算

每個應用程式都使用自己的金鑰,並以主金鑰簽發。

curl -s http://127.0.0.1:4000/key/generate \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H 'Content-Type: application/json' \
  -d '{
    "key_alias": "nightly-summariser",
    "models": ["bulk"],
    "max_budget": 5,
    "budget_duration": "30d",
    "rpm_limit": 60,
    "tpm_limit": 200000
  }'

回應會包含以 sk- 開頭的 key 欄位。該字串就是提供給應用程式的內容,也是應用程式唯一會取得的內容。

  • models 是此金鑰可提出的要求允許清單。上方的金鑰只能要求 bulk,不能要求其他內容。
  • max_budget: 5 搭配 budget_duration: "30d" 代表每個日曆月 5 美元。LiteLLM 會在每月 1 日午夜重設 30d 預算;除非你在 litellm_settings 下設定 timezone,否則時區為 UTC。這不是以 30 天為週期的滾動預算,因此金鑰支出 5 美元後,就會停止運作,直到下一個月的 1 日。
  • rpm_limit 與 tpm_limit 分別限制此金鑰每分鐘可提出的要求數與每分鐘可使用的 token 數。
  • key_alias 是你在 6 週後查看支出日誌時,用來辨識此金鑰的名稱。務必設定。

預算用罄時,呼叫會失敗,並回傳類型為 budget_exceeded 的錯誤,以及以下形式的訊息:

Budget has been exceeded! Key=<key> Current cost: <spend>, Max budget: <max_budget>

狀態碼取決於版本。在鎖定的 v1.95.0 中,狀態碼為 HTTP 429。從 v1.104.0 起,預設值為 HTTP 422;在 litellm_settings 下設定 budget_exceeded_status_code: 429,即可恢復先前的狀態碼。真正的 rpm_limit 與 tpm_limit 觸發時,兩個版本都仍會回傳 429。每次升級後,請確認實際取得的狀態碼。

狀態碼會造成混淆,因為這兩個狀態碼都不會明確表示「預算用罄」。用戶端函式庫會將 429 回報為速率限制,並可能以退避策略重試;但預算要等到重設時間才會恢復。對於 422,用戶端函式庫則會回報要求無法處理。請將回應本文與狀態碼一併記錄,否則每次預算用罄看起來都會像其他問題。

請透過相同的管理 API 檢視及調整金鑰:

curl -s "http://127.0.0.1:4000/key/info?key=sk-..." \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY"

curl -s -X POST http://127.0.0.1:4000/key/update \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"key": "sk-...", "max_budget": 25}'

即使出錯的對象是 agent,由 gateway 強制執行的預算仍然有效。因此,這也是 VPS 上 AI agent 的成本控管 的核心。

將大量工作交給低成本模型

將用戶端指向 gateway。設定 Base URL、金鑰與模型名稱:

curl -s http://127.0.0.1:4000/v1/chat/completions \
  -H "Authorization: Bearer sk-<the virtual key>" \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "bulk",
    "messages": [{"role": "user", "content": "Say hello in five words."}]
  }'

所有 OpenAI 用戶端程式庫的使用方式都相同,但不同語言的選項名稱可能不同。在 Python 用戶端中,將 base_url 設為 https://gateway.example.com/v1,並將 api_key 設為虛擬金鑰。JavaScript 與 TypeScript 用戶端呼叫的相同兩個選項是 baseURL 和 apiKey。

config.yaml 中的路由政策現在會自動套用,呼叫端不需要知道細節。對 bulk 的請求會送往低成本模型。如果該呼叫在重試後仍失敗,請求會改以 strong 重試。如果提示過長,超出 bulk 的限制,context_window_fallbacks 會將其改送至 strong,而不是回傳錯誤。分類作業或摘要待辦清單等大量工作預設會使用低成本模型,只有複雜請求才會產生較高費用。

這也是 gateway 在使用工具的 agent 中發揮作用的地方。位於同一台 VPS 上的 MCP(model context protocol)伺服器及驅動該伺服器的 agent,都可以指向同一個 endpoint。因此,無須重新部署任一元件,就能替換背後使用的模型。

如何知道發生了 fallback?

這是最容易造成費用損失的失敗模式,因為表面上看不出任何問題。成功的 fallback 會回傳 HTTP 200,以及一般的 response body。你的低價模型可能停用一整天,而每次請求都悄悄由高價模型處理;等到發現問題時,最先看到的通常是帳單。

相關資訊確實存在於 response headers 中。請要求回傳這些標頭:

curl -s -D - -o /dev/null http://127.0.0.1:4000/v1/chat/completions \
  -H "Authorization: Bearer sk-<the virtual key>" \
  -H 'Content-Type: application/json' \
  -d '{"model":"bulk","messages":[{"role":"user","content":"ping"}]}' \
  | grep -i '^x-litellm'
  • x-litellm-model-group 是請求路由所使用的模型名稱,例如 bulk。x-litellm-model-id 是回應請求的 deployment ID,可使用 /v1/model/info?litellm_model_id=... 查詢。若該 ID 不屬於你的 bulk deployments,就表示發生了 fallback。
  • x-litellm-attempted-fallbacks 與 x-litellm-attempted-retries 用來計數。正常的請求不應有任何一項高於 0。
  • x-litellm-response-cost 是該次請求的美元成本。
  • x-litellm-call-id 是用來在 log 中尋找相同請求的識別碼。

每次請求都記錄 x-litellm-attempted-fallbacks,並在其值高於 0 時發出警示。這個數字可以區分正常運作的路由政策,與已悄悄變成「一律使用高價模型」的路由政策。

完整做法是加入 tracing,這需要獨立設定:自行託管 Langfuse 以追蹤 agent 請求。LiteLLM 已內建 callback,因此只需加入兩行設定並提供 credentials。

litellm_settings:
  success_callback: ["langfuse"]
  failure_callback: ["langfuse"]
LANGFUSE_PUBLIC_KEY=pk-lf-...
LANGFUSE_SECRET_KEY=sk-lf-...
LANGFUSE_HOST=https://langfuse.example.com

對於 Langfuse v3 及後續版本,LiteLLM 的 Langfuse 頁面目前建議使用其 langfuse_otel preset;上方的 langfuse callback 仍有文件說明。請同時設定 failure_callback 與 success_callback。若略過此設定,你保留下來的 traces 只會是未發生錯誤的請求。除此之外,LiteLLM 會將每次請求的 spend row 寫入 Postgres,而 /ui 的 Admin UI 會讀取該資料表。該資料表會隨流量增加,因此在小容量磁碟上應持續監控。

將 gateway 置於反向代理後方

外部不應有任何流量能連線到 4000 埠。在 nginx 或 Caddy 中終止 TLS,並將請求轉送至 loopback 位址。

location / {
    proxy_pass http://127.0.0.1:4000;
    proxy_http_version 1.1;
    proxy_set_header Host $host;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto $scheme;
    proxy_buffering off;
    proxy_read_timeout 600s;
}

其中有兩行經常被省略。proxy_buffering off 很重要,因為串流完成回應是由一系列 server-sent events 組成;啟用 nginx buffering 時,nginx 會先將資料區塊收集到 buffer,再轉送給用戶端,導致資料延遲送達。proxy_read_timeout 600s 也很重要,因為 nginx 的預設值 60 秒,是等待 gateway 兩次讀取之間的最長時間,不是整個回應的上限。非串流完成回應會等到產生完成後才傳送資料,因此較長的回應可能超過 60 秒仍沒有任何位元組送達,導致用戶端收到 504,而錯誤日誌會記錄 upstream timed out (110: Connection timed out) while reading response header from upstream。只要串流完成回應持續傳送資料區塊,就能執行遠超過 60 秒;只有模型靜默達該時間長度時,才會觸發逾時。

如需申請憑證,在 nginx 上使用 Certbot 搭配 Let's Encrypt 是最簡便的方式。如果該伺服器已提供多個容器,在多個 Compose 應用程式前方使用 Traefik 可集中處理路由與憑證。

閘道現在是單一故障點

請如實評估目前建置的架構。現在,您管理的每個應用程式都依賴單一 VPS 上的單一容器。容器停止服務時,任何應用程式都無法呼叫模型,包括目前運作正常的供應商。這會帶來以下 4 個影響。

  • 錯誤的設定會同時導致所有服務停止。 restart: unless-stopped 會在程序當機後重新啟動,也會不斷重新啟動無法解析 config.yaml 的容器。每次修改設定後都應查看 docker compose logs litellm,並在有時間監看結果時進行設定變更。
  • 快取未命中時,Postgres 會位於請求處理路徑上。 虛擬金鑰未快取時會查詢資料庫;回應送出後,系統才會非同步記錄使用量。/health/readiness 回傳 503 表示閘道雖在執行,但無法完成這兩項工作。
  • 先使用現有的 CPU 核心,再增加執行個體。 專案建議每個執行個體使用 1 個 worker(--num_workers 1),適用於 Kubernetes 或其他會自動擴充 pod 的環境。對於像本例的單一 VM 或裸容器,建議正好相反:將 worker 數量設為機器的 vCPU 數量。上方的 1 vCPU 機器仍應設為 --num_workers 1;若使用更大的機器,請提高數量,並記住每個 worker 都會各自耗用記憶體。在負載平衡器後方加入第二個閘道,可移除對單一容器的依賴,但無法移除資料庫。
  • 備份無法重新產生的資料。 這包括 config.yaml 和 .env,以及資料庫的 pg_dump。遺失 LITELLM_SALT_KEY 會使該傾印檔中的加密供應商憑證失效,因此環境檔與傾印檔應由同一個備份工作處理:使用 restic 將備份儲存至外部儲存空間。

升級時,編輯映像標籤,然後執行 docker compose up -d。LiteLLM 預設會在啟動時執行 prisma migrate deploy,因此新容器會在首次啟動時遷移資料庫結構。變更標籤前先建立傾印,因為重新使用舊映像並不會復原已執行的遷移。

請閱讀所有略過版本的版本資訊,不要只閱讀最終升級到的版本。從 v1.95.0 升級至 v1.104.0 或更新版本時,會跨越數項重大變更:上述的預算狀態碼、在 master key 未設定、為空或是公開已知時拒絕啟動的 proxy,以及資料庫啟動設定失敗時會結束的 proxy;在 restart: unless-stopped 中,這會顯示為不斷重新啟動。若原本使用 v1.102.x 或更早版本,v1.104.0 的版本資訊也要求您自行建立 2 個 LiteLLM_SpendLogs 索引。

FAQ

LiteLLM 是否會讓每次呼叫產生明顯延遲?

專案在 2026 年 11 月的 README 中表示,在每秒 1000 個請求的情況下,第 95 百分位延遲為 8 ms。請將此視為供應商提供的數據。實際影響延遲的是應用程式與 gateway 之間的網路距離,因為每次呼叫都會增加一次往返。請將 gateway 部署在呼叫它的應用程式所在的相同區域,然後在真實回應中使用 x-litellm-overhead-duration-ms 標頭測量自身的額外延遲。

將 nginx 設在前端後,為什麼串流功能停止運作?

因為 nginx 預設會緩衝 upstream 回應,而串流完成結果是由一連串 server-sent events 組成。啟用 proxy_buffering 時,nginx 會先將資料區塊收集到緩衝區,再轉送給用戶端,導致資料延遲送達。請在 location 區塊中設定 proxy_buffering off;。也請在同一個區塊中調高 proxy_read_timeout。nginx 預設會在 60 秒內未收到 gateway 資料時放棄等待;長時間的非串流生成很容易超過此時間,導致用戶端收到 504。

虛擬金鑰用完預算後會發生什麼事?

呼叫會失敗,錯誤類型為 budget_exceeded,訊息格式則為 Budget has been exceeded! Key=<key> Current cost: <spend>, Max budget: <max_budget>。在固定使用的 v1.95.0 中,狀態碼是 HTTP 429;從 v1.104.0 起,預設改為 HTTP 422。這兩個狀態碼都不會表示預算不足,這正是容易誤判之處:用戶端函式庫會將 429 回報為速率限制,並可能重試,因此使用者會開始追查節流問題,而不是讀取錯誤訊息。請將回應本文與狀態碼一併記錄。使用 master key 搭配 /key/info?key=sk-... 確認該金鑰的實際狀態;若預算設定過低,請使用 /key/update 調高上限。

gateway 是否也能路由到本機模型,而不只是代管模型?

可以,這只是 model_list 中的另一筆設定。請搭配 api_base 使用 ollama_chat/ 前綴,例如將 model: ollama_chat/llama3.1 與 api_base: http://ollama:11434 並列。在 Compose 的預設網路中,容器內的 localhost 代表該容器本身,因此請使用 Compose 服務名稱或主機在 Docker network 上的位址,絕不要使用 127.0.0.1。使用 host networking 時例外,因為容器會共用主機的網路堆疊。啟動本機模型是另一項工作,請參閱 使用 Ollama 在 VPS 上自行代管 LLM。

這篇文章對您有幫助嗎?