SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor

VPS 上以 rootless Podman 執行 Ollama

了解如何在 VPS 以專用使用者執行 Ollama,設定 lingering 與 Quadlet,確保重開機後恢復,處理 SELinux 標籤,並關閉 11434 公開連接埠。

在 VPS 上以 rootless Podman 執行 Ollama

要在伺服器上的 rootless Podman 執行 Ollama,必須滿足桌面環境教學可以略過的 5 項條件。由專用的非特權使用者擁有容器。為該使用者啟用 lingering,讓您登出後容器仍持續執行。由 Quadlet 檔案將容器交由 systemd 管理,使其在重新開機後自動恢復。模型目錄在強制執行 SELinux 的發行版上必須具備 SELinux 標籤。API 僅監聽 loopback,並透過 SSH(secure shell)通道存取。

Ollama 是大型語言模型(LLM)伺服器。它會將模型權重儲存在磁碟上、載入記憶體,並在 11434 埠接收及回應 HTTP 要求。其本機 API 不需要登入或 API key,因此在此架構中,網路是唯一的存取控制。Podman 不需要 daemon,也不需要 root 即可執行容器,因此即使有內容逸出容器,起初也只具備一般非特權使用者的權限。如果您想先了解執行環境的差異,請參閱 Podman 與 Docker 在 VPS 上的差異。如果您想完全略過容器,直接在 VPS 上安裝 Ollama 是較短的途徑。

Fedora 預設同時提供 Podman 與 SELinux(security-enhanced Linux)。以下命令假設使用 Podman 5 或更新版本;此外,無論 Podman 版本為何,Quadlet unit 都需要 cgroup v2,這也是 Podman 文件列出的 Quadlet 必要條件。開始前請先檢查這兩項:第一項使用 podman --version,第二項使用 podman info | grep -i cgroup,其中 cgroupVersion 那一行必須顯示 v2。在 Ubuntu 24.04 中,archive 的 podman 套件版本為 4.9.3,低於該行所要求的版本,因此請先在該環境檢查版本。

伺服器需要修改筆記型電腦版本的設定

Fedora Magazine 在 2026 年 8 月 5 日發表了這套軟體堆疊的清楚操作指南:在 Fedora Linux 上使用 Podman 本機執行 Ollama,作者是 Yazan Monshed。這是熟悉這些工具的良好起點。不過,該指南的目標環境是筆記型電腦,其中 4 個選擇在具備公開 IP 位址的機器上會有不同的行為。

  • 它使用純粹的 podman run -d 啟動容器。手動啟動的容器不會在重新開機後自動恢復,因為從未設定任何機制要求它重新啟動。
  • 它使用會持續變動的標籤 ollama/ollama。在筆記型電腦上,你會在行為改變當天察覺。在伺服器上,第一個跡象可能是某個腳本在一夜之間停止運作。
  • 它使用 -p 11434:11434 發布連接埠,會繫結所有介面。在家用路由器後方時,這通常無法從網際網路連線。在 VPS 上,這會成為沒有密碼保護的公開推論 API。
  • 它以你自己的登入使用者身分執行。在伺服器上,擁有容器的帳號不應擁有其他內容,這樣即使發生容器逃逸,也只會進入空的家目錄。

對於原指南所針對的機器而言,這些做法都沒有錯。只是當伺服器可從任何地方連線,且沒有人坐在它前方時,你需要重新檢視每一項決策。

建立非特權使用者並檢查 subuid

Rootless Podman 會將容器內部的使用者 ID(UID)映射至主機上一段未使用的 ID 範圍。這段範圍會在 /etc/subuid 與 /etc/subgid 中宣告。Podman 也支援單一 UID 模式,但此設定請配置 subordinate range。

sudo dnf install -y podman        # or: sudo apt install -y podman
sudo useradd --create-home --shell /bin/bash --comment "Ollama container owner" ollama
sudo passwd --lock ollama
grep ollama /etc/subuid /etc/subgid

grep 應輸出 2 行,分別來自每個檔案,且每行都會指定一段包含 65536 個 ID 的範圍:

/etc/subuid:ollama:100000:65536
/etc/subgid:ollama:100000:65536

起始編號會有所不同,這是正常的。如果 grep 沒有輸出內容,表示 useradd 尚未配置範圍。Podman 會以類似以下訊息回報缺少映射:

Error: cannot find UID/GID for user ollama: no subuid ranges found for user "ollama" in /etc/subuid

指派一段其他使用者未持有的範圍,然後告知 Podman 其舊有映射已失效:

sudo usermod --add-subuids 100000-165535 --add-subgids 100000-165535 ollama
sudo -iu ollama podman system migrate

鎖定密碼會禁止以 ollama 進行密碼登入,但不會阻擋 SSH key 等其他驗證方式。您可以從管理員使用者執行 sudo -iu ollama 來存取該帳戶。

啟用 lingering,讓服務在登出後繼續執行

使用者的 systemd instance 通常會在登入時啟動,並在最後一個工作階段登出後停止;/run/user/<uid> 也會一併移除。由該 instance 管理的服務會在它停止時一併停止。啟用 lingering 後,即使沒有連結中的工作階段,使用者 instance 仍會持續執行。

sudo loginctl enable-linger ollama
loginctl show-user ollama --property=Linger

此命令應輸出 Linger=yes。請在建立 unit 前啟用 lingering,讓 user manager 及其 runtime directory 在沒有登入工作階段時也能使用。

還有一個容易被忽略的步驟。sudo -iu ollama 會提供 shell,但不會提供 session bus,因此 systemctl --user 會立即失敗:

Failed to connect to bus: $DBUS_SESSION_BUS_ADDRESS and $XDG_RUNTIME_DIR not defined

systemd 會在 $XDG_RUNTIME_DIR/bus 尋找 user bus,而 sudo -i 不會設定該變數。請在每個管理此服務的 admin shell 中手動設定:

sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user status

模型檔案的存放位置,以及應規劃多少磁碟空間

Ollama 會將權重寫入容器內的 /root/.ollama/models。將使用者家目錄中的某個目錄繫結掛載到該路徑,檔案就會寫入可供測量的位置:/home/ollama/ollama-data/models。Blob 會以內容定址檔案的形式存放在 models/blobs,而 models/manifests 會保存用來命名這些檔案的小型索引。若改用具名 volume,如 Fedora Magazine 文章中的做法,相同的目錄樹會位於 /home/ollama/.local/share/containers/storage/volumes/<volume>/_data。無論採用哪種方式,ollama pull 與 ollama run 都會將權重寫入相同的目錄樹;區分這兩個命令的差異,只有下載完成後是否立即開啟聊天工作階段。

在下載任何內容前,先估算磁碟空間。已發布的下載大小可作為最低需求。

圖表Published download size per Ollama model tag, ollama.com/library, checked 27 October 2026
此圖表背後的資料
[
  {
    "label": "gemma3:4b",
    "download_gb": 3.4
  },
  {
    "label": "mistral:7b",
    "download_gb": 4.4
  },
  {
    "label": "qwen3:8b",
    "download_gb": 5.2
  },
  {
    "label": "gemma3:12b",
    "download_gb": 8.2
  },
  {
    "label": "qwen3:14b",
    "download_gb": 9.3
  },
  {
    "label": "gemma3:27b",
    "download_gb": 17
  },
  {
    "label": "qwen3:30b",
    "download_gb": 19
  }
]

這裡的 7 筆資料,都是 ollama.com/library 發布的數值,不是實際在磁碟上測量的大小。這裡最小的 tag gemma3:4b 需要下載 3.4 GB。最大的 tag qwen3:30b 需要下載 19 GB。容器映像檔還會額外占用 Podman 自己的儲存空間,因此請搭配 podman system df 與 df -h /home 一起檢查這兩項數值。若要維持良好效能,請規劃約等於模型檔案大小的 RAM,並另外預留 context window 所需的空間。實體 RAM 不是硬性上限:使用磁碟支援的 memory mapping 或提供足夠的 swap,可能讓 19 GB 的模型在 16 GB VPS 上執行,但效能會降低。

固定映像標籤,並使用完整的 registry 名稱

sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
mkdir -p ~/ollama-data ~/.config/containers/systemd
podman pull docker.io/ollama/ollama:0.32.9

使用已發布的版本標籤;截至 2026 年 8 月,應使用 0.32.9,而不是 latest。之後已有較新的版本發布:2026 年 10 月 30 日,Docker Hub 上最新的純版本標籤是 0.40.13。請查看 tags 頁面,並在 pull 命令與 Image= 行中一律使用目前的版本。固定版本標籤可避免未選擇的版本發布到伺服器,因此行為變更通常是由你所做的變更造成。不過,標籤仍然只是指標,不是指紋:只要有人再次以相同名稱推送映像,registry 就會將該標籤移至不同的映像,而只有 digest 是固定的。Podman 在 Image= 中接受這兩種格式。若 04:00 的重新啟動必須確實執行你測試過的 binary,請在 pull 後執行 podman images --digests docker.io/ollama/ollama,並改寫為 Image=docker.io/ollama/ollama@sha256:<digest>。Docker Hub 也會針對相同版本發布 -rc 與 -rocm 標籤;除非你使用 AMD GPU,否則請選擇純版本標籤。

同時寫出 registry 主機名稱。在 Fedora 上,systemd unit 中的短名稱沒有可供提示的終端機,因此 unit 會因下列錯誤而失敗:

Error: short-name "ollama/ollama" did not resolve to an alias and no unqualified-search registries are defined

先手動 pull 並非必要,但通常很實用,因為這會將數 GB 的下載作業移出 unit 的啟動逾時期限。

重新開機後仍能運作的 Quadlet unit

Quadlet 是 Podman 的 systemd generator。建立一個 .container 檔案後,systemd 會在開機時將其轉換為服務,因此不再需要 podman generate systemd。將以下內容儲存為 /home/ollama/.config/containers/systemd/ollama.container,並將擁有者設為 ollama 使用者。

[Unit]
Description=Ollama API (rootless)
After=network-online.target
Wants=network-online.target

[Container]
Image=docker.io/ollama/ollama:0.32.9
ContainerName=ollama
PublishPort=127.0.0.1:11434:11434
Volume=/home/ollama/ollama-data:/root/.ollama:Z
Environment=OLLAMA_KEEP_ALIVE=30m
Environment=OLLAMA_MAX_LOADED_MODELS=1

[Service]
Restart=always
TimeoutStartSec=900

[Install]
WantedBy=default.target

檔名會決定服務名稱,因此 ollama.container 會變成 ollama.service。

systemctl --user daemon-reload
systemctl --user start ollama.service
systemctl --user status ollama.service

status 應顯示 active (running)。不要執行 systemctl --user enable ollama.service。該 unit 並不是磁碟上的檔案,因此 systemd 會拒絕:

Failed to enable unit: Unit file /run/user/1001/systemd/generator/ollama.service is transient or generated.

[Install] 區段已經負責這項工作。Quadlet 會在 daemon-reload 期間自行建立開機啟動連結,因此該命令不可省略。TimeoutStartSec=900 涵蓋首次啟動時仍需拉取映像檔的情況,因為預設的 90 秒不足以完成數 GB 的下載,systemd 會將該啟動程序終止並判定為失敗。OLLAMA_KEEP_ALIVE=30m 會在請求之間將模型保留在記憶體中,而不是在 5 分鐘後卸載;相關取捨請參閱 讓 Ollama 模型保留在記憶體中。如果這裡的 systemd 詞彙不熟悉,VPS 上 systemd 服務與計時器的運作方式 會介紹這些 unit 本身。

SELinux 下模型目錄傳回 permission denied 的原因

在 Fedora、RHEL、Rocky 和 AlmaLinux 上,SELinux 預設為 enforcing。容器程序會在 container_t 網域中執行,而使用者家目錄中的目錄會標記為 user_home_t。政策不允許兩者互相存取,因此 Ollama 無法建立模型樹狀目錄,容器便會結束。getenforce 在這些系統上會輸出 Enforcing,拒絕事件也會被記錄:

sudo ausearch -m avc -ts recent

您會看到列出網域與目標標籤的記錄:

avc:  denied  { write } for  pid=1842 comm="ollama" name="models" dev="vda1" ino=131077 scontext=system_u:system_r:container_t:s0:c214,c827 tcontext=unconfined_u:object_r:user_home_t:s0 tclass=dir permlisted=0

Volume= 行末的 :Z 就是修正方式。它會將主機目錄重新標記為 container_file_t,並套用只有此容器具備的私有 MCS(多類別安全性)類別。小寫的 :z 會改用共用標籤,適合兩個容器讀取同一個目錄的情況。

請注意 :Z,因為它會安靜地執行破壞性操作。重新標記會遞迴處理。若將它指向 /home/ollama,該家目錄中的每個檔案都會被重新標記,導致該使用者無法存取 SSH 金鑰。請務必為 :Z 指定專用子目錄,且其中不得存放其他內容。Named volumes 不需要這項設定,因為 Podman 建立它們時會正確套用標籤。若需要更完整的說明,伺服器的 SELinux 基礎 介紹 context 與 boolean。在 Ubuntu 和 Debian 上則使用 AppArmor,:Z 在這些系統上不會執行任何操作,保留在 unit 中也沒有影響。

關閉連接埠 11434,透過 SSH 存取 API

PublishPort=127.0.0.1:11434:11434 會將主機端繫結至 loopback。請確認:

ss -ltnp | grep 11434
curl http://127.0.0.1:11434

ss 的輸出必須顯示 127.0.0.1:11434,而 curl 必須回應 Ollama is running。如果 ss 顯示的是 0.0.0.0:11434 或 *:11434,表示該連接埠正在所有介面上監聽。網際網路是否能進一步連線,取決於防火牆規則及伺服器前方的網路,因此 wildcard listener 不一定會直接暴露在公網上。不過,不要依賴這種狀態:Ubuntu 文件指出,ufw 預設一開始是停用的,而防火牆規則也多了一項必須維持正確的設定。請修正繫結位址,讓該連接埠從一開始就不在公開介面上監聽。

請準確區分繫結的是哪一端。PublishPort 中的位址是主機位址。在容器內,Ollama 必須繼續監聽所有介面,這是映像檔的預設值。設定 Environment=OLLAMA_HOST=127.0.0.1 會將 Ollama 繫結至容器自己的 loopback,而 Podman 會將發布的流量轉送至容器的網路位址,因此即使從主機發出的請求也會全部遭到拒絕。

開放 11434 會造成兩項風險。Ollama 沒有驗證機制,因此任何能連線至該連接埠的人,都能透過 /api/tags 列出你的模型,透過 /api/generate 使用你的 CPU 和頻寬配額執行推論,將新模型下載至磁碟,並刪除你現有的模型。其次,傳送至遠端連接埠的純 HTTP 會以明文傳送提示與完成內容,因此路徑上的每台機器都能讀取這些資料。只要該連接埠不離開本機,這兩項問題都能避免。

從工作站透過 SSH 轉送該連接埠:

ssh -N -L 11434:127.0.0.1:11434 you@vps.example.com

現在,筆記型電腦上的 http://127.0.0.1:11434 就是伺服器上的 Ollama,且位於 SSH 工作階段的加密通道內。如果筆記型電腦已在執行 Ollama,本機繫結會因 bind [127.0.0.1]:11434: Address already in use 而失敗;請使用 -L 11435:127.0.0.1:11434,並將用戶端指向 11435。

如果瀏覽器用戶端需要存取,請改用帶有密碼驗證的反向代理。Caddy 的 site block 很短,而 caddy hash-password 會輸出所需的 bcrypt 雜湊:

ollama.example.com {
  basic_auth {
    you $2a$14$replace_with_the_generated_hash
  }
  reverse_proxy 127.0.0.1:11434
}

Caddy 會自行透過 TLS(transport layer security)取得憑證,因此流量會受到加密。請先測試用戶端:無法傳送 Authorization 標頭的用戶端,使用單獨的 401 Unauthorized 進行基本驗證時會失敗。SSH tunnel 沒有這項問題,因此這裡預設建議使用 SSH tunnel。

下載模型並檢查完整流程

podman exec -it ollama ollama pull gemma3:4b
curl -s http://127.0.0.1:11434/api/tags
curl -s http://127.0.0.1:11434/api/generate -d '{"model":"gemma3:4b","prompt":"Reply with the single word: ready","stream":false}'
du -sh ~/ollama-data/models

/api/tags 會傳回列出 gemma3:4b 的 JSON。載入權重期間會先暫停,接著 /api/generate 會傳回包含 response 欄位的 JSON 物件。du 應回報接近已公布下載大小的數值。接著驗證本指南的核心部分:

sudo reboot
# reconnect, then:
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user is-active ollama.service

active 表示常駐程序仍在執行,[Install] 區段與 daemon-reload 都已正常運作。若回報 inactive,請先檢查這三項,再檢視 journalctl --user -u ollama.service 是否有啟動錯誤。

錯誤情況及會看到的字串

重新開機後容器消失。 先檢查 loginctl show-user ollama --property=Linger,因為未啟用 Linger=yes 時,使用者的 systemd 執行個體不會在開機時啟動。若已啟用 lingering,請檢查 .container 檔案中的 [Install] 區段,執行 systemctl --user daemon-reload,並檢視 journalctl --user -u ollama.service 是否有啟動錯誤。

Error: statfs /home/ollama/ollama-data: no such file or directory。 容器啟動前,bind mount 的來源路徑必須存在。Podman 不會替您建立主機目錄。請以 ollama 使用者身分執行 mkdir -p ~/ollama-data。

啟動在 90 秒時失敗。 journalctl --user -u ollama.service 會顯示 Start operation timed out. Terminating.,因為映像檔拉取作業仍在進行。請手動拉取映像檔,或保留 TimeoutStartSec=900。

容器啟動後立即結束。 podman logs ollama 與 sudo ausearch -m avc -ts recent 一起可判斷是否為 SELinux 標籤問題。若 AVC 訊息中指定 container_t 與 user_home_t,表示缺少 :Z。

從主機發出的請求遭拒。 使用服務 active 執行 curl: (7) Failed to connect to 127.0.0.1 port 11434: Connection refused 通常表示 OLLAMA_HOST 在容器內被設定為 loopback 位址。請移除該行。

產生內容非常慢,或容器遭終止。 沒有 GPU 時,推論會在 CPU 上執行,大型模型本來就需要較長時間。當模型無法放入實體 RAM 時,使用磁碟支援的記憶體映射或 swap 會使推論速度更慢。若容器在請求處理期間結束,且日誌中出現 signal: killed,請確認其原因;若核心日誌確認是 out-of-memory kill,請從上方圖表選擇較小的 tag。

更新固定映像

固定映像表示更新由你主動執行,而不是任由更新自動發生。在 ollama.container 中編輯 Image=,然後重新載入並重新啟動:

systemctl --user daemon-reload
systemctl --user restart ollama.service
podman exec ollama ollama --version

模型位於 bind mount 中,因此更換映像時不會受到影響。[Container] 區段中的 AutoUpdate=registry 會設定針對 registry 的 digest 檢查;手動執行或由其 systemd timer 執行的 podman auto-update,會拉取已變更的映像並重新啟動 unit。這適合搭配會移動的 tag。若搭配版本 tag,只有在發行者再次推送相同 tag 時才會觸發,而這正是固定映像要避免的非預期變更,因此此處不要啟用。備份 /home/ollama/ollama-data/models/manifests 與 .container 檔案,略過 blobs:它們容量很大,而 ollama pull 會在新主機上重新抓取這些檔案。

FAQ

為什麼 rootless Podman 容器會在我登出後停止?

使用者的 systemd instance 及其 /run/user/<uid> 目錄,通常會在該使用者的最後一個工作階段結束後一併移除,導致由該 instance 管理的服務停止。執行 sudo loginctl enable-linger ollama,並確認 loginctl show-user ollama --property=Linger 輸出 Linger=yes。建立 Quadlet unit 前,請啟用 lingering,讓 user manager 及其 runtime 目錄在沒有登入工作階段時仍可用。

Ollama 模型目錄需要 SELinux 標籤嗎?

在 Fedora、RHEL、Rocky 和 AlmaLinux 上,如果您要 bind mount 主機目錄,就需要。容器會在 container_t domain 中執行,而 home folder 中的目錄會標記為 user_home_t,因此寫入會遭到拒絕,Ollama 也會結束。請在 Volume= 行加入 :Z,並為它指定專用子目錄,因為重新標記會遞迴處理;若將 :Z 指向整個 home directory,會導致該使用者無法存取 SSH key。Named volume 會由 Podman 正確標記,不需要額外設定。

Ollama 模型需要多少磁碟空間?

請先參考 ollama.com/library 公布的下載大小,範圍從 3.4 GB 的 gemma3:4b,到 19 GB 的 qwen3:30b。此外還要計入 Podman image,並預留額外空間,因為下載第二個模型不會取代磁碟上的第一個模型。拉取模型前檢查 df -h /home,完成後檢查 du -sh ~/ollama-data/models。若要維持良好效能,請預留約等同模型檔案大小的 RAM,另加 context window 所需的空間。使用磁碟支援的 memory mapping 或足夠的 swap,可能讓較大模型在較少實體 RAM 下執行,但效能會降低。

將 11434 埠暴露在 VPS 上是否安全?

不安全。Ollama 完全沒有內建驗證機制,因此任何能連到該埠的人,都可以列出您的模型、刪除模型、將新模型拉取到您的磁碟,並使用您的 CPU 和頻寬配額執行 inference。透過網際網路傳送的純 HTTP 也會以明文傳輸所有 prompt 和 completion。請使用 PublishPort=127.0.0.1:11434:11434 將主機端繫結至 127.0.0.1,再以 ss -ltnp | grep 11434 確認,並透過 SSH tunnel 或要求密碼的 reverse proxy 連線。

這篇文章對您有幫助嗎?