SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor

如何在 VPS 上部署 GLM 模型?Ollama 本地运行指南

GLM 5.2 仅支持云端运行,无法在 VPS 本地部署。本文为您推荐可自托管的 glm-4.7-flash 模型,并详细列出各量化版本所需的内存配置,助您在服务器上准确运行并保护数据隐私。

能否在 VPS 上运行 GLM 5.2?

可以,但不能使用 Ollama 的官方标签。截至 25 October 2026,Ollama 库中的 GLM 5.2 恰好只有一个标签:glm-5.2:cloud。:cloud 标签会在 Ollama 的服务器上运行。您的服务器发送提示词并接收令牌,因此模型权重不会写入您的磁盘。Z.ai 发布了模型权重,并提供了使用 SGLang 和 vLLM 进行本地部署的文档。Z.ai 自己的权重仓库显示,该模型约有 753 billion 个参数。按每个参数 4 bits 计算,753 billion 个参数的权重约占 377 GB;这还只是基础计算,不包括上下文、激活值和操作系统。公开发布的 VPS 方案中,有些内存超过这个数值:Paragon 的 E-48 提供 512 GB RAM,价格为 €580/month。

适合在租用服务器上运行的 GLM 模型是 glm-4.7-flash。该模型提供可下载的权重,共有 4 个标签。它采用 mixture-of-experts 架构,即每个令牌只运行网络中的一小部分。Z.ai 将其描述为 30B-A3B:总计 30 billion 个参数,每个令牌约激活 3 billion 个参数。因此,本指南回答的是您可以实际执行的问题。固定一个标签,确定服务器规格,测量您自己的速度,并保持端点为私有。

复制任何命令前都要确认标签,包括本文中的命令。Ollama 库可能随时变化,恕不另行通知。打开 glm-4.7-flash 标签列表,确认该标签仍然存在。如果出现了带有本地权重的更新 GLM 版本,请优先使用它,并记录您实际测试的标签。

如果您仍然要使用 GLM 5.2 本身,ollama run glm-5.2:cloud 在 ollama signin 之后可以正常工作;从客户端角度看,它的行为与其他 Ollama 模型相同。但您必须了解这意味着什么:提示词会离开您的服务器。如果您自行托管的原因是数据必须留在自己的机器上,那么 :cloud 标签无法满足这一要求。

有哪些 GLM 标签,以及应固定使用哪个标签

这里有两个官方 GLM 条目需要关注。glm-5.2 在 Ollama 的库中仅支持云端使用。glm-4.7-flash 是本地版本,以下是其已发布的标签以及 Ollama 为每个标签列出的下载大小。如果您之前使用过 glm-5.1,请注意,Ollama 已于 25 September 2026 将其弃用,其库页面目前不再列出任何模型。Z.ai 仍在发布 GLM-5.1 权重,并提供本地部署文档,因此 Ollama 弃用该模型并不意味着它在其他平台上不可用。

图表glm-4.7-flash tags in Ollama's library, checked 2026-10-25
此图表背后的数据
[
  {
    "label": "q4_K_M",
    "download_gb": 19
  },
  {
    "label": "latest",
    "download_gb": 19
  },
  {
    "label": "q8_0",
    "download_gb": 32
  },
  {
    "label": "bf16",
    "download_gb": 60
  }
]

这些是库页面公布的数据,不是实测结果。latest 和 q4_K_M 列出的大小都是 19 GB,因此 latest 当前解析为 Q4 构建版本。重新发布后该结果可能变化,所以不要在脚本或 Dockerfile 中直接写入不带量化标识的 ollama pull glm-4.7-flash。请明确指定量化方式。最大的标签 bf16 是 60 GB 的下载项,其中包含未量化的 bfloat16 权重。

在库中搜索时,还会返回名称中带斜杠的命名空间上传项,例如 someuser/glm-5.2。斜杠表示该内容由某个用户账户发布,因此它是社区重新上传的版本,而不是官方条目。没有人保证其中包含哪些权重。请将其视为从网上找到的、未经签名的二进制文件。

安装 Ollama 并拉取准确标签

Ollama 的 Linux 安装程序只需运行一条命令。

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

安装程序会创建一个以 ollama 用户运行的 systemd 服务。在拉取任何内容之前,先确认该服务已启动。

systemctl status ollama --no-pager

Active: active (running) 表示 systemd 认为该服务正在运行;这不能证明 API 已就绪,也不能证明端口正在监听。使用 curl -fsS http://127.0.0.1:11434/api/tags 在默认地址和端口上单独检查 API。如果该单元不存在,说明安装程序退回到了普通二进制安装。Ollama Linux 文档提供了手动创建服务文件的方法。

glm-4.7-flash 页面列出了 Ollama 的最低版本。较旧的二进制文件不会只是运行模型较慢,而是会拒绝运行模型:拉取会失败,并显示该模型需要更新版本的 Ollama。重新运行安装脚本即可升级。截至 2 November 2026,当前版本为 0.40.13,已高于该最低版本。

现在按名称拉取一个标签。

ollama pull glm-4.7-flash:q4_K_M
ollama ls

ollama ls 应列出 glm-4.7-flash:q4_K_M,其大小应接近发布的 19 GB。拉取中途失败时不会留下可运行的模型,因此请重新运行相同的命令。在小型套餐上,拉取前先检查磁盘空间:标准 Linux 安装会将模型写入 /usr/share/ollama/.ollama/models,除非通过 OLLAMA_MODELS 更改位置。开始前使用 df -h /usr/share/ollama 检查。

每种量化需要多少 RAM?

先把下载大小作为下限,再在此基础上增加内存。权重必须常驻内存。除此之外,还需要 KV cache(键值缓存);运行时通过它记住对话中已经处理的 token,还需要计算缓冲区,以及操作系统正在使用的内存。恰好有 19 GB RAM 的主机无法运行 19 GB 标签。

不存在适用于所有情况的固定倍数,因为 KV cache 会随允许的上下文长度增长,其余部分也会因运行时版本而变化。因此应进行测量,而不是猜测。使用一个简单提示词加载模型,然后读取服务器预留的内存。

ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama ps

ollama ps 会显示已加载的模型,并包含 SIZE 列和 PROCESSOR 列。SIZE 是运行时实际预留的内存,应将这个数值与规划进行比较。PROCESSOR 会告诉您计算在哪里执行,因此 100% CPU 表示完全没有使用 GPU。

模型无法装入内存时,Ollama 可能会在开始生成前返回加载错误。也可能出现交换压力或因内存不足而被终止。使用 journalctl -u ollama --no-pager 检查服务日志,使用 journalctl -k | grep -i "out of memory" 检查内核日志,不要认为所有内存故障都会静默发生。

从 19 GB 的 Q4 标签升级到 32 GB 的 Q8 标签,是影响该数值的主要手段。Q4 会牺牲一部分输出质量,具体程度取决于任务;结构化输出和较长的推理链所受影响通常大于普通聊天。Q4、Q8 和 FP16 在实际使用中的差异 值得在确定方案前阅读,因为在仅使用 CPU 的 VPS 上,量化选择通常决定模型是否能够运行。

仅使用 CPU 的 VPS 会发生什么

大多数 VPS 方案不提供 GPU,Ollama 会直接使用 CPU 运行模型,也不会发出警告。结果是否可用,取决于工作负载和您的耐心。

混合专家架构有助于提高速度。对于每个 token,实际只使用约 3 billion 个参数,而不是使用全部 30 billion 个参数,因此每个 token 所需的计算量远小于稠密 30B 模型。但内存需求不会减少。每个专家都必须常驻内存,因为路由器可能为下一个 token 选择其中任意一个专家。因此,仅使用 CPU 的服务器运行 Q4 标签仍需要完整的 19 GB 或更多内存,其吞吐量主要取决于内存带宽,而不是 CPU 时钟频率。

这会带来一个实际影响:即使两个方案的核心数和内存大小相同,生成速度也可能明显不同,因为它们的内存子系统不同。共享方案还会引入第二个变量,因为嘈杂邻居导致的 CPU steal time会表现为每秒生成的 token 数,并且这一数值会随时间变化。这就是其他人公布的数字无法预测您的实际结果的原因,也是下一节提供测量方法而不是结果表格的原因。

自行测量每秒生成的 token 数

Ollama 的 generate 端点会在最终 JSON 对象中返回计时字段。将生成的 token 数除以生成耗时,即可得到您在当前套餐和提示词下的实际速度。

sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
  "model": "glm-4.7-flash:q4_K_M",
  "prompt": "Write a 200 word explanation of how TCP congestion control works.",
  "stream": false,
  "options": {"num_ctx": 8192}
}' | jq '{
  tokens: .eval_count,
  tokens_per_second: (.eval_count / .eval_duration * 1e9),
  prompt_seconds: (.prompt_eval_duration / 1e9),
  load_seconds: (.load_duration / 1e9)
}'

eval_count表示生成的 token 数,eval_duration表示生成这些 token 所用的纳秒数,因此 eval_count / eval_duration * 1e9表示每秒生成的 token 数。prompt_eval_duration表示读取提示词所用的时间,也就是用户在第一个 token 出现前实际感受到的等待时间。load_duration表示从磁盘加载模型所用的时间,因此重启后的首次调用通常较大,下一次调用则接近于零。

连续运行 3 次,并保留第 2 次和第 3 次的结果,因为第 1 次包含模型加载时间。然后使用长得多的提示词再次运行,因为提示词处理时间会随输入长度增加,而生成速度不会变化。将这些数字记录在套餐名称和量化方式旁边。这份记录比您读到的任何基准测试都更有参考价值,因为它是在您付费使用的硬件上测得的。

上下文长度如何成倍增加内存占用

在没有 GPU 或 GPU 显存小于 24 GiB 的服务器上,Ollama 默认使用 4096 token 的上下文长度。模型声明的上下文长度要大得多,glm-4.7-flash 为 198K token,但默认不会启用这一长度,而且启用它并非没有代价。

KV cache 会为每一层中的每个 token 保存一个 key 向量和一个 value 向量。允许的 token 数量增加时,KV cache 的大小会线性增长。从 4096 增加到 32768 token 后,上下文长度变为 8 倍,因此 KV cache 大约也会变为 8 倍。在仅能容纳模型权重的服务器上,新增的内存分配会直接导致系统使用 swap。这就是为什么一台处理短提示词正常的机器,在有人粘贴长文档后会突然变得非常缓慢。如果需要在同一台服务器上使用更长的上下文,可以将 KV cache 存储为 q8_0,而不是 f16,这样无需修改模型权重,就能将这部分内存占用大约减半。Ollama 的 FAQ 指出,q8_0 的内存占用约为 f16 的一半;f16 是 OLLAMA_KV_CACHE_TYPE 的默认值。量化 KV cache 仅在启用 flash attention 时生效。后端和设备支持时,Ollama 会自动启用 flash attention,OLLAMA_FLASH_ATTENTION=1 可强制启用它。

在请求的 options 对象中使用 num_ctx 设置该值,方式如上面的 curl 命令所示;也可以修改服务器默认值。

sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
  | sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

最后一条命令应输出 OLLAMA_CONTEXT_LENGTH 的值。如果输出为空的 Environment=,说明覆盖文件位于错误的目录,或未执行 reload。下次加载模型后,ollama ps 应显示一个明显大于 4096 时的 SIZE。逐步提高该值,并在每次调整后监控这个数字。使用 num_ctx 设置 Ollama 的上下文长度介绍了它与 keep-alive 和并行请求的交互方式;这两者都会使相同的开销成倍增加。如果服务器将由多个客户端使用,应同时确定并发限制和上下文长度,因为每个并行槽位都会占用自己的 KV cache,而队列设置决定第二个请求是等待,还是直接被拒绝。

API 比服务器更便宜时

自行托管并不一定更便宜。对于这一系列模型,已公布的价格尤其清楚地说明了这一点。

图表Z.ai published list prices per million tokens, checked 2026-10-25
此图表背后的数据
[
  {
    "label": "GLM-5.2 input",
    "usd_per_million_tokens": 1.4
  },
  {
    "label": "GLM-5.2 output",
    "usd_per_million_tokens": 4.4
  },
  {
    "label": "GLM-4.7-Flash input",
    "usd_per_million_tokens": 0
  },
  {
    "label": "GLM-4.7-Flash output",
    "usd_per_million_tokens": 0
  }
]

截至 25 October 2026,Z.ai 列出的 GLM-5.2 价格为每百万个输入 token $1.4,每百万个输出 token $4.4。对于本指南在本地运行的模型 GLM-4.7-Flash,其输入和输出价格均为每百万个 token $0。这些都是已公布的价格,而且可能发生变化。因此,在据此制定预算前,请先查看当前页面。

因此,目前自行托管的成本理由 glm-4.7-flash 并不充分。拥有足够 RAM 的 VPS 每月都需要实际支出,而模型发布方免费提供同一模型。自行运行模型所获得的是其他方面的收益:您的提示词会保留在您控制的机器上,模型版本也不会变化,除非您主动更换。对于该模型和当前价格,这些都是自行托管的合理理由,但成本不是。

当您需要的模型不是免费模型,或由于法律原因数据不能离开自己的网络时,计算结果就会改变。GPU VPS 与 API token 的盈亏平衡点会逐项列出变量并完成计算。如果您还在选择服务器,VPS 每月的实际成本是计算的另一部分。

保持端点仅监听 localhost

这是人们最容易跳过的一步,也是最重要的一步。

Ollama 默认绑定到 127.0.0.1 的 11434 端口,因此只能从服务器本机访问。不要想当然地认为配置正确,请在服务器上确认。

ss -ltnp | grep 11434

您应看到 127.0.0.1:11434。如果看到 0.0.0.0:11434 或 *:11434,说明 API 正在所有网络接口上监听,包括公网接口。

这一点很重要,因为 Ollama 的本地 API 默认不需要身份验证。它没有密码、令牌或允许列表。任何能够访问 11434 端口的人,都可以列出您的模型、使用您付费的硬件运行生成任务、不断将新模型下载到磁盘直至磁盘写满,还可以删除您已有的模型。11434 是众所周知的默认端口;OLLAMA_HOST 可以同时更改绑定地址和端口。

不要设置 OLLAMA_HOST=0.0.0.0。此变量会更改 Ollama 绑定的地址。许多教程会在笔记本电脑上的客户端无法连接时建议设置它,但这是错误的解决方法。应改为转发端口。

ssh -N -L 11434:127.0.0.1:11434 you@your-server

SSH 会在您的笔记本电脑上监听 11434 端口,并将每个连接转发到从服务器角度看为 127.0.0.1:11434 的地址,这正是 Ollama 默认监听的位置。因此,无需修改 OLLAMA_HOST,任何配置为 http://localhost:11434 的客户端都可以继续使用,也不会暴露新的服务。如果需要供多个人或多台机器使用,请将服务器加入私有隧道网络,并让 Ollama 绑定到隧道地址,绝不要绑定到 0.0.0.0。

请从服务器以外的位置进行验证。关闭 SSH 隧道后,在您的笔记本电脑上执行:

curl -m 5 http://your-server-ip:11434/api/tags

curl: (28) Connection timed out 或 curl: (7) Failed to connect 才是正确结果。如果返回包含您模型的 JSON 列表,说明该端口已对互联网开放,需要立即修复。服务提供商的网络防火墙与服务器本机上运行的防火墙是两个独立的控制层,因此请同时检查两者。关于 VPS 托管是否安全这一更广泛的问题介绍了让机器持续运行时需要遵循的其他基线要求。

如果 glm-4.7-flash 仍然太大

Q4 标签无法适配您的方案时,应改用更小的模型,而不是缩小上下文。为了装下模型而减少上下文,只会得到一个能够加载、但在第一个长提示词处就失败的模型。在 VPS 上运行 8B 和 27B 版本的 Qwen 3介绍了相同的安装流程,并适用于配置较低的服务器;在 VPS 上使用 Ollama 自托管 LLM 的通用指南涵盖了无论选择哪个模型都相同的部分。无论最终选择哪个模型,都应固定标签,在您自己的方案上进行测试,并让端点仅监听 loopback。

FAQ

GLM 5.2 可以在 VPS 上本地运行吗?

可以。使用 Z.ai 发布的权重,以及 SGLang 或 vLLM 等受支持的运行时即可。截至 2026 年 10 月 25 日,Ollama 的模型库中只有 glm-5.2:cloud 这一 GLM 5.2 条目。该标签使用 Ollama 自己的基础设施运行,必须先完成 ollama signin 才能使用。Z.ai 的权重仓库显示,该模型约有 7530 亿个参数。因此,即使每个参数使用 4 位,权重本身也约需 377 GB。已发布的大内存 VPS 方案中有些超过这一容量,例如 Paragon 的 512 GB E-48。但仍需为运行时开销和上下文预留空间。本指南使用的、可下载权重的较小 GLM 模型是 glm-4.7-flash。

glm-4.7-flash 需要多少 RAM?

应将模型标签的下载大小视为最低需求,并在此基础上为 KV 缓存和操作系统预留空间。Ollama 列出的 Q4 标签大小为 19 GB,Q8 标签为 32 GB,bfloat16 标签为 60 GB。没有适用于所有情况的固定倍数,因为 KV 缓存会随设置的上下文长度增长。加载模型后运行 ollama ps,然后读取 SIZE 列,查看你自己的服务器上的实际数值。

如何测量自己的 VPS 每秒生成多少个 token?

向 http://localhost:11434/api/generate 发送一个带有 "stream": false 的请求,然后从响应中读取 eval_count 和 eval_duration。每秒 token 数为 eval_count / eval_duration * 1e9,因为 eval_duration 的单位是纳秒。应丢弃第一次运行的结果,因为其中的 load_duration 包括从磁盘读取权重的时间。还应使用较长的提示词重复测试,因为 prompt_eval_duration 会随输入长度增长,而生成速度不会因此增长。

为什么不应将 OLLAMA_HOST 设置为 0.0.0.0?

因为 Ollama 的本地 API 默认不需要身份验证,将其绑定到 0.0.0.0 后,它会暴露在所有 IPv4 接口上;公网访问权限随后取决于路由和防火墙。任何能够访问 11434 端口的人都可以使用你的硬件执行生成请求,并更改已安装的模型。保持默认的 127.0.0.1 绑定,使用 ss -ltnp | grep 11434 检查绑定地址,并通过 SSH 隧道从笔记本电脑访问 API,例如 ssh -N -L 11434:127.0.0.1:11434 you@your-server。

这篇文章对您有帮助吗?