SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor · 更新于 2026-10-26

在 VPS 上运行 Meta Muse Glimmer 30B:内存与磁盘要求

Linux 标签大小为 18GB 至 59GB。部署前计算 VPS 所需内存和磁盘空间,并了解仅用 CPU 推理的实际成本。

VPS 上运行 Muse Glimmer 的要求

Muse Glimmer 可在普通的 Linux VPS 上运行,无需 GPU;拉取的标签决定它是否能装入内存。Meta Superintelligence Labs 于 10 August 2026 按 Apache 2.0 许可发布了该模型:30 billion 个参数、128K 上下文窗口,以及一个专用的 1.8B 参数感知编码器,因此它可以同时读取图像和文本。Meta 将其定位为持续运行的本地代理,而不是聊天模型;您可以针对每个请求设置其推理强度。

截至 25 October 2026,已发布的 Ollama 标签可在 Linux 上运行,大小从 18 GB 到 59 GB 不等。这一范围就是容量规划的全部难点。完整标签列表的起点和终点分别为 17 GB 和 65 GB,但这两个标签都是为 Apple Silicon 构建的 MLX 标签,因此不适用于 Linux 服务器。默认标签列出的大小约为 18 GB,因此,合理的最低配置应具有明显多于 18 GB 的可用 RAM。下载所需的磁盘空间和上下文窗口所需的内存还需额外计算。

应拉取哪个 muse-glimmer 标签?

图表Published muse-glimmer tag sizes on 25 October 2026 (Linux tags only)
此图表背后的数据
[
  {
    "label": "30b (default)",
    "size_gb": 18
  },
  {
    "label": "30b-q4_K_M",
    "size_gb": 18
  },
  {
    "label": "30b-q4_K_M-dflash",
    "size_gb": 20
  },
  {
    "label": "30b-q8_0",
    "size_gb": 31
  },
  {
    "label": "30b-q8_0-dflash",
    "size_gb": 33
  },
  {
    "label": "30b-bf16",
    "size_gb": 57
  },
  {
    "label": "30b-bf16-dflash",
    "size_gb": 59
  }
]

Ollama 为此模型列出了 7 个不带 MLX 标签的标签,不包括 latest 别名。普通标签包含相同的 300 亿个权重,但使用了不同的数值精度。-dflash 标签除了这些权重外,还包含下文介绍的一个更小的网络,因此每个标签显示的大小都大于对应的普通标签。显示的大小就是需要下载的数据量,也大致等于加入上下文之前必须保留在内存中的容量。

4-bit 构建是较小的版本:30b-q4_K_M,大小为 18 GB。默认的 30b 标签只是该构建的另一个名称,标签页面上的摘要相同。8-bit 构建是 30b-q8_0,大小为 31 GB。30b-bf16 是未量化的 16-bit 版本,大小为 57 GB。对于大多数租用服务器来说,这需要的 RAM 超过了适合个人项目预算的容量。17 GB 的 30b-nvfp4 标签虽然标称更小,8-bit 的 30b-mxfp8 标签大小为 33 GB,但二者都带有 MLX 标签,因此未列入图表。下一节会解释原因。

-dflash 标签加入了 Meta 的 DFlash 草稿网络。模型卡片将其描述为“一种可一次提出完整 token 块的小型伴随网络”:包含 5 个草稿层,每次预测由 16 个 token 组成的块。它是一项推测解码加速功能,Ollama 的模型页面将 DFlash 支持列为 Apple Silicon 上 MLX 引擎的一部分。在仅使用 CPU 的 VPS 上,它会为草稿网络额外占用约 2 GB 的实际内存,但你尚未测量它在当前硬件上的收益,因此应先使用普通标签,并一次只更改一个因素。

除非有明确理由,否则应从 4-bit 版本开始。每个 token 生成时,CPU 都必须读取从 4-bit 切换到 8-bit 后约多一倍的字节数,因此吞吐量会下降,而内存使用量会上升。q4、q8 和 fp16 量化的实际代价将讨论这种权衡。对于 CPU 服务器,简而言之,4-bit 版本是唯一值得作为起点的选择。

为什么 MLX 标签在 Linux 服务器上不起作用

MLX 是 Apple 的数组框架,Ollama 的 MLX 引擎是其 Apple Silicon 后端。Ollama 发布该引擎时要求“确保使用统一内存超过 32GB 的 Mac”。标签页面标记为 MLX 的每个标签,都是为该引擎和硬件构建的;该标签不一定出现在名称中:对于此模型,它涵盖 30b-nvfp4、30b-mxfp8 及其 -dflash 变体,也涵盖名称中包含 mlx 的所有标签。在 x86 Linux VPS 上,这些标签每个都需要下载数十 GB,但无法运行,只会占用磁盘空间。Mac 上测得的任何速度数据都对应这些标签,因此也不能代表您的服务器。阅读模型页面上的标签列表时,先筛除所有带 MLX 标签的标签,再根据剩余标签评估资源需求。

实际需要多少 RAM 和磁盘空间?

有两部分会占用内存,只有其中一部分取决于 tag 大小。权重大小由拉取的 tag 固定。KV cache 是模型为当前对话保留的每 token 状态,其大小会随配置的上下文长度增长。Ollama 文档指出,并行处理请求时,上下文大小会乘以同时处理的请求数。因此,同时响应两个 agent 的服务器,比响应一个 agent 的同一台服务器需要更多内存。

不要直接采用任何指南中的 RAM 数值,包括本指南中的数值。拉取 tag,向模型发送一个提示词,然后在模型仍驻留内存时运行以下两个命令。

ollama ps
free -h

ollama ps 显示当前已加载的内容,以及工作负载如何在 CPU 和 GPU 之间分配。free -h 显示剩余资源。这两条命令在您自己的服务器上输出的结果,比任何已发布的表格都更可靠,因为其中已经包含您的上下文设置、量化方式,以及服务器正在运行的其他任务。

磁盘空间更容易判断。Ollama 在 Linux 上将模型存储在 /usr/share/ollama/.ollama/models 下,而该路径在大多数 VPS 镜像中位于根文件系统上。40GB 的根卷无法容纳 57 GB 的 bf16 构建,也无法同时容纳 8-bit 和 4-bit 构建。如果您从未查看过 pull 实际写入了哪些内容,请参阅Ollama 存储模型的位置以及如何迁移模型,其中介绍了该目录。拉取任何内容前,先将模型存储目录迁移到已挂载的卷。

sudo systemctl edit ollama
[Service]
Environment="OLLAMA_MODELS=/mnt/models"
sudo mkdir -p /mnt/models
sudo chown -R ollama:ollama /mnt/models
sudo systemctl daemon-reload
sudo systemctl restart ollama

ollama 用户必须拥有该目录,因为服务以 ollama 身份运行,并以该身份向目录写入 blob。如果 pull 因权限问题失败,可在 journalctl -u ollama -n 50 中查看具体原因。

关于 swap,需要明确一点:swap 不能让您运行更大的 tag。模型生成每个 token 时都要访问权重,因此位于 swap 中的权重会反复从磁盘读回;vmstat 1 中的 si 和 so 列会持续繁忙,输出速度也会降到每 token 需要数秒。保留一个较小的 swap 文件,以防止触发 out of memory killer。应根据实际需要运行的 tag 配置 RAM。

安装 Ollama 并固定命名标签

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
systemctl status ollama

安装脚本会配置 systemd 服务,因此服务器重启后该服务会自动恢复。如果不希望以 root 管理的系统服务运行 Ollama,请参阅在 Podman 下以无 root 模式运行 Ollama。然后拉取明确的标签。

ollama pull muse-glimmer:30b
ollama list

请自行读取 ollama list 中的大小列,并与模型页面上的当前标签列表进行比较。已发布的标签会新增、重命名或删除,指南中的大小只是某一天的快照。

请勿在依赖该服务器的环境中写入 ollama pull muse-glimmer。不带标签的模型名称会解析为 latest 标签,而 latest 是发布者可以指向其他构建的指针。常规拉取操作随后会在代理下方替换模型,导致内存需求和行为发生变化,而且日志不会对此作出提示。请在脚本、单元文件和代理配置中写入标签。使用 Ollama 在 VPS 上自行托管 LLM介绍其余服务器配置。

能否在没有 GPU 的情况下运行 Muse Glimmer?

可以,但需要明确它的性能上限。生成一个 token 需要从内存中读取模型权重,因此速度取决于内存带宽,而不是套餐标称的 vCPU 数量。核心数超过一定数量后,继续增加核心几乎没有收益。在共享 VPS 上,内存带宽还要与主机上的其他租户共享,因此 30B 模型使用 4-bit 量化时,每秒只能生成少量 token。

不要直接接受任何人的数据,包括我的数据。在自己的服务器上测量每秒 token 数,再根据实际结果做决定。

这会明显影响模型适合的工作类型。交互式聊天体验很差,因为您的阅读速度高于服务器的生成速度,而且每次回复开始前都要长时间等待。后台代理任务则没有问题,因为无人值守运行十分钟的任务并不在意速度较慢。这正是 Meta 为该模型描述的使用场景。

如果需要交互式速度,诚实的答案只有两个:使用 GPU,或使用托管 API。在租用任何资源前,请先计算 GPU VPS 与 API token 的盈亏平衡点;GPU VPS 实际提供什么介绍了您购买的具体能力。对于某台服务器能够运行哪些模型这一更广泛的问题,请先查看可以自行托管哪些模型;在 VPS 上运行相近规模的 Qwen 模型则是此规模级别中最接近的对比。如果实测结果慢到无法接受,在 VPS 上运行 Nemotron 3.5 Lightning会针对一个以速度而非规模为设计目标的模型,讨论相同的 RAM 和每秒 token 数问题。

为什么它会在远未达到 128K tokens 时遗忘内容?

因为在没有 GPU 的主机上,无论模型支持多大的上下文窗口,Ollama 的默认上下文窗口都是 4096 tokens。Ollama 的 FAQ 说明默认值为 4096;其上下文长度文档(截至 25 October 2026)根据 GPU 显存调整默认值:显存低于 24 GiB 时为 4k,24 到 48 GiB 时为 32k,48 GiB 或更高时为 256k。仅使用 CPU 的 VPS 属于最低档。模型标签宣传支持 128K,但服务器会向模型传递 4096,除非您另行设置。因此,较长的代理会话记录会丢失早期交互,模型看起来就像失忆了一样。

在服务器上为每个请求提高该值:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"

在交互式会话中,/set parameter num_ctx 32768 只会为当前会话修改该值。通过 API 时,在请求选项中发送 num_ctx。

上下文中的每个额外 token 都会在模型权重之外增加内存开销。如果主机只按模型权重配置内存,却请求完整的 128K,上载模型可能会失败,或回退到更慢的方式。请分步提高该值,并在每次调整后运行 ollama ps。Ollama 中 num_ctx 和上下文长度的工作方式详细说明了相关计算。

推理强度:low、medium、high 和 xhigh

Meta 为 Muse Glimmer 定义了 4 种推理强度,从 low 到 xhigh,并建议在复杂编码和代理任务中使用较高的两档。在 Ollama 中,这通过 think 参数控制。在命令行中使用 --think=,或在 API 请求体中发送 think。

ollama run muse-glimmer:30b --think=high "Summarise the changes in /tmp/patch.diff"

在交互式会话中,/set think 和 /set nothink 可切换该设置。Ollama 的思考功能文档于 2026 年 10 月 25 日阅读时说明,应使用 /api/show 来查询模型支持的值。包含思考元数据的模型会在 thinking.values 下列出这些值:对于开关控制,值为布尔值;对于分级控制,值为模型定义的名称。文档要求使用其中列出的确切值。并非所有模型都会发布该列表:如果响应中缺少 thinking,则表示模型没有思考元数据。同一页面还说明,不受支持的名称会回退到模型默认值。因此,级别名称拼写错误不会引发错误,只会静默使用默认值。命令行帮助只列出 true、false、high、medium 和 low,并会将其他字符串未经检查地传递给服务器。因此,应读取 /api/show 为 muse-glimmer:30b 报告的内容,而不要凭猜测设置;在将其接入代理前,先手动测试一个值。

在纯 CPU 服务器上,该设置会明显影响性能。强度越高,在答案首词出现前生成的思考 token 越多,而生成一个思考 token 所需的实际时间与生成一个答案 token 相同。日常任务应保持 low 设置。答案长度同样需要控制,因此应使用 使用 num_predict 限制回复长度,不要让一次冗长的回复使运行缓慢的服务器持续数分钟。

让模型常驻内存,支持始终运行的代理

Ollama 默认会在模型空闲五分钟后将其卸载。对于每十分钟运行一次的代理,这意味着每次运行都要从磁盘重新加载完整的 18 GB 模型;在使用网络附加存储的 VPS 上,加载速度并不快。应将模型固定在内存中。

[Service]
Environment="OLLAMA_KEEP_ALIVE=-1"

负值会让模型一直常驻,直到被卸载;API 请求中的 keep_alive 会覆盖服务器默认值,但仅对该次调用生效。代价也很明确:即使没有任务运行,模型仍会占用 RAM。因此,该设置适用于专门运行此代理的服务器。让 Ollama 模型保持加载状态介绍了各种配置方式。

连接代码代理

Ollama 在 http://127.0.0.1:11434/v1 提供兼容 OpenAI 的 API,因此大多数代理工具只需配置基础 URL 和任意非空 API 密钥即可连接。Ollama 的 Muse Glimmer 页面还记录了一个启动快捷方式,可通过一条命令将受支持的代理连接到本地模型;在那里也应固定模型标签。

ollama launch claude --model muse-glimmer:30b

代理会发送很大的提示。文件内容、工具输出和不断增长的对话记录都会作为输入令牌传入。在 CPU 服务器上,生成尚未开始前,提示处理就已经是主要性能瓶颈。将上下文设置保持在任务允许的最小值。将代码代理连接到 Ollama介绍客户端配置,在 VPS 上运行代码代理介绍代理所在的服务器,控制 VPS 上代理的成本介绍代理全天运行时的情况。

图像输入的方式相同。Ollama API 接受消息 images 字段中的图像,因此纯文本客户端永远不会发送图像,无论感知编码器的能力有多强。

不要开放端口 11434

Ollama API 没有身份验证。设置 OLLAMA_HOST=0.0.0.0:11434 以便从笔记本电脑访问,会将未经过身份验证的模型运行器暴露到公网。任何发现该服务的人都可以将模型加载到您的磁盘,并读取您的代理通过它发送的所有内容。请将其绑定到 localhost,并改用隧道。

ssh -N -L 11434:127.0.0.1:11434 user@your-vps

保护 Ollama API 端点介绍了正确的选项,包括要求提供凭据的反向代理。

哪些情况会出问题,以及你会看到什么

拉取中途停止。 磁盘空间不足。针对模型目录运行 df -h。57 GB 的 bf16 构建无法放入 40GB 的 root 卷,8-bit 和 4-bit 构建同时保存时也一样。

模型加载后进程退出。 内存不足。dmesg -T 会记录内核 OOM killer 选择终止某个进程的情况,journalctl -u ollama -n 100 会显示服务侧对应的同一事件。解决方法是使用更小的标签或更小的 num_ctx。增加 swap 无法解决问题。

运行速度只有每个 token 几秒。 运行 vmstat 1,并观察 si 和 so 列。持续的 swap 活动表示权重无法装入 RAM,系统运行时会从磁盘反复读取这些权重。

上周可用的标签消失了。 标签列表会变化。重新查看模型页面,固定当前可用的标签,并将标签名称记录在以后能找到的位置。

自行重新检查大小后再拉取

图表中的大小读取自模型在 25 October 2026 的标签页面,已发布的标签列表并不保证永久有效。请在模型页面查看当前列表,然后确认实际写入磁盘的内容:

ollama pull muse-glimmer:30b
ollama list
sudo du -sh /usr/share/ollama/.ollama/models

Ollama 会将模型层存储为共享 blob,因此共享同一层的两个标签不会占用两倍磁盘空间。将 du 报告的大小与已发布的大小进行比较,并根据两者中较大的值规划磁盘空间。

FAQ

Muse Glimmer 在 VPS 上需要多少 RAM?

从标签大小开始,再加上上下文窗口。2026 年 10 月 25 日,默认标签列出的大小约为 18 GB,因此 16GB 主机完全无法容纳它,24GB 主机加载后也只剩很少空间供上下文使用。这个数值只能作为起点,不能直接作为结论。拉取该标签并加载一次,然后在自己的主机上运行 ollama ps 和 free -h,读取实际数值。更长的上下文和并行请求都会在权重之外继续增加内存占用。

不使用 GPU 可以运行 Muse Glimmer 吗?

可以。它可以仅使用 CPU 在 VPS 上加载并生成响应。生成速度主要受内存带宽限制,而不是核心数量限制;在共享主机上,内存带宽还会被其他租户共享,因此使用 4-bit 时,预计每秒只能生成少量 token。对于无人值守的后台代理任务,这样的速度可以使用;对于交互式聊天,则会很慢。在请求期间运行 ollama ps,读取处理器列,以确认任务实际运行的位置。

MLX 标签在 Linux VPS 上有用吗?

没有。标签页面标记为 MLX 的每个标签都为 Ollama 的 MLX 引擎构建,该引擎是其 Apple Silicon 后端。这包括 30b-nvfp4 和 30b-mxfp8,即使它们的名称中没有 mlx。在 x86 Linux 服务器上,这些标签只是无法运行的大型下载内容。请使用普通的 30b 标签,或其他非 MLX 标签,并忽略随 MLX 构建提供的 Apple 硬件基准数据。

为什么模型远在 128K token 之前就忘记内容?

因为在没有 GPU 的主机上,无论模型支持多大的上下文窗口,Ollama 的默认上下文窗口都是 4096 token。因此,服务器会在模型看到长对话之前截断这些内容。在服务器上设置 OLLAMA_CONTEXT_LENGTH,或为单个会话设置 /set parameter num_ctx,也可以在 API 请求选项中发送 num_ctx。内存占用会随之增加,因此应逐步提高该值,并在每次调整后检查 ollama ps。

应该固定标签,还是直接使用 latest?

应固定标签。不带标签的 muse-glimmer 会解析为 latest。这是一个发布者可以随时指向其他构建的指针,因此例行执行 pull 可能会改变代理运行的模型。在脚本、unit 文件和代理配置中写入 muse-glimmer:30b。固定之前,请查看模型页面上的标签列表,因为已发布的标签可能会变化。

这篇文章对您有帮助吗?