SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor

VPS能运行Inkling 2 Small吗?内存与GPU要求

普通VPS无法运行Inkling 2 Small。了解约180 GB内存的CPU例外、171.7 GB权重、Ollama Cloud方案、GPU要求及API成本。

在 VPS 上运行 Inkling 2 Small

不,普通 VPS 无法运行。大内存 CPU 例外方案需要大约 180 GB 或更多可用 RAM、Unsloth 的约 1-bit UD-IQ1_S GGUF 量化版本,以及支持 Inkling 2 的 llama.cpp 构建版本。RAM 下限是根据 171.7 GB 的权重文件,再加上 KV 缓存、运行时和操作系统所需空间计算得出的,并非 Unsloth 发布的内存要求。594B MoE 模型在 CPU 上运行速度很慢,而且 UD-IQ1_S 是 Unsloth 提供的最低质量量化版本。llama.cpp release b12406(15 November 2026)及更高版本包含来自 PR #32217 的 Inkling 2 支持。Unsloth 的指南仍然从开放的 PR #32187 构建,因此不能确认其中的文件可通过上游版本加载。

另外两篇指南可能更符合您的目标。如果您想在小型 VPS 上调用大型模型而不加载任何权重,请阅读如何在小型 VPS 上运行 Ollama Cloud 模型。如果您想选择确实能在自己的 VPS 上运行的模型,请从在本地运行模型时选择 Ollama 还是 llama.cpp开始。

完整答案分为三个部分。首先,Unsloth 发布了 GGUF 量化版本,为内存足够的机器提供 CPU 推理路径。Hugging Face 模型卡片说明,推荐的 NVFP4 检查点需要至少 500 GB 的聚合 VRAM(视频内存,即 GPU 上的内存)。此要求适用于官方 NVFP4 部署,并不适用于所有量化版本。其次,小型 VPS 仍可通过 Ollama Cloud 使用该模型。此时模型运行在 Ollama 的服务器上,因此您的提示词会离开本机。第三,您可以在自己控制的 GPU 集群上使用 vLLM 或 SGLang 自行提供开放权重模型服务。

什么是 Inkling 2 Small?

Inkling 2 Small 是 Thinking Machines Lab 发布的开放权重模型。发布文章称,这是该实验室的第二代模型。该实验室于 5 November 2026 发布了该模型。同一篇文章在 12 November 2026 更新时说明,模型权重现已发布到 Hugging Face。以下关键事实截至 13 November 2026,内容取自发布文章和模型卡:

  • 设计:混合专家(Mixture-of-Experts,MoE),总参数量为 594B,每个 token 激活 17B 参数。
  • 架构:48 层、仅解码器的 Transformer。每个 token 会路由到 384 个专家中的 8 个。
  • 输入和输出:输入支持文本和图像,输出为文本。发布文章称不支持音频。
  • 视觉:使用基于 Perception Encoder 的 292M 参数视觉编码器。
  • 推理:推理强度可变。该实验室在 effort 0.99 下运行基准测试,并将其称为 xhigh。
  • 上下文窗口:根据模型卡,最多支持 1M tokens。
  • 许可证:模型卡列出 apache-2.0。
  • 检查点:主要检查点为 NVFP4。MXFP8 是另一种可选检查点,位于单独的仓库中。
  • Ollama:提供一个标签 inkling-2-small:cloud,没有可在本地运行的标签。

Hugging Face 自带的参数计数器目前显示 NVFP4 仓库包含 594B 参数,与该实验室公布的总参数量一致。该仓库包含修正提交 “Add minimal quantization config to correct Hub parameter count (#3)”。

12 November 的更新还列出了支持该模型的项目。推理支持项目包括 Unsloth、SGLang、vLLM 和 TokenSpeed。后训练支持项目包括 Miles、SkyRL 和 Snowflake Cortex Training。托管 API 提供商包括 NVIDIA、Fireworks、Together、Baseten、Nebius、Modal 和 Cloudflare。该实验室自有的训练和采样服务 Tinker 也提供此模型。

为什么 17B active 不代表 17B 模型

稠密模型会为每个 token 使用全部参数。混合专家模型则将大部分前馈层拆分为许多较小的网络,这些网络称为专家。一个小型路由器会为每个 token 选择少数几个专家。在 Inkling 2 Small 中,路由器会为每个 token 从 384 个专家中选择 8 个。因此,处理一个 token 所需的计算量接近 17B 稠密模型。这就是“17B active”的全部含义。

内存是另一个问题。路由器会为每个 token 重新选择专家,而下一个 token 可能需要 384 个专家中的任意一个。因此,运行时必须能够访问完整的专家权重集合。根据部署方式,这些权重可以位于 GPU 内存或系统 RAM 中。内存需求和下载大小取决于 594B 总参数量,而不是 17B active 参数量。

以下计算基于 13 November 2026 的 Hugging Face 文件列表和模型卡:

图表Inkling 2 Small: download size and the card's GPU memory floor, in GB
此图表背后的数据
[
  {
    "label": "NVFP4 download",
    "gigabytes": 394
  },
  {
    "label": "NVFP4 GPU memory floor",
    "gigabytes": 500
  },
  {
    "label": "MXFP8 download",
    "gigabytes": 623
  },
  {
    "label": "MXFP8 GPU memory floor",
    "gigabytes": 800
  }
]

NVFP4 仓库的文件总量约为 394 GB:其中包括 24 个 safetensors 分片,以及一个 3.42 GB 的 mtp.safetensors 文件。MXFP8 仓库显示为 623 GB。这些数值仅包含权重。运行中的服务器还需要为 KV 缓存预留内存。KV 缓存保存每个请求的注意力状态,并会随上下文长度增加。KV 缓存与提示缓存的区别对这部分内存作了更详细的说明。

现在将其与 VPS 对比。典型 VPS 根本没有 GPU,其 RAM 通常只有几 GB 到几十 GB。仅增加磁盘容量并不能解决问题:500 GB 的总 VRAM 是模型卡列出的官方 NVFP4 部署最低要求。Unsloth 的 GGUF 构建版本则支持 CPU 推理,因此 RAM 足够大的 VPS 可以加载某种量化版本,并为 KV 缓存和运行时开销留出空间。关于模型适配后模型文件在磁盘上的存储位置,请参阅 ollama pull 与 run 的区别以及模型文件的存储位置。如果要按相同方式了解另一种 MoE 模型,请阅读 自托管 Qwen 3.8 Flash Next 的资源需求。

路线 1:在小型 VPS 上通过 Ollama Cloud 使用 Inkling 2 Small

截至 13 November 2026,Ollama 模型库为 Inkling 2 Small 列出单个标签 inkling-2-small:cloud。该标签标注为 vision、tools、thinking 和 cloud。它接受文本和图像输入,并列出 1M 的上下文长度。Ollama 的云服务文档说明,推理在 Ollama 的云服务上运行。您的 VPS 只需发送请求并接收响应,因此无需 GPU,也只需很少的内存。

在 VPS 上安装 Ollama CLI 并登录 Ollama 账户后,运行以下命令即可开始聊天:

ollama run inkling-2-small:cloud

您也可以直接调用云 API,完全不安装 Ollama。Ollama 文档说明,两种方式都需要 Ollama 账户。直接调用 API 时,需要在 bearer header 中提供 API key。请注意这里的模型名称:云 API 使用 inkling-2-small,不带 :cloud 后缀。

echo ${OLLAMA_API_KEY:+key is set}
curl https://ollama.com/api/chat \
  -H "Authorization: Bearer $OLLAMA_API_KEY" \
  -d '{
    "model": "inkling-2-small",
    "messages": [{"role": "user", "content": "Explain a Mixture-of-Experts model in two sentences."}],
    "stream": false
  }'

第一行应输出 key is set。如果输出空行,说明该变量未在当前 shell 中设置,因此请求会携带空的 bearer token 发送。发送请求前先设置该密钥。正常响应是一个 JSON 对象,模型的回答位于其 message.content 字段中。账户、登录和密钥设置步骤请参阅Ollama Cloud 小型 VPS 模型指南,本文不再重复。

Ollama 模型库页面还说明了如何让编码代理使用该模型:

ollama launch claude --model inkling-2-small:cloud

同一页面还将 opencode、hermes 和 openclaw 列为 ollama launch 的其他目标。有关该命令如何将代理连接到 Ollama,请参阅如何将 Ollama 与编码代理配合使用。

使用 Ollama Cloud 时哪些内容会离开您的计算机

您发送的每个提示、图像和工具结果都会发送到 Ollama 的服务器。Ollama 的定价 FAQ 对这些数据作出了几项说明。其中表示:“提示或响应数据绝不会被记录或用于训练。”还表示,其合作的服务提供商必须执行“无记录、无训练且零数据保留政策”。此外,Ollama 说明其模型和计算资源主要托管在美国,并且可能会将请求路由到欧洲以提供额外容量。

这些是服务提供商作出的承诺,与本地推理不同。本地推理不会让提示离开您的硬件。如果您的数据需要满足这一要求,请在发送敏感内容前阅读Ollama Cloud 与自建服务器的区别。

如果同一台 VPS 还运行 Ollama 服务器来提供小型本地模型,请勿将其 API 端口 11434 暴露到公网。开放的端口会让任何发现该端口的人向您的服务器发送请求。如何保护 Ollama API 端点介绍了如何限制访问。

Ollama Cloud 使用该模型的费用

图表Inkling 2 Small API prices, US dollars per million tokens
此图表背后的数据
[
  {
    "label": "Ollama Cloud (13 Nov 2026)",
    "input_usd": "0.30",
    "cached_input_usd": "0.03",
    "output_usd": "1.00"
  },
  {
    "label": "Tinker sampling, 1M (64K training option, 19 Nov 2026)",
    "input_usd": "0.30",
    "cached_input_usd": "0.03",
    "output_usd": "1.00"
  },
  {
    "label": "Tinker sampling, 1M (256K training option, 19 Nov 2026)",
    "input_usd": "0.30",
    "cached_input_usd": "0.03",
    "output_usd": "1.00"
  },
  {
    "label": "Tinker serverless beta, 1M (19 Nov 2026)",
    "input_usd": "0.30",
    "cached_input_usd": "0.03",
    "output_usd": "1.00"
  }
]

截至 13 November 2026,Ollama 定价页面列出 inkling-2-small 的价格为:每百万输入 token $0.30,每百万缓存输入 token $0.03,每百万输出 token $1.00。该页面仅为 deepseek-v4.1-flash 和 deepseek-v4-pro 提供非高峰时段价格,因此该模型在任何时段的费用都相同。Ollama 按各模型的价格以 token 计量用量,并从 credits 中扣除费用。Pro、Max 和 Team 计划每月包含一定数量的 credits。Ollama 会优先使用这些 credits,然后才使用您购买的 credits。有关各计划包含的内容,请参阅Ollama 在本地和云端的免费内容。

路线 2:Tinker 和托管 API

Tinker 是实验室自己的服务。截至 19 November 2026,其定价页面列出的 Inkling 2 Small 采样价格为:每百万输入 token $0.30,缓存输入 token $0.03,输出 token $1.00;64K 和 256K 训练选项均支持最多 1M token。无服务器推理测试版在每 1M token 的这三项价格上相同。该页面说明,生产环境使用无服务器推理需要联系 Tinker 团队。

Tinker 还提供微调定价,这是选择它而不是普通 API 的主要原因:

图表Tinker training price for Inkling 2 Small, US dollars per million tokens (checked 19 Nov 2026)
此图表背后的数据
[
  {
    "label": "64K context",
    "training_usd": "1.50"
  },
  {
    "label": "256K context",
    "training_usd": "3.00"
  }
]

64K 训练费用为每百万 token $1.50,256K 训练费用为 $3.00。

注意上下文大小。Tinker 的 64K 和 256K 限制针对训练;这两个选项的采样以及无服务器推理均支持最多 1M token。提供商提供的上下文窗口可能小于模型支持的大小,因为上下文中的每个 token 都需要占用提供商 GPU 上的 KV cache 内存。vLLM 自己的配置方案也体现了相同的权衡:它使用张量并行大小 4 提供 262,144 token,并说明 1M token 的上下文需要 8。Ollama 中的上下文长度工作方式介绍了本地模型中的相同原理。

12 November 更新中列出的托管 API 提供商包括 NVIDIA、Fireworks、Together、Baseten、Nebius、Modal 和 Cloudflare。本指南未核查它们的价格。在基于某个提供商构建服务之前,请打开其自己的模型页面,查看价格和最大上下文长度。若要判断租用 GPU 何时比按 token 付费更划算,请阅读GPU VPS 与 API token:盈亏平衡点。

在 GPU 集群上自行托管 Apache 2.0 权重

该卡片列出了两个检查点,选择哪个检查点将决定所需硬件:

  • NVFP4,主要检查点:至少需要 500 GB 的总 VRAM。卡片以 2x NVIDIA B300 或 4x NVIDIA H200 为例。
  • MXFP8,替代检查点:至少需要 800 GB 的总 VRAM。卡片以 4x NVIDIA B300 或 8x NVIDIA H200 为例。

该模型使用 NVFP4 训练,这是它的原生精度。卡片写道:“我们建议所有使用场景都采用 NVFP4 检查点。”卡片说明,MXFP8 在评测中的提升非常有限,约为 1 到 2 个百分点。因此,MXFP8 需要多约 300 GB GPU 内存,但收益很小,大多数集群应使用 NVFP4。

使用 vLLM 提供服务

模型卡片没有提供启动命令,只链接到其列出的各个推理引擎的配置方案:SGLang、vLLM、TokenSpeed 和 Unsloth。根据 13 November 2026 查看的 vLLM Inkling 2 Small 配置方案,支持该模型需要使用 vLLM nightly 构建版本,因为目前还没有正式版本包含该模型。在正式版本支持之前,该方案使用 vllm/vllm-openai:inkling-2-small 容器镜像。其用于 NVFP4 检查点的服务命令为:

vllm serve thinkingmachines/Inkling-2-Small \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --max-num-seqs 256 \
  --reasoning-parser inkling \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

如果不设置张量并行标志,vLLM 会尝试将模型加载到单个 GPU 上。该方案列出的硬件为 8x B200,并说明 1M-token 上下文需要将张量并行大小设置为 8。这些标志来自经常变更的配置方案页面,因此应在部署当天再次检查。

使用 SGLang 提供服务

模型卡片同样没有提供 SGLang 命令,只链接到 SGLang 的 cookbook 配置方案。该 cookbook 页面说明,SGLang 正式版本目前还不支持 Inkling 2 Small,因此使用 lmsysorg/sglang:dev-inkling-2-small 镜像。cookbook 根据硬件设置并行参数。NVFP4 在 B300、B200、GB300 或 GB200 上使用 TP4 和 EP4(张量并行和专家并行)。H200 使用 TP8 和 EP8。页面说明 EP 应等于 TP。该页面会在交互式面板中生成完整的启动命令,因此应从该页面获取准确标志。

如果使用 --host 0.0.0.0 启动服务器,它会监听所有网络接口,包括公网接口。任何能够访问该端口的人都可以使用你的集群。请在防火墙中阻止该端口,或将服务器绑定到只有你自己的服务能够访问的私有地址。

同样的网络规则也适用于 vLLM。监听公网端口的推理服务器会成为任何扫描到它的人都可以调用的开放 API。

是否有可以在本地运行的 GGUF 或 Ollama 版本?

存在本地 GGUF,但它不适合普通 VPS。Unsloth 发布了多个量化版本及其运行说明,其中包括用于 CPU 推理的 -ngl 0。Ollama 目前只列出 cloud 标签。llama.cpp 于 14 November 2026 通过 PR #32217 将 Inkling 2 支持合并到 master。llama.cpp release b12406(15 November 2026)及更高版本包含该 PR 提供的 Inkling 2 支持。

Unsloth 的 GGUF 构建需要使用支持 Inkling 2 的 llama.cpp 构建版本;仅支持原始 Inkling 的构建版本无法加载这些文件。其运行指南仍然从 open PR #32187 构建,并未确认与上游 release 的兼容性。大内存 CPU 例外从 UD-IQ1_S 开始。这是 Unsloth 约 1-bit、质量最低的量化版本,权重大小为 171.7 GB。为 KV cache、运行时和操作系统预留空间后,可用 RAM 的最低需求约为 180 GB 或更多;该数值根据文件大小计算得出,并非 Unsloth 给出的内存规格。在 CPU 上运行 594B MoE 模型速度很慢。要关注本地版本,请检查 Ollama 标签列表和模型 Hugging Face 页面上的 Quantizations 列表;同时关注 Unsloth 的运行指南和 GGUF 卡片,确认其文件可以使用上游 llama.cpp release 加载。

Inkling 2 Small 的优势与不足

本节中的所有数字均由 Thinking Machines 自行报告。本指南未对其进行复现。该实验室发布两类表格,它们回答的问题不同。

第一类表格位于发布公告中:将 Inkling 2 Small 与 4 个开放权重模型(GLM-5.3-Flash、DeepSeek-V4.1-Flash-1017、Muse Spark Open 和 Kimi K3)进行简短比较。在这些比较中,Inkling 2 Small 在 GDP.pdf、MMMU Pro、PerceptionBench 和 ScreenSpot Pro 上排名最高。但它并非在每一行都排名最高。在使用 Python 的 CharXiv RQ 上,它的得分为 89.1%,低于 Kimi K3 的 91.3%。在使用 Python 的 Chartography 上,它的得分为 82.1%,低于 DeepSeek 的 83.0%。因此,准确的表述应当限定为:在上述指定的视觉评测项目中,它是该实验室自有比较中表现最强的开放权重模型。

第二类表格是完整的 13 模型表格,位于模型卡片和发布公告中。该表格加入了 GPT-6 Luna、Gemini 3.8 Flash 和 Claude Haiku 5.5 等闭源模型,以及更大的开放模型。下表每一行都将 Inkling 2 Small 与一个指定模型进行比较。备注列列出了该模型。

图表Inkling 2 Small vs a named comparator, lab's own 13-model table (percent)
此图表背后的数据
[
  {
    "label": "Finance Agent v2.1",
    "inkling_2_small_pct": 67.5,
    "comparator_pct": 65.8,
    "notes": "Gemini 3.8 Flash, next best"
  },
  {
    "label": "GDP.pdf",
    "inkling_2_small_pct": 25.2,
    "comparator_pct": 22.8,
    "notes": "GPT-6 Luna, next best"
  },
  {
    "label": "PerceptionBench",
    "inkling_2_small_pct": 64.7,
    "comparator_pct": 68.7,
    "notes": "Gemini 3.8 Flash, leader"
  },
  {
    "label": "MMMU Pro",
    "inkling_2_small_pct": 81.6,
    "comparator_pct": 85.6,
    "notes": "Gemini 3.8 Flash, leader"
  },
  {
    "label": "ScreenSpot Pro, original",
    "inkling_2_small_pct": 83.8,
    "comparator_pct": 85.4,
    "notes": "Claude Haiku 5.5, leader"
  },
  {
    "label": "ScreenSpot Pro, with Python",
    "inkling_2_small_pct": 92.0,
    "comparator_pct": 93.7,
    "notes": "Gemini 3.8 Flash, leader"
  },
  {
    "label": "DeepSWE v1.1",
    "inkling_2_small_pct": 72.1,
    "comparator_pct": 77.0,
    "notes": "DeepSeek-V4.1-Flash-1017"
  },
  {
    "label": "FrontierCode v2.0",
    "inkling_2_small_pct": 25.4,
    "comparator_pct": 34.9,
    "notes": "Claude Haiku 5.5"
  }
]

在完整表格中,Inkling 2 Small 在 Finance Agent v2.1 上以 67.5% 排名第一,高于 Gemini 3.8 Flash 的 65.8%。它在 GDP.pdf 上也以 25.2% 排名第一,高于 GPT-6 Luna 的 22.8%。它在 PerceptionBench 和 MMMU Pro 上排名第二;Gemini 3.8 Flash 分别以 68.7% 和 85.6% 领先。在 ScreenSpot Pro 的原始设置中,Claude Haiku 5.5 以 85.4% 领先;在使用 Python 的设置中,Gemini 3.8 Flash 以 93.7% 领先。因此,准确的总结是“在该实验室的比较中,它是视觉任务上表现最强的开放权重模型”。不能表述为“它的视觉能力最好”。

它的编码能力较强,但不是顶尖水平。在 DeepSWE v1.1 上,它的得分为 72.1%,而 DeepSeek-V4.1-Flash-1017 为 77.0%。MiniMax-M3.1-Flash(73.7%)和 Gemini 3.8 Flash(73.8%)的得分也更高。在 FrontierCode v2.0 上,它的得分为 25.4%,而 DeepSeek-V4.1-Flash-1017 为 28.5%,Claude Haiku 5.5 为 34.9%。

Artificial Analysis Intelligence Index 也反映出相同趋势。发布公告的正文给出了四舍五入后的得分 31。其表格给出了 v5.0 数值:

图表Artificial Analysis Intelligence Index v5.0, as published in the lab's table
此图表背后的数据
[
  {
    "label": "Claude Haiku 5.5",
    "aa_index_v5": 36.5
  },
  {
    "label": "DeepSeek-V4.1-Flash-1017",
    "aa_index_v5": 32.6
  },
  {
    "label": "GLM 5.3",
    "aa_index_v5": 31.7
  },
  {
    "label": "Gemini 3.8 Flash",
    "aa_index_v5": 30.8
  },
  {
    "label": "Inkling 2 Small",
    "aa_index_v5": 30.6
  }
]

Inkling 2 Small 的得分为 30.6,是图表中 5 个模型里最低的。

发布公告列出了该模型针对的工作类型。图像方面包括 OCR(光学字符识别,即从图像中读取文本)、定位、信息图表解析和视觉推理。代理方面包括通过 MCP(Model Context Protocol)调用工具,以及代理式知识工作和金融任务。Finance Agent 和 GDP.pdf 的结果支持其在金融和文档任务上的定位。

应选择哪条路径?

根据最难满足的约束进行选择。

  • 必须将提示词保留在自己的硬件上,并且拥有 VPS。 Inkling 2 Small 不适合普通 VPS。大内存 CPU 例外方案需要大约 180 GB 或更多可用 RAM,以满足 Unsloth 所需的 171.7 GB、约 1-bit UD-IQ1_S 权重,以及 KV cache、运行时和操作系统开销。请使用 Unsloth 文档中支持 Inkling 2 的 llama.cpp 构建版本;其指南仍基于开放的 PR #32187 构建。llama.cpp release b12406(15 November 2026)及更高版本已通过 PR #32217 支持 Inkling 2,但 Unsloth 尚未确认其文件可通过上游 release 加载。CPU 推理速度较慢,而且 UD-IQ1_S 是 Unsloth 质量最低的量化方案。对于普通的小型 VPS 方案,请从实际可以自行托管哪些 AI 模型开始,并参考Ollama 与 llama.cpp 对比,了解适合部署的模型。
  • 希望今天就在小型设备上试用。 使用 Ollama Cloud。直接调用 API 需要账户和 API key,并且按 token 付费。您的提示词会发送到 Ollama 的服务器。
  • 希望对其进行微调,但没有集群。 Tinker 按 64K 和 256K 上下文的 token 数量计算训练费用。
  • 拥有集群容量,并且需要完全控制权重。 从 Hugging Face 下载 NVFP4 checkpoint,然后使用当前的 Inkling 配方,通过 vLLM 或 SGLang 提供服务。

FAQ

我可以在使用 Ollama 的 VPS 上运行 Inkling 2 Small 吗?

不能在普通 VPS 上本地运行。截至 15 November 2026,Ollama 只列出一个标签 inkling-2-small:cloud,该标签运行在 Ollama 的服务器上,而不是您的 VPS 上。VPS 只需发送提示词并接收回复,因此不需要 GPU。大内存 CPU 例外使用 Unsloth 文档中的构建方式通过 llama.cpp 运行,而不是使用本地 Ollama 标签:对于大小为 171.7 GB 的 UD-IQ1_S 权重,加上额外开销,需要大约 180 GB 或更多可用 RAM。这个约 1-bit 的文件是 Unsloth 提供的最低质量量化版本,CPU 推理速度较慢。llama.cpp release b12406(15 November 2026)及更高版本已通过 PR #32217 支持 Inkling 2;但 Unsloth 的指南仍从尚未合并的 PR #32187 构建,并未确认其文件可由上游版本加载。

Inkling 2 Small 需要多少 GPU 内存?

模型卡片说明,推荐的 NVFP4 checkpoint 至少需要 500 GB 的总 VRAM,例如使用 2x NVIDIA B300 或 4x NVIDIA H200。MXFP8 checkpoint 至少需要 800 GB,例如使用 4x B300 或 8x H200。该模型共有 594B 个参数。每个 token 只有 17B 个参数处于激活状态,但内存必须容纳全部权重。Unsloth 的 GGUF 量化版本支持使用系统 RAM 进行 CPU 推理,因此这些官方 GPU 内存最低要求并不适用于所有部署方式。

Inkling 2 Small 有适用于 llama.cpp 的 GGUF 吗?

有,但普通 VPS 无法容纳。Unsloth 发布了多个 GGUF 量化版本及运行说明,其中包括用于 CPU 推理的 -ngl 0。llama.cpp release b12406(15 November 2026)及更高版本已通过 PR #32217 支持 Inkling 2。但 Unsloth 的指南仍从尚未合并的 PR #32187 构建,并未确认其文件可由上游版本加载。其最小的量化版本 UD-IQ1_S 约为 1-bit,权重大小为 171.7 GB,也是其提供的最低质量版本。大内存 CPU 例外在为 KV cache、运行时和操作系统额外开辟空间后,需要大约 180 GB 或更多可用 RAM;这个最低值是根据文件大小计算得出的。594B 的 MoE 模型在 CPU 上运行速度较慢。

Inkling 2 Small 确实支持 1M-token 上下文吗?

模型卡片说明最多支持 1M tokens,Ollama 的库也列出 1M。服务提供商可能提供更小的上限。Tinker 在其 64K 和 256K 训练选项上都支持 1M-token 采样,其无服务器推理 beta 也列出 1M。vLLM 自带的配置使用 tensor-parallel size 4 提供 262,144 tokens,并说明 1M 需要 8。依赖长输入前,请确认各服务提供商的最大上下文长度。

这篇文章对您有帮助吗?

#inkling-2-small#ollama-cloud#local-llm#moe#self-hosted-ai