Ollama量化怎么选:q4_K_M、q8_0还是fp16
用算术选择Ollama量化:比较q4_K_M、q8_0和fp16的内存成本、文件大小与生成速度,并说明4位量化的质量损失实际有多大。
Ollama 量化改变了什么
Ollama 量化会以少于模型训练文件的位数存储模型中的每个权重。以 q4_K_M 结尾的标签表示每个权重约使用 4 位,而 fp16 使用 16 位,因此下载文件大小约为原来的三分之一,机器为生成每个 token 读取的字节数也约为三分之一。权重会被舍入到较粗的网格上,而不是直接丢弃;对于大多数模型,使用 4 位量化时,其回答方式与全精度下的结果接近。
这就是完整的权衡:内存占用大幅降低,每秒生成的 token 数增加,但准确性会略有下降。下面将说明如何在下载一个无法装入内存的文件前,针对特定模型和特定服务器预测这两方面的影响。
如果 Ollama 尚未运行,请先阅读在 VPS 上安装 Ollama。本文假设 ollama ls 已经正常工作。
如何读取 Ollama 量化标签,例如 q4_K_M
本地模型以 GGUF 文件形式发布。该格式由 llama.cpp 用于在磁盘上存储权重。Ollama 基于 llama.cpp 构建,因此 Ollama 标签会原样使用 llama.cpp 的量化名称。
数字表示目标位宽。 q4 表示大多数权重张量均按每个 4 位进行打包。q8 表示 8 位。fp16 完全未量化:它是使用 16 位浮点数表示的模型,也是大多数模型发布时采用的精度。
K 表示 K-quant。 权重会被分成较小的数据块,每个数据块都会在打包值旁存储自己的缩放因子。如果某个数据块中的权重都接近 0.01,就会使用更精细的缩放因子。如果某个数据块包含一个较大的离群值,就会使用较粗的缩放因子。正是这些数据块级别的缩放因子,使 4 位文件仍然可用;它们也解释了为什么 4 位文件的实际平均位宽不会严格等于每个权重 4 位。
最后一个字母表示混合方式。 S、M 和 L 决定有多少个张量会提升到目标位宽以上。在 q4_K_M 中,舍入时影响最大的张量会使用更高位宽存储,而大部分张量仍保持 4 位。因此,在文件大小几乎相同的情况下,q4_K_M 的输出质量优于较旧的 q4_0。
不要根据输入的名称猜测磁盘上的模型,直接询问 Ollama:
ollama pull qwen3:8b-q4_K_M
ollama show qwen3:8b-q4_K_Mollama show 会打印 architecture、parameters、quantization、context length 和 embedding length。对于几个月前拉取、已经记不清当时选择了哪个版本的模型,quantization 行才是实际信息。
每个权重的位数决定文件大小
每个大小估算都从一个数字开始:整个文件平均每个权重使用多少位。llama.cpp 在其量化文档中公布了 Llama 3.1 8B 的实测数据;对于形态相近的稠密模型,这些数据同样适用。
此图表背后的数据
[
{
"label": "F16",
"bits_per_weight": 16,
"file_gib": 14.96
},
{
"label": "Q8_0",
"bits_per_weight": 8.5,
"file_gib": 7.95
},
{
"label": "Q6_K",
"bits_per_weight": 6.56,
"file_gib": 6.14
},
{
"label": "Q5_K_M",
"bits_per_weight": 5.7,
"file_gib": 5.33
},
{
"label": "Q4_K_M",
"bits_per_weight": 4.89,
"file_gib": 4.58
},
{
"label": "Q3_K_M",
"bits_per_weight": 3.99,
"file_gib": 3.74
}
]表格中令人意外的是第二列。Q4_K_M 并不是每个权重 4 位。它实际占用 4.89 位,因为块缩放因子和提升精度的张量也会占用实际空间。出于同样的原因,Q8_0 实际占用 8.5 位,而不是 8 位。使用实测数值计算,结果与实际文件大小的误差通常只有几个百分点:
weight bytes = parameter count x bits per weight / 8
8.03e9 params x 4.89 bits / 8 = 4.91e9 bytes = 4.57 GiB这就是一个 4.58 GiB 的 Q4_K_M 文件,仅通过两个数字即可还原。模型加载后,权重占用的内存也大致如此。Ollama 加载时不会解包:量化权重以相同的打包形式保存在内存中,每个块在使用时才会转换。
Ollama 为各模型规模实际提供的内容
对于大多数模型系列,模型库会提供 q4_K_M、q8_0 和 fp16 标签。少数较新的模型系列不遵循这一模式,在模型库中仅显示为云端标签,任何规模都没有可供下载的内容。尝试 在 VPS 上运行 GLM 5.2 时就会遇到这种限制。以下是截至 October 2026 的 Qwen3 各规模数据,数据来自模型页面上的标签列表。下面的每个数值都是磁盘占用,而不是 RAM 占用。任意两个或三个模型放在一起,都可能占满小型 VPS 的根卷。因此,在开始收集标签前,最好先了解 Ollama 将下载的模型存储在哪里。
此图表背后的数据
[
{
"label": "Qwen3 4B",
"q4_K_M_gb": 2.6,
"q8_0_gb": 4.4,
"fp16_gb": 8.1
},
{
"label": "Qwen3 8B",
"q4_K_M_gb": 5.2,
"q8_0_gb": 8.9,
"fp16_gb": 16
},
{
"label": "Qwen3 14B",
"q4_K_M_gb": 9.3,
"q8_0_gb": 16,
"fp16_gb": 30
},
{
"label": "Qwen3 32B",
"q4_K_M_gb": 20,
"q8_0_gb": 35,
"fp16_gb": 66
}
]默认标签在这里很重要。ollama pull qwen3:8b 下载的大小与 ollama pull qwen3:8b-q4_K_M 完全相同,都是 5.2 GB,因为不带后缀的标签本身就是 q4_K_M 构建版本。Q4_K_M 并不是模型库勉强提供的折中方案,而是上游选择的默认版本。因此,对于尚未自行测试的模型,首先采用该版本是合理的做法。在 VPS 上运行 Qwen 3 时的标签选择也是基于同样的原因。
这些比例适用于每一行。从 q4_K_M 切换到 q8_0 时,占用大约增加百分之七十,而不是准确翻倍。这是因为 embedding 和 output 张量与其他部分的缩放方式不同。fp16 的占用大约是 q4_K_M 的三倍。32B 模型使用 q4_K_M 时,权重就占用 20 GB。这已经超过 16 GB 主机在保留任何上下文窗口时的可用容量。若要了解不同模型适合哪些主机,请参阅 哪些模型可以自行托管。
KV cache 为什么是第二项与上下文相关的成本
权重是固定成本。KV cache(key 和 value cache)是可变成本。上下文窗口中的每个 token 都会为每一层保留对应的 key 和 value 向量,因此缓存会随允许的窗口大小线性增长。模型加载时会为整个窗口分配缓存,而不是等对话逐渐填满后再分配。这就是为什么即使提示词只有一个单词,较大的窗口也会占用内存。
KV bytes per token = 2 (key and value) x layers x kv_heads x head_dim x bytes_per_element
Qwen3 8B at f16: 2 x 36 x 8 x 128 x 2 = 147456 bytes = 144 KiB per token这些模型参数来自模型自身的配置:36 层、8 个 key/value 头,以及 128 的头维度。ollama show 提供架构和参数量,模型在 Hugging Face 上的 config.json 提供其余信息。将每个 token 的成本乘以窗口大小后,缓存占用就不再是可以忽略的误差。
此图表背后的数据
[
{
"label": "4k",
"kv_cache_gb": 0.6,
"floor_ram_gb": 5.8
},
{
"label": "8k",
"kv_cache_gb": 1.21,
"floor_ram_gb": 6.4
},
{
"label": "16k",
"kv_cache_gb": 2.42,
"floor_ram_gb": 7.6
},
{
"label": "32k",
"kv_cache_gb": 4.83,
"floor_ram_gb": 10
}
]当上下文为 4096 个 token 时,如果 VRAM 少于 24 GiB,Ollama 默认选择此窗口;仅 CPU 的 VPS 也属于这种情况。此时,缓存会在权重之外增加 0.6 GB。将窗口增大到 32k 后,仅缓存就会达到 4.83 GB,几乎与量化权重占用的内存相同;整个模型的内存下限也会变为 10 GB。这里称其为下限,是因为计算缓冲区和操作系统还会额外占用内存。模型加载后,从 ollama ps 的 SIZE 列读取实际数值。在具有 24 到 48 GiB VRAM 的 GPU 上,默认窗口为 32k;从 48 GiB 起,默认窗口为 256k。因此,使用大显卡时不要假定缓存只占用 4k 窗口对应的内存。
使用 systemd 运行 Ollama 服务时,窗口在服务器级别设置,而不是按请求设置:
OLLAMA_CONTEXT_LENGTH=8192 ollama serve对于 systemd 安装,也可以改用 drop-in:
sudo systemctl edit ollama[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"使用 sudo systemctl restart ollama 重启,然后检查 ollama ps 的 CONTEXT 列,确认运行中的模型实际加载时使用的上下文窗口。OLLAMA_KV_CACHE_TYPE 对缓存本身进行量化:f16 是默认值,q8_0 使用的内存约为 f16 的一半,q4_0 约为其四分之一。这是全局选项,因此该服务器上的所有模型都会采用相同设置。只有启用 Flash Attention 后,缓存量化才会生效。Ollama 会在后端支持时自动启用 Flash Attention,而 OLLAMA_FLASH_ATTENTION=1 可强制启用它。在小型设备上使用较长窗口时,缓存减半所释放的内存多于其他任何单项调整。如果希望在实际采用前先确认节省的内存,将 KV 缓存从 f16 切换为 q8_0 会演示相关设置,以及模型重新加载后 ollama ps 的下降情况。设置 num_ctx 及其开销 会详细介绍窗口本身。缓存还会按并发请求槽位分别分配,而不是按服务器只分配一次。因此,让 Ollama 同时回答两个提示词,会使刚才规划的内存数值翻倍。这也是 选择并行槽位数量和队列限制 中计算方式的依据。
8、16 或 32 GB VPS 能容纳什么
预算应包括模型权重、KV cache、操作系统以及其他运行中组件所需的余量。在小型 VPS 上预留 2 GB 余量较为稳妥。
8 GB。 4B 模型使用 q4_K_M 时占用 2.6 GB,还能为较长上下文窗口留出空间。8B 模型使用 q4_K_M 时可配合默认的 4k 窗口运行,但剩余空间很少。这里不要规划使用 32k 窗口的 8B 模型,因为 10 GB 的最低内存需求已经超过该 VPS 的容量。
16 GB。 8B 模型使用 q4_K_M 时,配合 16k 或 32k 窗口较为宽裕。14B 模型使用 q4_K_M 时,权重占用 9.3 GB,配合适中的窗口即可运行。8B 模型使用 q8_0 时占用 8.9 GB,因此也能运行。在自己的提示词上比较这两种配置,是研究这一问题时最值得投入的一小时。
32 GB。 14B 模型使用 q8_0 时占用 16 GB,32B 模型使用 q4_K_M 时占用 20 GB,两者都能加载。使用较大窗口的 32B 构建会接近内存上限,因此应监控 ollama ps,不要想当然地认为它一定可以运行。
量化首先会损害什么
量化误差不会均匀影响模型的所有能力。流畅性通常最后才受影响,这正是问题容易被忽视的原因:严重量化的模型仍然可以写出通顺的句子。首先下降的是精确性。模型可能无法准确回忆版本号、API 签名或日期。长链路推理也会受影响,因为第 2 步中的微小错误可能在第 8 步变成错误答案。严格的输出格式同样容易出问题,一个括号错误就可能导致工具调用失败。
最后一种情况最适合实际测试。当模型必须返回由代码解析的 JSON 时,量化损失会表现为解析错误,而不是模糊的文本质量下降,因此你当天就能发现。编码代理是更严格的测试,因为它会连续驱动模型执行工具调用。因此,让代理连接到你的 Ollama 服务器,通常不到一天就能暴露过度量化的问题。
低于 4 bit 后,损失会明显增加。q3 和 2 bit 类型适用于需要将大型模型压缩到小型硬件上的场景;如果另一种选择是完全无法运行模型,它们确实可用。但它们不适合作为默认选项。q4_K_M 与 q8_0 之间的差距很小,公开的困惑度表无法替你针对实际工作负载做出决定,因此不要仅依靠这种方式判断。分别使用你自己的 30 个提示词运行这两种量化版本,然后查看输出。
q8_0 或 fp16 何时值得占用更多 RAM
仅当内存确实有余量,且任务对小错误非常敏感时,才选择 q8_0:例如结构化提取、工具调用,以及必须通过编译的代码。此时购买的是容错空间,而不是一个明显更聪明的模型。
选择 fp16 只有两个理由。要么您要自行量化模型,需要源文件;要么您要测量基线,以便判断四位量化版本牺牲了多少。使用 fp16 提供服务所需的内存是 q4_K_M 的三倍,但大多数人盲测时无法分辨其中差异;在仅使用 CPU 的设备上,token 速率也会降至三分之一。
在内存预算固定时,更可靠的规则是:q4_K_M 下的较大模型通常优于 q8_0 下的较小模型。14B 权重占用 9.3 GB,8B 权重在 q8_0 下占用 8.9 GB;两者的 RAM(随机存取内存)占用几乎相同,但较大的模型掌握的信息更多。请使用您自己的提示词进行测试,不要直接相信这一结论。
CPU 推理受内存带宽限制
大多数 VPS 方案没有 GPU,因此模型运行在主机 CPU 的系统内存中。此时生成速度受内存带宽限制,而不是受算力限制,因为生成每个 token 都需要读取一次全部权重。这会形成一个与购买的 CPU 核心数无关的上限。
tokens per second ceiling = memory bandwidth / bytes read per token
50 GB/s / 5.2 GB = 9.6 tokens/s qwen3 8B q4_K_M
50 GB/s / 8.9 GB = 5.6 tokens/s qwen3 8B q8_0
50 GB/s / 16 GB = 3.1 tokens/s qwen3 8B fp16对于双通道 DDR4-3200 主机,50 GB/s 大致是理论值。由于 VPS 与机器上的其他租户共享这条总线,您实际获得的带宽会更低,因此应将这些数字视为通常无法达到的上限。真正有用的是这个趋势:在 CPU 上,将每个权重的位数减半,token 速率大致会翻倍。对于没有 GPU 的主机,量化是最大可用的加速手段。最终速率是否可以接受取决于模型;VPS 上的 Nemotron 3.5 Lightning针对一个具体构建版本、标签和内存配置给出了完整计算。等待时间的另一部分取决于模型生成的内容长度,因为生成速率为每秒 10 个 token 时,600 个 token 的回答需要整整 1 分钟。因此,使用 num_predict 限制回答长度通常比再降低一个精度级别更能减少等待时间。
提示词处理的情况不同。读取长提示词主要受算力限制,而不是受带宽限制,因此增加 CPU 核心数会有所帮助,但对生成速度几乎没有影响。一台能够快速处理 4k 提示词、随后却缓慢生成内容的主机,其行为是正常的。
不要盲目相信这些计算结果。使用相同的提示词,在每种量化配置下通过 测量您自己的主机每秒生成的 token 数,并以您的实测数据为准。
自行量化模型
当您对模型完成微调,但没有可用的库标签时,这一点很重要。具体方法取决于您最终需要的格式,因为 Ollama 已不再生成本页测量的 GGUF K 量化格式。
对于 q4_K_M 等 K 量化格式,必须在 Ollama 读取文件前完成量化。 Ollama 在导入过程中不会量化 GGUF 模型,并且会拒绝 GGUF 源文件中的 --quantize。使用 llama.cpp 的 llama-quantize 量化未量化的 GGUF,然后导入生成的文件。该导入流程本身还有一个问题:聊天模板不匹配会导致模型输出乱码。将 GGUF 文件导入 Ollama对此有详细说明。ollama show 中的 quantization 行可用于确认导入的文件就是您预期构建的版本。
Ollama 自带的 --quantize 仅适用于 safetensors 导入。将 Modelfile 指向存放未量化 safetensors 权重的目录:
FROM /path/to/safetensors/directory然后执行构建:
ollama create --quantize int4 mymodel截至 Ollama v0.40.2(于 2026-10-11 检查),--quantize 接受 int4、int8、nvfp4、mxfp4 和 mxfp8;其中 q4 和 q8(以及 fp4 和 fp8)是 int4 和 int8 的别名。q4_K_M、q4_K_S、q8_0、q6_K 和 q5_K_M 等 GGUF 名称会被拒绝,并返回 unsupported quantize type 错误。这些类型不是上表中的 GGUF K 量化格式,因此不要将本页的每权重位数和文件大小数据视为这些类型的预测值。
出错时会看到的现象
预期使用 GPU,但所有计算都在 CPU 上执行。 查看 PROCESSOR 列:
ollama ps输出为 100% GPU、100% CPU,或类似 48%/52% CPU/GPU 的拆分结果。拆分表示权重和 KV 缓存无法全部装入 VRAM(显存,即显卡上的内存),因此部分模型被放入系统内存。随后速度会降至接近纯 CPU 速率,因为每个 token 都要等待速度较慢的部分。请减小上下文窗口、对缓存进行量化,或改用更小的构建版本。增加 CPU 核心数无法解决此问题。
模型在加载过程中被终止。 检查内核日志和服务日志:
sudo dmesg -T | grep -i "out of memory"
sudo journalctl -u ollama -n 50包含 Out of memory: Killed process 的行表示权重、KV 缓存和缓冲区的总大小超过了该主机的内存容量。在未配置 swap 的 VPS 上,这行日志出现前,整台机器可能会卡顿数秒。
回答质量变差,但您没有修改任何配置。 同一模型的两个构建版本可能使用不同标签并存于 ollama ls 中,而拉取未添加后缀名称的脚本会使用库当前指向的版本。请针对客户端请求的确切标签运行 ollama show,并查看 quantization 行,不要仅依赖配置文件中的名称。
FAQ
应该拉取哪种 Ollama 量化版本?
从 q4_K_M 开始。对于大多数模型,这是 Ollama 库提供的默认标签,因此 ollama pull qwen3:8b 和 ollama pull qwen3:8b-q4_K_M 获取的是同一个文件。只有在内存充足且任务对小误差很敏感时,才切换到 q8_0,例如工具调用或结构化 JSON 输出。在内存预算固定时,q4_K_M 下的较大模型通常优于 q8_0 下的较小模型,因此在为更高精度分配更多 RAM 之前,应先测试这种组合。
q4_K_M 真的是每个权重 4 bit 吗?
不是。在 Llama 3.1 8B 上测得的数值是每个权重 4.89 bit,因为每个权重块都会存储自己的缩放值,而最敏感的张量会提升为更宽的数据类型。出于同样的原因,Q8_0 测得的是每个权重 8.5 bit,而不是 8 bit。估算时应使用测量值:参数数量乘以每个权重的 bit 数,再除以 8,即可得到以字节为单位的文件大小。
仅使用 CPU 的 VPS 运行 8B 模型需要多少 RAM?
需要将权重、KV cache 和预留空间相加。Qwen3 8B 使用 q4_K_M 时,权重占用 5.2 GB。在默认的 4096 token 窗口下,缓存还会增加 0.6 GB,因此在计算缓冲区和操作系统占用之前,最低需要约 5.8 GB。在 32k 窗口下,仅缓存就占用 4.83 GB。短窗口按 8 GB 规划;如果需要长窗口,则按 16 GB 规划。
为什么服务器有 GPU,但模型仍占用 100% CPU?
运行 ollama ps,查看 PROCESSOR 列。100% CPU 或类似 48%/52% CPU/GPU 的拆分状态表示权重和 KV cache 无法全部装入 VRAM,因此 Ollama 将部分或全部模型放入系统内存。通常原因是上下文窗口大于显卡可容纳的容量,因为模型加载时会为整个窗口分配缓存。使用 OLLAMA_CONTEXT_LENGTH 减小窗口,将 OLLAMA_KV_CACHE_TYPE=q8_0 设为一半以减少缓存,或拉取更小的量化版本。