مقایسه کوانتایزیشن Ollama: تفاوت q4_K_M با q8_0 و fp16
تفاوت دقیق کوانتایزیشن q4_K_M، q8_0 و fp16 در Ollama را بررسی کنید. با محاسبه میزان مصرف RAM و افت کیفیت مدل، پیش از دانلود، بهترین گزینه برای سختافزار خود را انتخاب کنید.
تغییرات کوانتایزیشن در Ollama
کوانتایزیشن در Ollama هر وزن (weight) در مدل را با تعداد بیتهای کمتری نسبت به فایلی که مدل با آن آموزش دیده است، ذخیره میکند. تگی که به q4_K_M ختم میشود، حدود چهار بیت برای هر وزن نگه میدارد، در حالی که fp16 شانزده بیت را حفظ میکند؛ بنابراین حجم دانلود تقریباً به یکسوم کاهش مییابد و دستگاه برای تولید هر توکن، حدود یکسومِ مقدار قبلی بایت میخواند. وزنها روی یک شبکه (grid) درشتتر گرد میشوند و حذف نمیشوند؛ به همین دلیل در چهار بیت، اکثر مدلها تقریباً مشابه حالت دقت کامل (full precision) پاسخ میدهند.
این تمامِ معامله است: اشغال حافظه بسیار کمتر و تولید توکن بیشتر در ثانیه، که به بهای افت جزئی دقت به دست میآید. در ادامه توضیح میدهیم که چگونه پیش از صرف بیست دقیقه برای دانلود فایلی که در حافظه جا نمیشود، هر دو جنبهٔ این موضوع را برای یک مدل خاص روی یک سرور مشخص پیشبینی کنید.
اگر Ollama هنوز در حال اجرا نیست، با نصب Ollama روی یک VPS شروع کنید. این صفحه فرض را بر این میگذارد که ollama ls از قبل کار میکند.
نحوه خواندن تگ کوانتایزیشن Ollama مانند q4_K_M
مدلهای محلی در قالب فایلهای GGUF عرضه میشوند؛ فرمتی که llama.cpp برای ذخیره وزنها روی دیسک استفاده میکند. Ollama بر پایه llama.cpp ساخته شده است، بنابراین تگهای Ollama نامهای کوانتایزیشن llama.cpp را بدون تغییر حمل میکنند.
عدد، نشاندهنده عرض هدف است. q4 به این معنی است که اکثر تانسورهای وزن با 4 بیت بستهبندی شدهاند. q8 به معنای 8 بیت است. fp16 اصلاً کوانتایز نشده است: این مدل در قالب ممیز شناور 16 بیتی است، یعنی دقتی که اکثر مدلها با آن منتشر میشوند.
K نشاندهنده یک K-quant است. وزنها در بلوکهای کوچک دستهبندی میشوند و هر بلوک مقیاس (scale) مخصوص به خود را در کنار مقادیر بستهبندیشده ذخیره میکند. بلوکی که وزنهای آن همگی نزدیک به 0.01 هستند، مقیاس دقیقتری دریافت میکند. بلوکی که شامل یک مقدار پرت (outlier) بزرگ است، مقیاس کلیتری میگیرد. این مقیاسهای بلوکمحور همان چیزی هستند که باعث میشوند یک فایل 4 بیتی قابل استفاده باقی بماند و همچنین دلیل این است که یک فایل 4 بیتی هرگز دقیقاً 4 بیت به ازای هر وزن نیست.
حرف آخر، نشاندهنده ترکیب (mixture) است. S، M و L تعیین میکنند که چه تعداد تانسور به عرضی بالاتر از عرض هدف ارتقا یابند. در q4_K_M، تانسورهایی که گرد کردن آنها بیشترین آسیب را به مدل میزند، با عرض بیشتری ذخیره میشوند، در حالی که بخش عمده مدل در 4 بیت باقی میماند. به همین دلیل است که q4_K_M خروجی بهتری نسبت به q4_0 قدیمیتر، با تقریباً همان حجم فایل تولید میکند.
بهجای حدس زدن از روی نامی که تایپ کردهاید، از Ollama بپرسید چه چیزی روی دیسک دارد:
ollama pull qwen3:8b-q4_K_M
ollama show qwen3:8b-q4_K_Mollama show مقادیر architecture، parameters، quantization، context length و embedding length را چاپ میکند. خط quantization حقیقت محض برای مدلی است که ماهها پیش دانلود کردهاید و دیگر به خاطر نمیآورید کدام نسخه را انتخاب کرده بودید.
تعداد بیت به ازای هر وزن، عامل تعیینکننده حجم فایل است
هر تخمین حجم از یک عدد شروع میشود: فرمت مورد نظر بهطور میانگین در کل فایل، چند بیت به ازای هر وزن اختصاص میدهد. پروژه llama.cpp ارقام اندازهگیریشده برای مدل Llama 3.1 8B را در مستندات quantize خود منتشر کرده است که برای هر مدل متراکم (dense) با ساختار مشابه، بهخوبی قابل تعمیم است.
دادههای پشت این نمودار
[
{
"label": "F16",
"bits_per_weight": 16,
"file_gib": 14.96
},
{
"label": "Q8_0",
"bits_per_weight": 8.5,
"file_gib": 7.95
},
{
"label": "Q6_K",
"bits_per_weight": 6.56,
"file_gib": 6.14
},
{
"label": "Q5_K_M",
"bits_per_weight": 5.7,
"file_gib": 5.33
},
{
"label": "Q4_K_M",
"bits_per_weight": 4.89,
"file_gib": 4.58
},
{
"label": "Q3_K_M",
"bits_per_weight": 3.99,
"file_gib": 3.74
}
]نکته غافلگیرکننده در این جدول، ستون دوم است. فرمت Q4_K_M دقیقاً چهار بیت به ازای هر وزن نیست. این فرمت 4.89 بیت را اشغال میکند، زیرا مقیاسبندی بلوکها (block scales) و تانسورهای ارتقایافته (promoted tensors) هر دو فضای واقعی مصرف میکنند. به همین دلیل، Q8_0 نیز به جای هشت بیت، 8.5 بیت را اشغال میکند. با استفاده از این اعداد اندازهگیریشده، محاسبات شما با اختلاف بسیار کمی (در حد چند درصد) با حجم واقعی فایل مطابقت خواهد داشت:
weight bytes = parameter count x bits per weight / 8
8.03e9 params x 4.89 bits / 8 = 4.91e9 bytes = 4.57 GiBاین همان فایل Q4_K_M با حجم 4.58 گیگابایت است که از طریق دو عدد به دست آمده است. این مقدار، تقریباً همان حافظهای است که وزنها پس از بارگذاری اشغال میکنند. Ollama هنگام بارگذاری، هیچ دادهای را از حالت فشرده خارج نمیکند: وزنهای کوانتیزه شده به همان شکل بستهبندیشده در حافظه باقی میمانند و هر بلوک در لحظه استفاده، تبدیل میشود.
آنچه Ollama برای هر اندازه مدل ارائه میدهد
کتابخانه برای اکثر خانوادههای مدل، تگهای q4_K_M، q8_0 و fp16 منتشر میکند. برخی از خانوادههای جدیدتر از این الگو پیروی نمیکنند و در کتابخانه فقط به عنوان تگهای ابری ظاهر میشوند که هیچ فایلی برای دریافت در هیچ اندازهای ندارند؛ این همان دیواری است که هنگام تلاش برای اجرای GLM 5.2 روی یک VPS با آن برخورد میکنید. اینها اندازههای Qwen3 تا اکتبر 2026 هستند که از لیست تگها در صفحه مدل خوانده شدهاند. هر عدد زیر، میزان فضای دیسک اشغالشده پیش از بارگذاری در RAM است و ترکیب دو یا سه مورد از آنها میتواند حجم root یک VPS کوچک را پر کند؛ بنابراین پیش از شروع به جمعآوری تگها، بهتر است بدانید Ollama مدلهای دانلود شده را کجا ذخیره میکند.
دادههای پشت این نمودار
[
{
"label": "Qwen3 4B",
"q4_K_M_gb": 2.6,
"q8_0_gb": 4.4,
"fp16_gb": 8.1
},
{
"label": "Qwen3 8B",
"q4_K_M_gb": 5.2,
"q8_0_gb": 8.9,
"fp16_gb": 16
},
{
"label": "Qwen3 14B",
"q4_K_M_gb": 9.3,
"q8_0_gb": 16,
"fp16_gb": 30
},
{
"label": "Qwen3 32B",
"q4_K_M_gb": 20,
"q8_0_gb": 35,
"fp16_gb": 66
}
]تگ پیشفرض در اینجا اهمیت دارد. ollama pull qwen3:8b دقیقاً همان 5.2 گیگابایت را دانلود میکند که ollama pull qwen3:8b-q4_K_M دانلود میکند، زیرا تگ بدون پسوند، همان نسخه q4_K_M است. نسخه Q4_K_M یک مصالحه نیست که کتابخانه با اکراه ارائه دهد. این انتخاب پیشفرضِ توسعهدهنده اصلی (upstream) است، بنابراین برای هر مدلی که خودتان تست نکردهاید، مطابقت با آن منطقیترین گام نخست است. همین استدلال، انتخاب تگها را در اجرای Qwen 3 روی یک VPS هدایت میکند.
این نسبتها در تمام ردیفها برقرار است. ارتقا از q4_K_M به q8_0 حدود هفتاد درصد هزینه بیشتری دارد، نه دقیقاً دو برابر؛ زیرا تانسورهای embedding و output به همان نسبتِ بقیه بخشها مقیاس نمیشوند. نسخه fp16 تقریباً سه برابر q4_K_M است. یک مدل 32B در نسخه q4_K_M دارای 20 گیگابایت وزن است که از ظرفیت یک سرور 16 گیگابایتی با هرگونه پنجره متنی (context window) فراتر میرود. برای مشاهده دیدگاه وسیعتری از اینکه چه مدلی روی چه ماشینی اجرا میشود، به مدلهایی که میتوانید خودتان میزبانی کنید مراجعه کنید.
چرا KV cache یک هزینهٔ دوم و وابسته به context است
وزنها هزینهٔ ثابت هستند. KV cache (کش کلید و مقدار) هزینهٔ متغیر است. هر توکن در پنجرهٔ context، بردارهای کلید و مقدار خود را برای هر لایه حفظ میکند، بنابراین حجم کش با پنجرهای که مجاز میدانید، بهصورت خطی رشد میکند. این فضا هنگام بارگذاری مدل برای کل پنجره تخصیص مییابد، نه بهتدریج با پر شدن گفتگو؛ به همین دلیل است که یک پنجرهٔ طولانی حتی با یک پرامپت تککلمهای، حافظهٔ شما را اشغال میکند.
KV bytes per token = 2 (key and value) x layers x kv_heads x head_dim x bytes_per_element
Qwen3 8B at f16: 2 x 36 x 8 x 128 x 2 = 147456 bytes = 144 KiB per tokenآن اعداد مدل از پیکربندی خودِ مدل میآیند: 36 لایه، 8 هد کلید/مقدار، و ابعاد هد 128. ollama show معماری و تعداد پارامترها را به شما میدهد و config.json مدل در Hugging Face بقیه موارد را مشخص میکند. هزینهٔ هر توکن را در اندازهٔ پنجره ضرب کنید تا ببینید کش دیگر یک خطای گرد کردن ساده نیست.
دادههای پشت این نمودار
[
{
"label": "4k",
"kv_cache_gb": 0.6,
"floor_ram_gb": 5.8
},
{
"label": "8k",
"kv_cache_gb": 1.21,
"floor_ram_gb": 6.4
},
{
"label": "16k",
"kv_cache_gb": 2.42,
"floor_ram_gb": 7.6
},
{
"label": "32k",
"kv_cache_gb": 4.83,
"floor_ram_gb": 10
}
]در 4096 توکن، یعنی پنجرهٔ پیشفرضی که Ollama هنگام وجود کمتر از 24 GiB حافظه VRAM (شامل یک VPS فقط با CPU) انتخاب میکند، کش مقدار 0.6 GB را به وزنها اضافه میکند. اگر پنجره را به 32k افزایش دهید، کش بهتنهایی به 4.83 GB میرسد که تقریباً معادل حافظهٔ مورد نیاز برای وزنهای کوانتیزه شده است و کف حافظه برای کل مدل به 10 GB تبدیل میشود. به این مقدار «کف» میگوییم، زیرا بافرهای محاسباتی و سیستمعامل نیز روی آن قرار میگیرند. پس از بارگذاری مدل، عدد واقعی را از ستون SIZE در ollama ps بخوانید. روی یک GPU با 24 تا 48 GiB حافظه VRAM، پنجرهٔ پیشفرض 32k است و از 48 GiB به بالا، این مقدار 256k است؛ بنابراین روی کارتهای بزرگ، عدد 4k را مبنا قرار ندهید.
پنجره در سطح سرور تنظیم میشود، نه در سطح هر درخواست، زمانی که Ollama را بهعنوان یک سرویس اجرا میکنید:
OLLAMA_CONTEXT_LENGTH=8192 ollama serveبرای نصب با systemd، آن را در یک فایل drop-in قرار دهید:
sudo systemctl edit ollama[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"با sudo systemctl restart ollama بازراهاندازی کنید، سپس ستون CONTEXT را در ollama ps بررسی کنید تا بازهای را که مدل در حال اجرا واقعاً با آن بارگذاری شده است، تأیید کنید. OLLAMA_KV_CACHE_TYPE خود cache را کوانتش میکند: f16 مقدار پیشفرض است، q8_0 تقریباً نیمی از حافظهٔ f16 را مصرف میکند و q4_0 تقریباً یکچهارم آن را. این یک گزینهٔ سراسری است؛ بنابراین همهٔ مدلهای آن سرور به یک شکل تنظیم میشوند. کوانتش cache فقط زمانی اعمال میشود که Flash Attention فعال باشد. Ollama این قابلیت را در backendهایی که از آن پشتیبانی میکنند، بهطور خودکار فعال میکند و OLLAMA_FLASH_ATTENTION=1 آن را بهاجبار فعال میکند. در یک سیستم کوچک با window طولانی، نصفکردن cache بیش از هر تغییر منفرد دیگری حافظه آزاد میکند. اگر میخواهید پیش از اتکا به این تغییر، مقدار صرفهجویی را ببینید، تغییر KV cache از f16 به q8_0 تنظیم مربوطه و کاهش ایجادشده در ollama ps پس از بارگذاری دوبارهٔ مدل را توضیح میدهد. تنظیم num_ctx و هزینهٔ آن خود window را با جزئیات بررسی میکند. cache همچنین برای هر slot درخواست همزمان، یک بار اندازهگیری میشود، نه یک بار برای کل سرور. بنابراین اگر به Ollama اجازه دهید همزمان به 2 prompt پاسخ دهد، مقدار محاسبهشدهای که برای آن بودجه در نظر گرفتهاید 2 برابر میشود؛ مبنای این محاسبه در انتخاب تعداد slotهای موازی و محدودیت صف توضیح داده شده است.
چه چیزی روی یک VPS با 8، 16 یا 32 گیگابایت رم جای میگیرد
وزنهای مدل، بهعلاوه KV cache، و فضای خالی (headroom) برای سیستمعامل و هر پردازش دیگری که در حال اجراست. داشتن 2 گیگابایت فضای خالی روی یک VPS کوچک، وضعیت مطلوبی است.
8 گیگابایت. یک مدل 4B با کوانتایز q4_K_M حجمی معادل 2.6 گیگابایت دارد و فضای کافی برای یک پنجره متنی (context window) طولانی باقی میگذارد. یک مدل 8B با کوانتایز q4_K_M با پنجره پیشفرض 4k و فضای خالی بسیار کم، در این رم جای میگیرد. برای مدل 8B با پنجره 32k روی این سرور برنامهریزی نکنید، زیرا کف مصرف رم یعنی 10 گیگابایت، از ظرفیت این سرور فراتر میرود.
16 گیگابایت. مدل 8B با کوانتایز q4_K_M و پنجره 16k یا 32k بهراحتی اجرا میشود. مدل 14B با کوانتایز q4_K_M دارای 9.3 گیگابایت وزن است و با یک پنجره متنی متوسط در این رم جای میگیرد. مدل 8B با کوانتایز q8_0 حجمی معادل 8.9 گیگابایت دارد، بنابراین این مدل نیز قابل اجراست؛ مقایسه این دو مدل با پرامپتهای شخصی خودتان، مفیدترین کاری است که میتوانید در این زمینه انجام دهید.
32 گیگابایت. مدل 14B با کوانتایز q8_0 (16 گیگابایت) و مدل 32B با کوانتایز q4_K_M (20 گیگابایت) هر دو بارگذاری میشوند. مدل 32B با یک پنجره متنی بزرگ، رم را به سقف ظرفیت نزدیک میکند، بنابراین بهجای فرض کردن، ollama ps را زیر نظر داشته باشید.
کدام بخش از مدل در اثر کوانتیزاسیون زودتر دچار افت کیفیت میشود
خطای کوانتیزاسیون بهطور یکنواخت در عملکرد مدل پخش نمیشود. روانی متن (Fluency) بیشترین مقاومت را دارد و دقیقاً به همین دلیل است که تشخیص آسیب ناشی از آن دشوار است: مدلی که بهشدت کوانتیزه شده باشد، همچنان جملات تمیزی مینویسد. دقت (Precision) اولین چیزی است که از دست میرود. بازیابی دقیق یک شماره نسخه، یک signature مربوط به API یا یک تاریخ. زنجیرههای طولانی استدلال، جایی که یک خطای کوچک در مرحله دوم به یک پاسخ اشتباه در مرحله هشتم تبدیل میشود. فرمتهای خروجی سختگیرانه، که در آنها یک براکت اشتباه باعث شکست در فراخوانی ابزار (tool call) میشود.
مورد آخر، آزمون عملی است. وقتی مدل باید خروجی JSON تولید کند که کد شما آن را پارس میکند، آسیب کوانتیزاسیون بهجای متنهای کمی ضعیفتر، بهصورت خطای پارس (parse error) ظاهر میشود و همان روز متوجه آن خواهید شد. یک عامل برنامهنویسی (coding agent) سختگیرانهترین نسخه از این آزمون است، زیرا مدل را وادار به فراخوانیهای پیدرپی ابزار میکند؛ بنابراین اتصال یک agent به سرور Ollama، کوانتیزاسیون بیشازحد تهاجمی را در کمتر از یک بعدازظهر آشکار میکند.
در سطوح زیر چهار بیت، افت کیفیت شدید میشود. انواع q3 و دو بیتی برای کسانی وجود دارند که میخواهند یک مدل بزرگ را روی سختافزار کوچک جای دهند و وقتی جایگزین آن، اجرا نشدن کامل مدل باشد، گزینهای واقعی محسوب میشوند. اینها انتخابهای پیشفرض مناسبی نیستند. بین q4_K_M و q8_0 شکاف آنقدر کوچک است که جدول perplexity منتشرشده نمیتواند تکلیف آن را برای حجم کاری شما مشخص کند، پس سعی نکنید از این طریق تصمیم بگیرید. هر دو را روی 30 مورد از پرامپتهای خود اجرا کنید و خروجی را بخوانید.
چه زمانی استفاده از q8_0 یا fp16 ارزش مصرف RAM را دارد
زمانی که حافظه واقعاً مازاد است و ماهیت کار بهگونهای است که خطاهای کوچک را برنمیتابد، از q8_0 استفاده کنید؛ مواردی مانند استخراج ساختاریافته دادهها، فراخوانی ابزار (tool calling) و کدهایی که باید کامپایل شوند. در اینجا شما در حال خرید بیمه هستید، نه استفاده از مدلی که بهطور محسوسی هوشمندتر باشد.
فقط به دو دلیل از fp16 استفاده کنید. یا خودتان در حال کوانتایز کردن مدل هستید و به فایل منبع نیاز دارید، یا در حال اندازهگیری یک مبنا (baseline) هستید تا بفهمید نسخه 4-bit شما چقدر از دقت را فدا کرده است. سرویسدهی از روی fp16 سه برابر بیشتر از q4_K_M حافظه مصرف میکند، در حالی که تفاوت آن برای اکثر افراد در تست کور (blind test) قابل تشخیص نیست؛ علاوه بر این، روی سیستمهای مبتنی بر CPU، نرخ تولید توکن شما را به یکسوم کاهش میدهد.
قانون قویتر این است: در یک بودجه حافظه ثابت، یک مدل بزرگتر با کوانتایز q4_K_M معمولاً از یک مدل کوچکتر با q8_0 بهتر عمل میکند. 9.3 گیگابایت وزنهای 14B در مقابل 8.9 گیگابایت وزنهای 8B، تقریباً همان میزان RAM (حافظه دسترسی تصادفی) را اشغال میکنند، اما مدل بزرگتر دانش بیشتری دارد. بهجای اعتماد محض، این موضوع را با پرامپتهای خودتان آزمایش کنید.
استنتاج فقط با CPU محدود به پهنای باند حافظه است
بیشتر پلنهای VPS فاقد GPU هستند، بنابراین مدل در حافظه سیستم روی CPU میزبان اجرا میشود. در این حالت، سرعت تولید (Generation) به جای محاسبات، توسط پهنای باند حافظه محدود میشود؛ زیرا تولید هر توکن مستلزم خواندن تمامی وزنها در هر مرحله است. این موضوع یک سقف عملکرد ایجاد میکند که هیچ ارتباطی با تعداد هستههای خریداریشده ندارد.
tokens per second ceiling = memory bandwidth / bytes read per token
50 GB/s / 5.2 GB = 9.6 tokens/s qwen3 8B q4_K_M
50 GB/s / 8.9 GB = 5.6 tokens/s qwen3 8B q8_0
50 GB/s / 16 GB = 3.1 tokens/s qwen3 8B fp1650 گیگابایت بر ثانیه تقریباً عدد تئوری برای یک میزبان با حافظه دوکاناله DDR4-3200 است. سهم شما از این مقدار کمتر است، زیرا یک VPS این گذرگاه (bus) را با تمام مستأجران دیگر روی آن ماشین به اشتراک میگذارد؛ بنابراین این اعداد را به عنوان سقفی در نظر بگیرید که هیچکس به آن نمیرسد. الگوی کلی اهمیت دارد: روی CPU، نصف کردن بیتهای هر وزن (Quantization)، نرخ تولید توکن را تقریباً دو برابر میکند. کوانتیزاسیون بزرگترین اهرم افزایش سرعت در سیستمی است که GPU ندارد. اینکه آیا نرخ نهایی برای شما قابلتحمل است یا خیر، به مدل بستگی دارد و Nemotron 3.5 Lightning on a VPS این تقسیمبندی را برای یک ساخت (build)، تگ و مقدار RAM مشخص بررسی کرده است. نیمه دیگر زمان انتظار، به میزان متنی که مدل تصمیم به نوشتن آن میگیرد بستگی دارد؛ چرا که با سرعت 10 توکن در ثانیه، یک پاسخ 600 توکنی یک دقیقه کامل زمان میبرد. از این رو، capping the reply with num_predict اغلب زمان انتظار بیشتری نسبت به کاهش یک پلهای دیگر در دقت (precision) برای شما ذخیره میکند.
پردازش پرامپت رفتار متفاوتی دارد. خواندن یک پرامپت طولانی بیشتر محدود به توان پردازشی (compute bound) است تا پهنای باند؛ بنابراین در این بخش، هستههای بیشتر کمک میکنند، در حالی که برای سرعت تولید توکن تقریباً بیتأثیر هستند. سیستمی که یک پرامپت 4k را سریع دریافت میکند و سپس به کندی پاسخ میدهد، رفتار طبیعی دارد.
به هیچکدام از این محاسبات به صورت پیشفرض اعتماد نکنید. Measure tokens per second on your own box را با پرامپت یکسان در هر سطح از کوانتیزاسیون انجام دهید و اجازه دهید اعداد خودتان ملاک تصمیمگیری باشند.
کوانتایز کردن مدل توسط خودتان
این موضوع زمانی اهمیت پیدا میکند که شما مدلی را fine-tune کردهاید و هیچ تگ کتابخانهای برای آن وجود ندارد. مسیر انجام این کار به فرمت نهایی مورد نظر شما بستگی دارد، زیرا Ollama دیگر GGUF K-quants که در این صفحه اندازهگیری شدهاند را تولید نمیکند.
برای یک K-quant مانند q4_K_M، پیش از آنکه Ollama فایل را ببیند، آن را کوانتایز کنید. Ollama مدلهای GGUF را در حین import کوانتایز نمیکند و از --quantize روی یک منبع GGUF خودداری میکند. فایل GGUF کوانتایز نشده را با استفاده از llama-quantize در llama.cpp کوانتایز کنید و سپس فایل نهایی را import نمایید. این مسیر import یک چالش خاص خود را دارد؛ عدم تطابق در chat template که باعث میشود مدل پاسخهای نامفهوم تولید کند، که در import کردن یک فایل GGUF به Ollama به آن پرداخته شده است. خط quantization از ollama show روشی است که با آن میتوانید تأیید کنید فایل import شده همان نسخهای است که مد نظر داشتید.
دستور --quantize خودِ Ollama فقط روی importهای safetensors کار میکند. یک Modelfile را به دایرکتوری حاوی وزنهای safetensors کوانتایز نشده اشاره دهید:
FROM /path/to/safetensors/directoryسپس build را انجام دهید:
ollama create --quantize int4 mymodelاز نسخه Ollama v0.40.2 (بررسی شده در 2026-10-11)، دستور --quantize مقادیر int4، int8، nvfp4، mxfp4 و mxfp8 را میپذیرد، و q4 و q8 (به همراه fp4 و fp8) به عنوان نامهای مستعار (alias) برای int4 و int8 در نظر گرفته میشوند. نامهای GGUF مانند q4_K_M، q4_K_S، q8_0، q6_K و q5_K_M با خطای unsupported quantize type رد میشوند. این نوعها همان GGUF K-quants موجود در جدولهای بالا نیستند، بنابراین ارقام مربوط به بیت بر وزن (bits per weight) و اندازه فایل در این صفحه را به عنوان پیشبینی برای آنها در نظر نگیرید.
آنچه هنگام بروز خطا مشاهده خواهید کرد
همه چیز روی CPU اجرا میشود در حالی که انتظار داشتید روی GPU باشد. ستون PROCESSOR را بخوانید:
ollama psاین ستون مقادیر 100% GPU، 100% CPU یا حالتی ترکیبی مانند 48%/52% CPU/GPU را چاپ میکند. حالت ترکیبی به این معناست که وزنها به همراه KV cache در VRAM (حافظه ویدیویی روی کارت گرافیک) جا نشدهاند، بنابراین بخشی از مدل در حافظه سیستم قرار گرفته است. در این حالت سرعت به نرخ اجرای صرفاً روی CPU نزدیک میشود، زیرا هر توکن منتظر بخش کندتر میماند. پنجره کانتکست (context window) را کوچکتر کنید، کش را کوانتیزه (quantize) کنید یا نسخه کوچکتری از مدل را دریافت کنید. افزودن هستههای پردازشی کمکی نخواهد کرد.
مدل هنگام بارگذاری متوقف (kill) میشود. کرنل و لاگ سرویس را بررسی کنید:
sudo dmesg -T | grep -i "out of memory"
sudo journalctl -u ollama -n 50خطی که حاوی Out of memory: Killed process باشد به این معناست که مجموع وزنها، KV cache و بافرها از حافظه موجود در دستگاه فراتر رفته است. در یک VPS که swap برای آن تنظیم نشده باشد، ممکن است کل ماشین برای چند ثانیه قبل از ظاهر شدن این خط دچار وقفه شود.
پاسخها بدتر شدهاند در حالی که تغییری ایجاد نکردهاید. دو نسخه از یک مدل میتوانند در ollama ls با تگهای متفاوت در کنار هم قرار بگیرند و اسکریپتی که نام بدون پسوند را دریافت میکند، از هر آنچه کتابخانه اکنون به آن اشاره دارد پیروی خواهد کرد. دستور ollama show را برای تگ دقیقی که کلاینت شما درخواست میکند اجرا کنید و خط quantization را بخوانید؛ به جای اینکه به نام موجود در فایل پیکربندی خود اعتماد کنید.
FAQ
کدام کوانتیزاسیون Ollama را باید pull کنم؟
با q4_K_M شروع کنید. این همان تگی است که کتابخانه Ollama بهصورت پیشفرض برای اکثر مدلها ارائه میدهد، بنابراین ollama pull qwen3:8b و ollama pull qwen3:8b-q4_K_M فایل یکسانی را دریافت میکنند. تنها زمانی به سراغ q8_0 بروید که حافظه کافی در اختیار دارید و وظیفه مورد نظر نسبت به خطاهای کوچک حساس است، مانند فراخوانی ابزار (tool calling) یا خروجی JSON ساختاریافته. هنگامی که بودجه حافظه محدود است، معمولاً یک مدل بزرگتر با کوانتیزاسیون q4_K_M عملکرد بهتری نسبت به یک مدل کوچکتر با q8_0 دارد؛ بنابراین پیش از صرف رم برای دقت بالاتر، این ترکیب را تست کنید.
آیا q4_K_M واقعاً به معنای چهار بیت برای هر وزن است؟
خیر. در مدل Llama 3.1 8B این مقدار برابر با 4.89 بیت برای هر وزن است، زیرا هر بلوک از وزنها مقیاس (scale) مخصوص به خود را ذخیره میکند و حساسترین تنسورها به نوع دادهای وسیعتری ارتقا مییابند. به همین دلیل، Q8_0 نیز به جای هشت بیت، 8.5 بیت را اشغال میکند. هنگام تخمین، از عدد اندازهگیریشده استفاده کنید: تعداد پارامترها ضربدر بیت برای هر وزن، تقسیم بر هشت، حجم فایل را به بایت به دست میدهد.
یک مدل 8B روی VPS که فقط CPU دارد به چه مقدار رم نیاز دارد؟
وزنها، کش KV و فضای خالی (headroom) را با هم جمع کنید. مدل Qwen3 8B با کوانتیزاسیون q4_K_M دارای 5.2 گیگابایت وزن است. در پنجره پیشفرض 4096 توکن، کش مقدار 0.6 گیگابایت اضافه میکند که کف رم مورد نیاز را پیش از در نظر گرفتن بافرهای محاسباتی و سیستمعامل، به حدود 5.8 گیگابایت میرساند. در پنجره 32k، تنها کش به تنهایی 4.83 گیگابایت فضا میگیرد. برای پنجره کوتاه روی 8 گیگابایت و برای پنجره طولانی روی 16 گیگابایت رم برنامهریزی کنید.
چرا با وجود داشتن GPU، مدل من با 100% توان CPU اجرا میشود؟
دستور ollama ps را اجرا کنید و ستون PROCESSOR را بخوانید. مقدار 100% CPU، یا مقداری تفکیکشده مانند 48%/52% CPU/GPU، به این معناست که وزنها به همراه کش KV در VRAM جا نشدهاند و Ollama بخشی یا تمام مدل را در حافظه سیستم قرار داده است. دلیل معمول این اتفاق، بزرگتر بودن پنجره کانتکست (context window) از ظرفیت کارت گرافیک است، زیرا کش در زمان بارگذاری مدل برای کل پنجره تخصیص مییابد. پنجره را با OLLAMA_CONTEXT_LENGTH کوچکتر کنید، OLLAMA_KV_CACHE_TYPE=q8_0 را تنظیم کنید تا کش نصف شود، یا یک کوانتیزاسیون کوچکتر را pull کنید.