اجرای Qwen 3.8 27B روی VPS با Ollama
مدل qwen3.8:27b به 32 GB RAM یا بیشتر نیاز دارد؛ محاسبه مصرف حافظه و سرعت CPU-only نشان میدهد در پلنهای 8 تا 64 GB چه چیزی اجرا میشود.
آیا میتوان Qwen 3.8 27B را روی یک VPS بدون GPU اجرا کرد؟
برای اجرای Qwen 3.8 27B روی یک VPS به برچسب qwen3.8:27b نیاز دارید. تا 21 October 2026، کتابخانه Ollama این مدل را با همین برچسب و بهصورت قابل دریافت محلی ارائه میکند: 27.3 میلیارد پارامتر، quantisation از نوع Q4_K_M، مجوز Apache 2.0، پنجرهٔ context برابر با 256K و دانلودی با حجم 18 GB که یک vision projector با حجم تقریبی 0.9 GB را نیز شامل میشود. Ollama پشتیبانی از Qwen 3.8 27B را در v0.32.12 اضافه کرد؛ این نسخه در 14 August 2026 منتشر شد. بنابراین، در نصبهای قدیمی ابتدا باید Ollama را ارتقا دهید. تا 29 October 2026، جدیدترین نسخهٔ پایدار v0.40.13 است که در 28 October 2026 منتشر شده است.
پاسخ کوتاه این است: بله، روی VPS با 32 GB یا بیشتر میتوان آن را اجرا کرد، اما سرعت پایین خواهد بود. یک مدل dense با 27B پارامتر و Q4، فقط برای weights به حدود 17 GB RAM نیاز دارد؛ این مقدار پیش از ذخیرهشدن حتی یک token از context است. بنابراین پلنهای 8 GB و 16 GB کاملاً منتفی هستند. در یک VPS معمولی با DDR4 دوکاناله، سقف سرعت تقریباً 3 token در ثانیه است که از سرعت خواندن بیشتر کاربران کمتر است.
برچسبهای قدیمیتر 27B همچنان در کتابخانه موجود هستند: qwen3.6:27b و qwen3.5:27b هر دو buildهای Q4_K_M با اندازهٔ مشابهاند. Qwen3.8-27B معماری Qwen3.6-27B را حفظ میکند و فایلهای رسمی configuration این دو مدل، layout یکسانی برای layerها ارائه میدهند؛ بنابراین محاسبات حافظهٔ زیر برای هر دو مدل کاربرد دارد. پیش از کپیکردن هر command، فهرست بهروز را در صفحهٔ برچسب Qwen3.8 در Ollama بررسی کنید. این محاسبات به تعداد پارامترها، تعداد bit بهازای هر weight و layout مربوط به attention وابستهاند، نه به شمارهٔ نسخه.
کدام تگ Ollama را دریافت کنیم و نحوه بررسی آن
دریافت تگی که وجود ندارد، خطای واضحی ایجاد میکند، بنابراین تعیین وضعیت آن روی سرور بسیار سریع انجام میشود. تگی که وجود دارد نیز ممکن است بهصورت محلی قابلاجرا نباشد؛ این همان مشکلی است که کاربران را در مدل GLM 5.2 که در کتابخانه فهرست شده اما فقط از طریق فضای ابری Ollama ارائه میشود دچار سردرگمی میکند.
ollama --version
ollama pull qwen3.8:27b
ollama show qwen3.8:27bدستور ollama show معماری، تعداد پارامترها، طول کانتکست و کوانتیزاسیون تگی که در حال حاضر دارید را چاپ میکند. اگر خط پارامترها 27.3B و خط کوانتیزاسیون Q4_K_M را نشان دهد، شما همان نسخهای را دارید که این راهنما بر اساس آن نوشته شده است. کتابخانه همچنین شامل qwen3.8:27b-q8_0 و qwen3.8:27b-bf16 برای همان وزنها با دقت بالاتر، واریانتهای 27b-mtp، و تگهای 27b-nvfp4، 27b-mxfp8، 27b-mlx و 27b-mlx-bf16 است که صفحه تگها آنها را با عنوان MLX برچسبگذاری کرده است؛ فرمتی که برای Apple Silicon طراحی شده و نه برای یک VPS لینوکسی. برخلاف qwen3.6، ورودی qwen3.8 هیچ تگ 35b-a3b ندارد. آن مدلهای MoE (ترکیبی از متخصصان) همچنان تحت qwen3.6 قرار دارند و روی CPU رفتار بسیار متفاوتی نشان میدهند. جزئیات بیشتر در مورد آنها در ادامه آمده است.
تعداد پارامتر ضربدر بایت بهازای هر وزن
دادههای پشت این نمودار
[
{
"label": "Q4_K_M",
"size_gb": 17,
"bits_per_weight": 4.98,
"notes": "published tag qwen3.8:27b, language model file"
},
{
"label": "Q5_K_M",
"size_gb": 19.5,
"bits_per_weight": 5.7,
"notes": "computed, no official library tag exists"
},
{
"label": "NVFP4",
"size_gb": 18,
"bits_per_weight": 5.27,
"notes": "published tag 27b-nvfp4, MLX build, one file including the vision encoder"
},
{
"label": "Q8_0",
"size_gb": 29,
"bits_per_weight": 8.5,
"notes": "published tag 27b-q8_0, language model file"
},
{
"label": "BF16",
"size_gb": 55,
"bits_per_weight": 16.1,
"notes": "published tag 27b-bf16, language model file"
}
]فرمول در یک خط خلاصه میشود: بایتهای وزن = پارامترها × بیت بهازای هر وزن / 8. اگر مقدار دقیقاً 4 بیت باشد، 27.3 میلیارد پارامتر برابر با 13.7 GB خواهد بود. فایل مدل زبانی در تگ منتشرشدهٔ Q4_K_M برابر با 17 GB است؛ بنابراین در عمل، مقدار آن 4.98 بیت بهازای هر وزن میشود.
این اختلاف خطا نیست. قالبهای K-quant همهٔ tensorها را با عرض اسمی یکسان ذخیره نمیکنند. به tensorهایی که فشردهسازی بیشترین افت کیفیت را در آنها ایجاد میکند، بیت بیشتری اختصاص داده میشود. فهرست tensorهای Ollama برای فایل qwen3.8:27b منتشرشده نشان میدهد که این موارد با Q6_K ذخیره شدهاند: لایهٔ خروجی، حدود نیمی از projectionهای down در بخش feed-forward، projectionهای V در attention در حدود نیمی از لایههای full-attention، و حدود نیمی از projectionهای ترکیبی QKV در لایههای linear-attention. tensorهای کوچک normalization با دقت کامل 32-bit باقی میمانند. embedding توکن، projectionهای Q و K در attention و projectionهای gate و up در بخش feed-forward، مانند بیشتر بخشهای مدل، با Q4_K باقی میمانند. نام قالب نشاندهندهٔ میانگین است و این میانگین تقریباً به 5 میرسد. همین اثر در طرف دیگر این مقیاس نیز دیده میشود: 55 GB برای BF16 برابر با 16.1 بیت بهازای هر وزن است، نه مقدار ثابت 16. در این حالت، embedding توکن مانند سایر بخشها BF16 است و مقدار اضافی اندک از metadata فایل، tensorهای normalization که با 32-bit نگه داشته شدهاند، و گرد شدن اندازهٔ اعلامشده به نزدیکترین گیگابایت ناشی میشود.
برای کل تگ بودجه در نظر بگیرید، نه فقط فایل مدل زبانی. هر تگ GGUF از qwen3.8:27b یک vision projector با اندازهٔ حدود 0.9 GB نیز ارائه میکند؛ به همین دلیل تگ Q4_K_M با اندازهٔ 18 GB فهرست شده است.
برای Q5_K_M در ورودی رسمی کتابخانهٔ qwen3.8 تگ منتشرشدهای وجود ندارد؛ بنابراین ردیف 19.5 GB با استفاده از مقدار معمول 5.7 بیت بهازای هر وزن برای این قالب محاسبه شده است و اندازهگیری مستقیم نیست. Q8_0 تقریباً اندازهٔ Q4 را دو برابر میکند و به 29 GB میرساند. در سیستمی که فقط از CPU استفاده میکند، این دو برابر شدن، ترافیک حافظه بهازای هر token را نیز دو برابر میکند و در نتیجه سرعت تولید را بر حسب token در ثانیه تقریباً به نصف میرساند. فقط به همین دلیل، Q4_K_M انتخاب پیشفرض مناسبی است. اگر بهجای جنبهٔ حافظه، میخواهید جنبهٔ کیفیت این تصمیم را بررسی کنید، مقایسهٔ دقیقتر Q4، Q8 و fp16 نشان میدهد خروجی از کجا واقعاً شروع به افت میکند.
هزینه KV cache با افزایش طول متن (context)
وزنها (weights) هزینهای ثابت دارند. KV cache (حافظه کلید و مقدار، یعنی وضعیت توجهی که مدل برای هر توکن دیدهشده نگه میدارد) با افزایش طول متن بهصورت خطی رشد میکند و در واقع همان جایی است که اکثر کاربران با کمبود RAM مواجه میشوند.
دادههای پشت این نمودار
[
{
"label": "4k tokens",
"kv_f16_gb": 0.25,
"kv_q8_gb": 0.13
},
{
"label": "8k tokens",
"kv_f16_gb": 0.5,
"kv_q8_gb": 0.25
},
{
"label": "16k tokens",
"kv_f16_gb": 1,
"kv_q8_gb": 0.5
},
{
"label": "32k tokens",
"kv_f16_gb": 2,
"kv_q8_gb": 1
},
{
"label": "64k tokens",
"kv_f16_gb": 4,
"kv_q8_gb": 2
},
{
"label": "128k tokens",
"kv_f16_gb": 8,
"kv_q8_gb": 4
}
]این ارقام از فایل پیکربندی خود مدل استخراج شدهاند. مدل Qwen3.8-27B، مانند Qwen3.6-27B، یک مدل با مکانیزم توجه ترکیبی (hybrid-attention) است. تنها 16 لایه از 64 لایه آن از توجه کامل (full attention) استفاده میکنند و حافظهای دارند که با هر توکن رشد میکند؛ این لایهها دارای 4 هد کلید/مقدار تحت GQA (توجه با پرسوجوی گروهی) و ابعاد هد 256 هستند. 48 لایه دیگر از توجه خطی (Gated DeltaNet) استفاده میکنند و بهجای آن، وضعیتی با اندازه ثابت را نگه میدارند که طبق محاسبات من، صرفنظر از طول متن، حدود 150 مگابایت برای هر اسلات گفتگو است. این مقدار به 64 کیلوبایت برای هر توکن در حالت f16 میرسد، یعنی 2 گیگابایت در 32 هزار توکن و 8 گیگابایت در 128 هزار توکن. محاسبات مرا جایگزین بررسی روی سیستم خود نکنید. مدل را بارگذاری کنید و ستون SIZE را در ollama ps بخوانید که وزنها، حافظه کش و سربار را بهعنوان یک عدد واحد گزارش میکند.
متن 256 هزار توکنی ذکرشده در کارت مدل، با این معماری قابل دستیابی است، اما رایگان نیست. پر کردن آن در حالت f16، علاوه بر وزنها، حدود 16 گیگابایت حافظه کش مصرف میکند؛ آن هم روی ماشینی که قبلاً 17 گیگابایت برای وزنها هزینه کرده است. Ollama بهصورت پیشفرض کل پنجره متن را در اختیار شما نمیگذارد. مستندات طول متن آن، مقدار پیشفرض را بر اساس VRAM تعیین میکند: 4 هزار توکن برای کمتر از 24 گیگابایت، 32 هزار توکن برای 24 تا 48 گیگابایت، و 256 هزار توکن برای 48 گیگابایت یا بیشتر. یک VPS که فقط CPU دارد، هیچ VRAMای ندارد، بنابراین در سطح 4 هزار توکن قرار میگیرد و شما باید آن را بهصورت دستی با OLLAMA_CONTEXT_LENGTH افزایش دهید. این متغیرِ کلِ سرور، تنها اهرم موجود نیست و تنظیم num_ctx در درخواستهای تکی به شما اجازه میدهد در حالی که یک کار طولانی پنجره بزرگتری دریافت میکند، برای سایر موارد یک مقدار پیشفرض ارزان نگه دارید. آن را مرحلهبهمرحله افزایش دهید و پس از هر تغییر، ollama ps را بررسی کنید.
دو تنظیم برای کاهش حافظه کش وجود دارد. OLLAMA_KV_CACHE_TYPE=q8_0 حافظه کش را بهجای 16 بیت، با 8 بیت ذخیره میکند که 32 هزار توکن را از 2 گیگابایت به 1 گیگابایت کاهش میدهد. این کار به flash attention نیاز دارد، پس OLLAMA_FLASH_ATTENTION=1 را نیز تنظیم کنید و بهجای فرضِ اعمال شدن، کاهش مقدار را در ollama ps تأیید کنید. اگر قبلاً نوع حافظه کش را تغییر ندادهاید، راهنمای مقایسه q8_0 با f16 برای KV cache در Ollama تنظیم هر دو متغیر و خواندن ارقام قبل و بعد را پوشش میدهد. OLLAMA_NUM_PARALLEL=1 نیز به همان اندازه اهمیت دارد. Ollama میتواند چندین درخواست را همزمان پاسخ دهد و هر اسلات، بخش خاص خود را از متن دریافت میکند؛ بنابراین افزایش موازیسازی، حافظه کش تخصیصیافته شما را بهطور بیسروصدا چندبرابر میکند. مقدار پیشفرض فعلی 1 است و override زیر آن را روی همین مقدار قفل میکند. اگر بیش از یک نفر از این سرور استفاده کند، این ضربکننده همان جایی است که مشکلات شروع میشوند و تعداد کاربران همزمان برای یک مدل self-hosted بسیار پیش از آنکه توسط تعداد هستهها تعیین شود، توسط اسلاتهای کش و عمق صف مشخص میگردد.
چه مقدار از مدل در 8، 16، 32 و 64 GB RAM جا میشود
دادههای پشت این نمودار
[
{
"label": "8 GB",
"q4_max_ctx_ktok": 0,
"q8_max_ctx_ktok": 0,
"notes": "Weights alone exceed the box. Use a 4b or 8b model."
},
{
"label": "16 GB",
"q4_max_ctx_ktok": 0,
"q8_max_ctx_ktok": 0,
"notes": "17 GB of weights does not fit in 16 GB of RAM."
},
{
"label": "32 GB",
"q4_max_ctx_ktok": 128,
"q8_max_ctx_ktok": null,
"notes": "Q4 fits with room for long context. Q8 weights fit, but usable context needs a measured total memory budget."
},
{
"label": "64 GB",
"q4_max_ctx_ktok": 256,
"q8_max_ctx_ktok": 256,
"notes": "Both fit with the full 256K window."
}
]این دو عدد را بهصورت هزار توکنِ context بخوانید که در کنار weights و vision projector، با cache در حالت f16، روی یک Linux VPS بدون رابط گرافیکی جا میگیرند؛ در این محاسبه حدود 1.5 GB برای سیستمعامل و مقدار کمی حاشیه نیز در نظر گرفته شده است. مقدار صفر یعنی خود weights جا نمیشوند و بنابراین هیچ contextی جا نمیگیرد؛ مقدار null یعنی weights جا میشوند، اما عدد قابلاستفادهای برای context در آن سطح تأیید نشده است.
8 GB و 16 GB به یکدیگر نزدیک نیستند. 17 GB از weights در 16 GB RAM جا نمیشود و هیچ تنظیمی برای context این وضعیت را تغییر نمیدهد. افزودن swap نیز مشکل را حل نمیکند. Ollama فایل GGUF را با memory-map نگاشت میکند؛ بنابراین وقتی صفحات resident از RAM بیشتر شوند، kernel شروع به خارجکردن و دوباره خواندن آنها میکند و هر token چندین GB داده را از دیسک میخواند. در نتیجه، سیستم در iowait بالا باقی میماند و سرعت تولید آن بسیار کمتر از یک token در ثانیه خواهد بود.
32 GB نقطه شروع است. Weights به 17 GB نیاز دارند، vision projector حدود 0.9 GB اضافه میکند و تقریباً 12.5 GB باقی میماند؛ این مقدار با حاشیهای مناسب، حدود 128k token از context در حالت f16 را پوشش میدهد. Weights در حالت Q8_0 با حجم 29 GB در 32 GB جا میشوند، اما context قابلاستفاده به vision projector، cache، سیستمعامل و حافظه runtime نیز وابسته است. پیش از آنکه Q8 را روی این سطح قابلاجرا بدانید، footprint کلی را روی سیستم خود بررسی کنید.
64 GB فضای کافی فراهم میکند. Q4 برای پنجره کامل 256k فضا باقی میگذارد و weights در حالت Q8_0 نیز همراه با پنجره کامل 256k در دسترس خواهند بود. پیش از آنکه برای استفاده از Q8 هزینه 64 GB RAM را بپردازید، دقیقاً مشخص کنید چه چیزی میخرید: خروجی کمی بهتر، با نصف سرعت، روی ماشینی که از ابتدا نیز کند بوده است. Q4 در طرح 32 GB به 128k token میرسد و برای تقریباً همه، انتخاب بهتری است.
سرعت استنتاج CPU روی یک VPS چقدر است؟
تولید هر توکن از یک مدل متراکم (dense) به معنای خواندن تمام وزنها از حافظه در هر مرحله است. نه فقط بخشی از آنها، بلکه تمام آنها. بنابراین محدودیت سرعت، تعداد هستههای شما نیست؛ بلکه پهنای باند حافظه تقسیم بر حجم وزنهاست. در کوانتایز Q4، این مقدار برابر با 17 گیگابایت ترافیک حافظه به ازای هر توکن است.
دادههای پشت این نمودار
[
{
"label": "DDR4-2666, 2 channel",
"mem_bandwidth_gb_s": 42.6,
"ceiling_tok_s": 2.5
},
{
"label": "DDR4-3200, 2 channel",
"mem_bandwidth_gb_s": 51.2,
"ceiling_tok_s": 3
},
{
"label": "DDR5-4800, 2 channel",
"mem_bandwidth_gb_s": 76.8,
"ceiling_tok_s": 4.5
},
{
"label": "DDR4-3200, 8 channel",
"mem_bandwidth_gb_s": 204.8,
"ceiling_tok_s": 12
},
{
"label": "DDR5-4800, 12 channel",
"mem_bandwidth_gb_s": 460.8,
"ceiling_tok_s": 27.1
}
]این ارقام سقف تئوری هستند، نه اندازهگیریهای عملی. خروجی واقعی معمولاً حدود 50 تا 70 درصد این ارقام است، زیرا تأخیر حافظه (latency) و پیشواکشی (prefetching) ناقص باعث میشود هرگز به اوج تئوری نرسید. یک VPS با حافظه دوکاناله DDR4-3200 سقفی معادل 3 توکن در ثانیه دارد، پس انتظار حدود 2 توکن را داشته باشید. یک سرور با حافظه دوکاناله DDR5-4800 سقفی معادل 4.5 دارد، پس انتظار حدود 3 توکن را داشته باشید.
در مورد سرورهای بزرگ باید محتاط بود. یک پلتفرم EPYC دوازدهکاناله دارای 460.8 گیگابایت بر ثانیه پهنای باند و سقفی معادل 27.1 توکن در ثانیه است، اما شما کل یک EPYC را اجاره نمیکنید. پهنای باند حافظه یک منبع مشترک در کل میزبان است که بین تمام مستأجران آن ماشین تقسیم میشود، بنابراین یک اسلایس 8 vCPU به معنای دسترسی انحصاری به دوازده کانال پهنای باند نیست. راهنماهای متمرکز بر GPU این موضوع را نادیده میگیرند، در حالی که همین دلیل باعث میشود دو پلن VPS با تعداد vCPU یکسان، روی یک مدل مشابه تا سه برابر اختلاف سرعت داشته باشند.
به همین دلیل، افزایش تعداد vCPUها خیلی زود تأثیر خود را از دست میدهد. وقتی هستهها دادهها را سریعتر از توان کنترلر حافظه درخواست کنند، رشتههای اضافی فقط سربار زمانبندی (scheduling overhead) ایجاد میکنند و هیچ فایدهای ندارند. Ollama متغیر محیطی سراسری برای تعداد رشتهها ندارد، بنابراین num_thread را در درخواست options روی تعداد هستههای فیزیکی خود تنظیم کنید، اندازهگیری کنید و سپس نصف آن عدد را امتحان کنید. در بسیاری از پلنهای اشتراکی، تنظیمات پایینتر سریعتر عمل میکنند.
پردازش پرامپت رفتار متفاوتی دارد. مرحله Prefill، یعنی پردازش ورودی شما پیش از ظاهر شدن اولین توکن، به جای پهنای باند، محدود به توان پردازشی (compute bound) است و با تعداد هستهها مقیاسپذیر است. نتیجه عملی این است که در پرامپتهای بزرگ، قبل از شروع خروجی یک وقفه طولانی خواهید داشت و پس از آن، نرخ ثابت و کندی که در بالا ذکر شد آغاز میشود. هر دو بخش را جداگانه با --verbose زمانبندی کنید؛ این دستور برای هر درخواست یک prompt eval rate و یک eval rate چاپ میکند.
اگر مدل متراکم 27B بیش از حد کند است، پیش از ناامیدی از CPU، به تگهای qwen3.6:35b-a3b نگاهی بیندازید. این تگها به جای تمام 27.3 میلیارد پارامتر، حدود 3 میلیارد پارامتر را به ازای هر توکن فعال میکنند؛ بنابراین با وجود بزرگتر بودن فایل روی دیسک، ترافیک حافظه به ازای هر توکن نزدیک به یک مرتبه بزرگی کاهش مییابد. شما در واقع فضای RAM را با سرعت معاوضه میکنید. انتخاب Runtime نیز در اینجا اهمیت دارد و Ollama و llama.cpp کنترلهای تنظیم CPU متفاوتی را برای کد استنتاج زیرساختی یکسان ارائه میدهند.
زمانی که اجارهٔ یک ساعت GPU گزینهٔ بهتری است
دادههای پشت این نمودار
[
{
"label": "L40S, 48 GB",
"mem_bandwidth_gb_s": 864,
"ceiling_tok_s": 51
},
{
"label": "RTX 4090, 24 GB",
"mem_bandwidth_gb_s": 1008,
"ceiling_tok_s": 59
},
{
"label": "A100, 80 GB",
"mem_bandwidth_gb_s": 2039,
"ceiling_tok_s": 120
},
{
"label": "H100 SXM, 80 GB",
"mem_bandwidth_gb_s": 3350,
"ceiling_tok_s": 197
}
]همین فرمول را که روی پهنایباند حافظهٔ اعلامشدهٔ GPU اعمال کنید، به نتیجهای از جنس دیگری میرسید. یک کارت مصرفی 24 GB برای این وزنها سقف 59 توکن در ثانیه دارد. یک کارت کنونی مرکز داده به 197 میرسد. این فاصله با تنظیم تعداد threadها از بین نمیرود. کارت حافظهٔ خود را با سرعت 1008 GB/s اجرا میکند، درحالیکه VPS شما به چند ده GB/s محدود است.
بنابراین مرز تصمیم را بر اساس workload تعیین کنید، نه ترجیح شخصی. وقتی کار غیرهمزمان است و کسی منتظر نتیجه نیست، inference روی CPU انتخاب مناسبی است؛ برای مثال، خلاصهسازی شبانهٔ مجموعهای از اسناد یا job دستهبندی شبانهای که هنگام خواب شما اجرا میشود. بهمحض آنکه فردی منتظر خروجی است، یا درخواستها سریعتر از توان پایاندادن آنها روی سرور شما میرسند، GPU اجاره کنید. runtimeهای CPU فقط به یک درخواست همزمان محدود نیستند: مستندات سرور llama.cpp، decoding موازی و batching پیوسته روی CPU و GPU را توضیح میدهد و Ollama نیز میتواند درخواستهای موازی را ارائه کند؛ البته با مصرف cache بیشتر. معیار تصمیم، نرخ serving اندازهگیریشدهٔ شما در مقایسه با نرخ ورود درخواستها است؛ بنابراین یک batch واقعبینانه را روی سرور خود زمانگیری کنید. وقتی درخواستها سریعتر از این نرخ وارد شوند، صف رشد میکند.
مقایسهٔ هزینه آنقدر که به نظر میرسد ساده نیست. یک VPS با 64 GB در تمام ساعتهای ماه هزینه دارد، چه model در آن load شده باشد و چه نباشد؛ اما اجارهٔ ساعتی GPU هزینهٔ compute را از هزینهٔ storage جدا میکند و هزینهٔ storage ممکن است پس از توقف آن همچنان ادامه داشته باشد. اگر مصرف واقعی شما روزانه 2 ساعت است، GPU اجارهای میتواند هم سریعتر و هم ارزانتر باشد. ابتدا duty cycle خود را محاسبه کنید و سپس قیمت را بررسی کنید. انتخاب یک VPS دارای GPU دربارهٔ مواردی است که باید در خود instance بررسی کنید، و vLLM هنگام ارائهٔ درخواستهای همزمان روی GPU از Ollama پیشی میگیرد زیرا آنها را بهدرستی batch میکند.
گزینهٔ سومی هم وجود دارد که بسیاری آن را فراموش میکنند. مدل 27B را برای کارهای batch روی CPU نگه دارید و یک model مربوط به hosted API را در مسیر تعاملی قرار دهید. هیچ الزامی وجود ندارد که یک model هر دو نوع کار را ارائه کند.
نصب Ollama و اندازهگیری سیستم خودتان
اسکریپت نصب، اسکریپت رسمی است و یک سرویس systemd راهاندازی میکند که با کاربر اختصاصی ollama اجرا میشود.
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
free -gollama --version باید 0.32.12 یا نسخه جدیدتری را نمایش دهد؛ این نخستین release دارای پشتیبانی از Qwen 3.8 27B است. پیش از pull کردن هر چیزی، free -g را بررسی کنید. این دستور مقدار را بر اساس GiB گزارش میکند؛ بنابراین سیستمی که با 32 GB RAM معرفی شده است، ممکن است در ستون total حدود 29 را نشان دهد. حافظه موجود را با weights و بودجه cache که در بالا مشخص شد مقایسه کنید.
گزینههای runtime را در یک override مربوط به systemd تنظیم کنید، نه در shell. مدل داخل سرویس اجرا میشود؛ بنابراین محیط تعاملی شما را نمیبیند.
sudo systemctl edit ollama[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_KEEP_ALIVE=60m"sudo systemctl restart ollama
ollama pull qwen3.8:27b
ollama run qwen3.8:27b --verbose "Name two Linux distributions."خروجی --verbose همان اندازهگیری موردنظر شماست. eval rate سرعت شما برحسب token در ثانیه هنگام generation است. prompt eval rate سرعت prefill شماست. load duration مدتزمان خواندن weights از disk را نشان میدهد؛ به همین دلیل OLLAMA_KEEP_ALIVE=60m تنظیم شده است: در CPU، بارگذاری دوباره 17 GB از disk برای هر request، بیشتر از خود request زمان میبرد. timeout پیشفرض idle پنج دقیقه است. این مقدار آنقدر کوتاه است که یک batch queue با فاصله بین itemها، این هزینه بارگذاری را بارها پرداخت میکند. گزینههای resident نگهداشتن مدل هم field مربوط به keep_alive در هر request و هم ماندگار کردن این تنظیم پس از reboot را پوشش میدهند.
هنگامی که مدل loaded است، footprint را از یک terminal دوم بررسی کنید.
ollama psستون SIZE، footprint واقعی حافظه را نشان میدهد و KV cache را نیز شامل میشود. این مقدار باید به مجموع weights، vision projector و ردیف مربوط به context length شما در نمودار KV نزدیک باشد. در 8192 token و با cache هشتبیتی، بخش درحالرشد cache فقط حدود یکچهارم gigabyte است؛ درحالیکه اگر cache در f16 باقی میماند، مقدار آن 0.5 GB بود و fixed linear-attention state نیز به آن اضافه میشد. ستون PROCESSOR باید 100% CPU را نشان دهد. اگر مقدار دیگری نشان میدهد، چیزی یک GPU را در اختیار گرفته است و اعداد speed این راهنما وضعیت سیستم شما را توصیف نمیکنند.
حالتهای شکست و رشتههای متنی دقیق که مشاهده خواهید کرد
مدل بارگذاری نمیشود. Ollama خطی را چاپ میکند که نام هر دو مقدار را در قالب model requires more system memory (18.6 GiB) than is available (15.2 GiB) ذکر میکند. این یک شکست مطلوب است، زیرا Ollama پیش از تخصیص حافظه بررسی را انجام داده است، نه اینکه اجازه دهد kernel با آن مواجه شود. طول context را کاهش دهید، از تگ کوچکتری استفاده کنید یا به پلن بزرگتری ارتقا دهید.
پردازش در میانه پاسخ ناپدید میشود. کلاینت هیچ چیز مفیدی نشان نمیدهد و journalctl -u ollama -n 50 نشان میدهد که سرویس در حال restart شدن است. دستور dmesg -T | tail را اجرا کنید؛ خطی که Out of memory: Killed process ... (ollama) را نشان میدهد به این معناست که OOM killer در kernel آن را متوقف کرده است. این اتفاق زمانی میافتد که بررسی پیش از بارگذاری موفق بوده، اما cache در طول یک مکالمه طولانی از حد تخمین فراتر رفته است. طول context را کاهش دهید.
عملیات pull بلافاصله شکست میخورد. Error: pull model manifest: file does not exist به این معناست که تگ در کتابخانه موجود نیست. شماره نسخهای که هنوز منتشر (ship) نشده دقیقاً چنین خطایی ایجاد میکند؛ همچنین هرگونه غلط تایپی در تگ نیز همین نتیجه را دارد. خود qwen3.8:27b معتبر است، بنابراین اگر آن تگ خاص شکست خورد، ابتدا به دنبال غلط تایپی باشید. پیش از آنکه شبکه خود را مقصر بدانید، تگ را در صفحه کتابخانه تأیید کنید. اگر تگ معتبر pull شد اما اجرا نشد، ollama --version را با نسخه 0.32.12 مقایسه کنید.
همه چیز کار میکند اما بهشدت کند است. سرعت کمتر از یک توکن در ثانیه روی سیستمی با RAM کافی، به جای توان پردازشی، به paging اشاره دارد. هنگام تولید متن، vmstat 1 را اجرا کنید. ستون si یا so غیرصفر به این معناست که kernel در حال swap کردن است و راه حل آن کاهش context یا تعداد مدلهای بارگذاریشده است. مقدار بالای و ثابت wa بدون فعالیت swap به این معناست که وزنهای memory-mapped در حال خوانده شدن مجدد از دیسک هستند، یعنی در واقع در حافظه جا نمیشوند.
تولید اولین توکن 30 ثانیه طول میکشد و سپس سرعت خروجی افزایش مییابد. این مرحله prefill است و طبیعی است. هزینه یک system prompt طولانی در هر درخواستی که cache را miss کند پرداخت میشود، بنابراین پیش از هر تنظیم دیگری، system prompt را کوتاه کنید.
یک مدل 27B فقط با CPU واقعاً برای چه کارهایی مناسب است
انتظارات را بر اساس اعداد تنظیم کنید، نه بر اساس امید. با سرعت 2 تا 4 توکن در ثانیه، تولید یک پاسخ 500 توکنی بین 2 تا 4 دقیقه طول میکشد. این سرعت برای چت قابلاستفاده نیست، اما برای یک صف پردازش کاملاً مناسب است. مدلی که پیش از پاسخدادن فکر میکند، این محاسبه را بدتر میکند؛ چون توکنهای استدلال پنهان نیز با همان سرعت پایین پاسخ تولید میشوند. بنابراین، هماهنگکردن سطح تلاش استدلال با نوع کار یکی از معدود راههایی است که بدون تعویض مدل، پاسخ را کوتاهتر میکند. خلاصهسازی اسناد، برچسبگذاری انبوه، استخراج فیلد از انباشت فایلها و بازبینی خودکار کد با این سرعت سازگارند، چون هیچکس منتظر پاسخ نیست. کمک به کدنویسی دقیقاً در مرز این کاربردها قرار دارد. بنابراین، اختصاصدادن یک عامل کدنویسی به مدلی که خودتان میزبانی میکنید برای کارهای پسزمینه مانند تولید پیام commit و ساخت اسکلت تست مفید است، اما برای پیشنهادهای درونخطی که هنگام انتظار مشاهده میکنید، مناسب نیست.
استدلال اصلی، حفظ حریم خصوصی است. مدل روی سختافزاری اجرا میشود که آن را اجاره کردهاید و کنترل میکنید، هیچ درخواستی از سرور خارج نمیشود و هزینهای بهازای هر توکن وجود ندارد. حتی با سرعت 3 توکن در ثانیه، این مزیت برای دادههای مشمول مقررات ارزش زیادی دارد. بااینحال، این مزیت را صادقانه با گزینه جایگزین مقایسه کنید: میزبانی یک مدل در مقیاس frontier به سختافزاری با یک مرتبه بزرگی بیشتر نیاز دارد؛ بنابراین، مدل 27B روی CPU ارزانترین نقطه در این مسیر است که خروجی آن هنوز ارزش خواندن دارد.
برای ارزیابی هر یک از این موارد، به ورودی ساختیافته واقعی نیاز دارید. بیشتر APIهای داده عمومی پیش از آنکه بتوانید حتی توان عملیاتی را اندازهگیری کنید، ایجاد حساب کاربری را الزامی میکنند. schema نمایشی Strasmore (که ما آن را اجرا میکنیم)، SQL فقطخواندنی را برای دادههای سهام و options ایالات متحده مستند میکند. این schema به key و ثبتنام نیاز ندارد و از نام جدولهای دارای نام پایگاهداده استفاده میکند: https://ai.strasmore.com/api/demo/sql?sql=SELECT ticker, close FROM global_markets.delayed_stocks_minute_aggs LIMIT 5. محدودیتهای نسخه نمایشی شامل 500 ردیف و 20 ثانیه برای هر فراخوانی است و تاریخچه آن از 1 January 2025 به بعد در دسترس است؛ بنابراین، دادهای بیش از نیاز یک سرور با سرعت 2 توکن در ثانیه دارد. فهرست کامل ستونها در https://ai.strasmore.com/api/demo/schema قرار دارد.
اگر این نخستین نصب Ollama شماست، راهنمای کامل اجرای Ollama روی VPS راهاندازی سرویس، HTTP API و قوانین firewall موردنیاز این راهنما را پوشش میدهد؛ این راهنما فرض میکند موارد مذکور را از قبل آماده کردهاید. پورت 11434 را در معرض اینترنت قرار ندهید. API محلی Ollama به احراز هویت نیاز ندارد؛ بنابراین هر چیزی که به این پورت دسترسی پیدا کند، میتواند از مدل شما استفاده کند.
FAQ
آیا مدل Qwen 3.8 27B در Ollama وجود دارد؟
بله. در تاریخ 21 October 2026، کتابخانه Ollama یک ورودی qwen3.8 دارد و qwen3.8:27b که با برچسب latest نیز عرضه شده است، یک build از نوع Q4_K_M با حجم 18 GB برای یک مدل dense با 27.3 میلیارد پارامتر است که vision projector و پنجرهٔ context با ظرفیت 256K دارد. این مدل بهصورت محلی اجرا میشود و به Ollama v0.32.12 یا نسخهٔ جدیدتر نیاز دارد. برچسبهای قدیمیتر qwen3.6:27b و qwen3.5:27b نیز همچنان فهرست شدهاند. برای مشاهدهٔ فهرست فعلی، https://ollama.com/library/qwen3.8/tags را بررسی کنید. استفاده از برچسبی که وجود ندارد با خطای Error: pull model manifest: file does not exist مواجه میشود.
برای اجرای مدل Qwen 27B روی VPS به چه مقدار RAM نیاز دارم؟
برای Q4_K_M، مقدار عملی حداقل 32 GB است. وزنها 17 GB حجم دارند، vision projector حدود 0.9 GB اضافه میکند، سیستمعامل حدود 1.5 GB نیاز دارد و KV cache در حالت f16 برای هر 16,000 توکن از context تقریباً 1 GB اضافه میکند؛ زیرا فقط 16 لایه از 64 لایهٔ مدل cache در حال رشد را نگه میدارند. پلن 16 GB حتی ظرفیت نگهداری وزنها را ندارد و swap نیز کمکی نمیکند، زیرا فایل memory-mapped است و kernel آن را برای هر توکن دوباره از دیسک میخواند. مقدار 64 GB برای پنجرهٔ کامل 256K فضا فراهم میکند؛ حتی زمانی که از وزنهای Q8_0 با حجم 29 GB استفاده میکنید.
مدل 27B روی CPU چند توکن در ثانیه تولید میکند؟
پهنای باند حافظه را بر حجم وزنها تقسیم کنید و سپس 50 تا 70 درصد نتیجه را در نظر بگیرید. یک VPS با DDR4-3200 دوکاناله، سقفی نزدیک به 3 توکن در ثانیه دارد و حدود 2 توکن در ثانیه تحویل میدهد. یک سیستم DDR5-4800 دوکاناله، سقفی نزدیک به 4.5 دارد و حدود 3 توکن در ثانیه تحویل میدهد. پلتفرمهای server با کانالهای بیشتر روی کاغذ بسیار بهتر به نظر میرسند، اما پهنای باند حافظه میان تمام tenantهای میزبان مشترک است. بنابراین سرعت سیستم خود را با ollama run qwen3.8:27b --verbose اندازهگیری کنید و خط eval rate را بخوانید.
در VPS فقط-CPU از Q4 استفاده کنم یا Q8؟
تقریباً در همهٔ موارد، Q4_K_M انتخاب بهتری است. حجم Q8_0 برابر 29 GB و حجم Q4_K_M برابر 17 GB است. بنابراین وزنهای Q8_0 در 32 GB جا میشوند، اما projector، cache، سیستمعامل و runtime فضای آزاد کمی باقی میگذارند؛ 64 GB برای context طولانیتر فضا فراهم میکند. Q8_0 برای هر توکن تقریباً دو برابر حافظهٔ بیشتری جابهجا میکند و در نتیجه سرعت تولید توکن را تقریباً نصف میکند. تفاوت کیفیت Q4_K_M و Q8_0 در یک مدل 27B برای بیشتر کارها اندک است. RAM را به context طولانیتر اختصاص دهید، زیرا این کار قابلیتهای مدل را تغییر میدهد، نه فقط نحوهٔ بیان آن را.
چه زمانی اجارهٔ GPU از یک VPS با RAM زیاد ارزانتر است؟
زمانی که duty cycle پایین باشد یا فردی منتظر نتیجه بماند. یک GPU با 24 GB حافظه، روی این وزنها سقف نظری تقریباً 59 توکن در ثانیه دارد؛ این مقدار در برابر سرعت تخمینی 2 یا 3 توکن در ثانیه روی یک VPS معمولی قرار میگیرد. هزینهٔ ساعتی GPU با توقف instance متوقف میشود، اما storage پایدار همچنان ممکن است هزینه داشته باشد. یک VPS با 64 GB تمام ماه هزینه دارد، چه مدل load شده باشد و چه نباشد. محاسبه کنید واقعاً در روز چند ساعت توکن تولید میکنید. نقطهٔ سربهسر به نرخ اجاره، هزینهٔ runtime و هزینهٔ storage پایدار بستگی دارد. پردازش batch کماولویت و پیوسته همان حالتی است که VPS همیشهروشن در آن برتری دارد.