Ollama کے ساتھ VPS پر Qwen 3.8 27B کیسے چلائیں
`qwen3.8:27b` کے لیے 32 GB یا زیادہ RAM درکار ہے؛ 8 GB اور 16 GB ناکافی ہیں۔ CPU-only VPS کی RAM، رفتار اور Ollama v0.32.12 شرط دیکھیں۔
کیا آپ GPU کے بغیر VPS پر Qwen 3.8 27B چلا سکتے ہیں؟
VPS پر Qwen 3.8 27B چلانے کے لیے qwen3.8:27b tag درکار ہے۔ 21 October 2026 تک Ollama library میں یہ مقامی طور پر pull کیے جانے والے tag کے طور پر دستیاب ہے: 27.3 billion parameters، Q4_K_M quantisation، Apache 2.0 licence، 256K context window، اور 18 GB download، جس میں تقریباً 0.9 GB کا vision projector بھی شامل ہے۔ Ollama نے Qwen 3.8 27B کی support v0.32.12 میں شامل کی، جو 14 August 2026 کو جاری ہوا۔ اس لیے پرانی installation کو پہلے upgrade کرنا ہوگا۔ 29 October 2026 تک latest stable release v0.40.13 ہے، جو 28 October 2026 کو شائع ہوئی۔
مختصر جواب یہ ہے کہ 32 GB یا اس سے زیادہ RAM والے VPS پر یہ چل سکتا ہے، لیکن رفتار کم ہوگی۔ Q4 پر 27B dense model کو صرف weights کے لیے تقریباً 17 GB RAM درکار ہوتی ہے۔ اس میں context کے ایک بھی token کی memory شامل نہیں ہے۔ اس لیے 8 GB اور 16 GB plans مکمل طور پر ناکافی ہیں۔ عام two-channel DDR4 VPS پر زیادہ سے زیادہ رفتار تقریباً 3 tokens per second ہوتی ہے۔ یہ رفتار زیادہ تر لوگوں کی reading speed سے کم ہے۔
پہلے کے 27B tags اب بھی library میں موجود ہیں: qwen3.6:27b اور qwen3.5:27b دونوں تقریباً یکساں سائز کے Q4_K_M builds ہیں۔ Qwen3.8-27B میں Qwen3.6-27B کا architecture برقرار ہے، اور دونوں کی official config files میں layer layout یکساں ہے۔ اس لیے ذیل کا memory حساب دونوں پر لاگو ہوتا ہے۔ کوئی command copy کرنے سے پہلے live list Ollama qwen3.8 tag page پر ضرور دیکھیں۔ یہاں کا حساب version number کے بجائے parameter count، bits per weight اور attention layout پر منحصر ہے۔
کون سا Ollama tag pull کریں، اور جانچ کیسے کریں
ایسا tag pull کرنے پر جو موجود نہ ہو، واضح error ملتا ہے۔ اس لیے خود اسی box پر فیصلہ کرنا آسان ہے۔ جو tag موجود ہو، وہ مقامی طور پر چلنے کے قابل پھر بھی نہ ہو سکتا ہے۔ یہی بات GLM 5.2، جو library میں درج ہے لیکن صرف Ollama کے cloud سے serve ہوتا ہے کے معاملے میں لوگوں کو الجھاتی ہے۔
ollama --version
ollama pull qwen3.8:27b
ollama show qwen3.8:27bollama show آپ کے پاس موجود tag کی architecture، parameter count، context length اور quantisation دکھاتا ہے۔ اگر parameter line میں 27.3B اور quantisation line میں Q4_K_M لکھا ہو، تو آپ کے پاس وہ build ہے جس کے مطابق یہ guide لکھی گئی ہے۔ library میں زیادہ precision پر انہی weights کے لیے qwen3.8:27b-q8_0 اور qwen3.8:27b-bf16 بھی موجود ہیں، 27b-mtp variants بھی ہیں، اور 27b-nvfp4، 27b-mxfp8، 27b-mlx اور 27b-mlx-bf16 tags بھی موجود ہیں جنہیں tags page MLX کا نام دیتی ہے۔ یہ format Linux VPS کے بجائے Apple Silicon کے لیے بنایا گیا ہے۔ qwen3.6 کے برعکس، qwen3.8 entry میں کوئی 35b-a3b tags نہیں ہیں۔ یہ MoE (mixture of experts) models اب بھی qwen3.6 کے تحت آتے ہیں اور CPU پر بہت مختلف طریقے سے چلتے ہیں۔ ان کی مزید وضاحت نیچے ہے۔
وزن کے لحاظ سے پیرامیٹرز کی تعداد کا بائٹس سے تعلق
اس چارٹ کے پیچھے کا ڈیٹا
[
{
"label": "Q4_K_M",
"size_gb": 17,
"bits_per_weight": 4.98,
"notes": "published tag qwen3.8:27b, language model file"
},
{
"label": "Q5_K_M",
"size_gb": 19.5,
"bits_per_weight": 5.7,
"notes": "computed, no official library tag exists"
},
{
"label": "NVFP4",
"size_gb": 18,
"bits_per_weight": 5.27,
"notes": "published tag 27b-nvfp4, MLX build, one file including the vision encoder"
},
{
"label": "Q8_0",
"size_gb": 29,
"bits_per_weight": 8.5,
"notes": "published tag 27b-q8_0, language model file"
},
{
"label": "BF16",
"size_gb": 55,
"bits_per_weight": 16.1,
"notes": "published tag 27b-bf16, language model file"
}
]فارمولا ایک سطر پر مشتمل ہے۔ weights کے بائٹس = parameters * bits per weight / 8۔ اگر ہر weight کے لیے درست طور پر 4 bits ہوں تو 27.3 billion parameters کا حجم 13.7 GB بنتا ہے۔ جاری کردہ Q4_K_M tag میں language model file کا حجم 17 GB ہے، جو عملی طور پر ہر weight کے لیے 4.98 bits بنتا ہے۔
یہ فرق کوئی خرابی نہیں ہے۔ K-quant formats ہر tensor کو nominal width پر ذخیرہ نہیں کرتے۔ جن tensors پر compression سے quality سب سے زیادہ متاثر ہوتی ہے، انہیں زیادہ bits دیے جاتے ہیں۔ جاری کردہ qwen3.8:27b file کے لیے Ollama کی tensor listing میں یہ tensors Q6_K پر ہیں: output layer، feed-forward down projections کا تقریباً نصف، تقریباً نصف full-attention layers میں attention V projections، اور linear-attention layers میں fused QKV projections کا تقریباً نصف۔ چھوٹے normalisation tensors مکمل 32-bit precision پر رہتے ہیں۔ token embedding، attention Q اور K projections، اور feed-forward gate اور up projections، model کے بیشتر حصے کی طرح Q4_K پر رہتے ہیں۔ Format کے نام میں اوسط ظاہر ہوتی ہے، اور یہ اوسط تقریباً 5 بنتی ہے۔ یہی اثر scale کے دوسرے سرے پر بھی نظر آتا ہے: BF16 کے لیے 55 GB، ہر weight کے لیے یکساں 16 bits کے بجائے 16.1 bits بنتے ہیں۔ اس صورت میں token embedding بھی باقی تمام حصوں کی طرح BF16 ہوتا ہے، جبکہ معمولی اضافی حجم file کے metadata، 32-bit پر برقرار رکھے گئے normalisation tensors، اور nearest gigabyte تک round کیے گئے listed size کی وجہ سے ہوتا ہے۔
صرف language model file کے لیے نہیں، پورے tag کے لیے بجٹ رکھیں۔ qwen3.8:27b کے ہر GGUF tag کے ساتھ تقریباً 0.9 GB کا vision projector بھی جاری ہوتا ہے، اسی لیے Q4_K_M tag کا حجم 18 GB درج ہے۔
official qwen3.8 library entry میں Q5_K_M کا کوئی published tag موجود نہیں ہے، اس لیے 19.5 GB والی row اس format کے لیے معمول کے 5.7 bits per weight کے حساب سے نکالی گئی ہے، ناپی نہیں گئی۔ Q8_0، Q4 کے حجم کو تقریباً دوگنا کرکے 29 GB تک پہنچاتا ہے۔ صرف CPU والے box پر یہ دوگنا حجم ہر token کے لیے memory traffic بھی دوگنا کرتا ہے، اس لیے tokens per second بھی تقریباً نصف رہ جاتے ہیں۔ صرف اسی وجہ سے یہاں Q4_K_M درست default ہے۔ اگر آپ memory کے بجائے اس فیصلے کے quality والے پہلو کا جائزہ لینا چاہتے ہیں تو Q4، Q8 اور fp16 کا زیادہ قریب سے موازنہ سے معلوم ہوتا ہے کہ output حقیقت میں کہاں خراب ہونا شروع ہوتا ہے۔
جیسے جیسے context بڑھتا ہے، KV cache کی لاگت
Weights ایک مستقل لاگت ہیں۔ KV cache (key اور value cache، یعنی وہ attention state جسے model پہلے دیکھے گئے ہر token کے لیے برقرار رکھتا ہے) context length کے ساتھ خطی طور پر بڑھتا ہے، اور عموماً RAM سب سے پہلے اسی کی وجہ سے ختم ہوتی ہے۔
اس چارٹ کے پیچھے کا ڈیٹا
[
{
"label": "4k tokens",
"kv_f16_gb": 0.25,
"kv_q8_gb": 0.13
},
{
"label": "8k tokens",
"kv_f16_gb": 0.5,
"kv_q8_gb": 0.25
},
{
"label": "16k tokens",
"kv_f16_gb": 1,
"kv_q8_gb": 0.5
},
{
"label": "32k tokens",
"kv_f16_gb": 2,
"kv_q8_gb": 1
},
{
"label": "64k tokens",
"kv_f16_gb": 4,
"kv_q8_gb": 2
},
{
"label": "128k tokens",
"kv_f16_gb": 8,
"kv_q8_gb": 4
}
]یہ اعداد model کی اپنی config file سے حاصل کیے گئے ہیں۔ Qwen3.8-27B بھی Qwen3.6-27B کی طرح hybrid-attention model ہے۔ اس کی 64 layers میں سے صرف 16 full attention استعمال کرتی ہیں اور ایسا cache برقرار رکھتی ہیں جو ہر token کے ساتھ بڑھتا ہے۔ GQA (grouped-query attention) کے تحت ان layers میں 4 key/value heads ہیں، جبکہ head dimension 256 ہے۔ باقی 48 layers linear attention (Gated DeltaNet) استعمال کرتی ہیں اور اس کے بجائے fixed-size state رکھتی ہیں۔ میرے حساب کے مطابق context جتنا بھی بڑھ جائے، ہر conversation slot کے لیے یہ تقریباً 150 MB بنتی ہے۔ اس طرح f16 پر فی token 64 KiB بنتے ہیں، یعنی 32k tokens پر 2 GB اور 128k پر 8 GB۔ اپنے server پر دوبارہ حساب کیے بغیر ان اعداد پر انحصار نہ کریں۔ model load کریں اور ollama ps کا SIZE column پڑھیں۔ اس میں weights، cache اور overhead ایک ہی figure میں شامل ہوتے ہیں۔
model card میں دیا گیا 256K context اس architecture پر ممکن ہے، لیکن یہ مفت نہیں ہے۔ اسے f16 پر مکمل بھرنے کے لیے weights کے علاوہ تقریباً 16 GB cache درکار ہوتی ہے، جبکہ machine پہلے ہی weights کے لیے 17 GB استعمال کر چکی ہے۔ Ollama بطور default مکمل window فراہم نہیں کرتا۔ اس کی context-length documentation VRAM کے مطابق default مقرر کرتی ہے: 24 GiB سے کم پر 4k tokens، 24 سے 48 GiB تک 32k، اور 48 GiB یا اس سے زیادہ پر 256k۔ CPU-only VPS میں VRAM بالکل نہیں ہوتی، اس لیے وہ 4k tier پر آتا ہے، اور آپ OLLAMA_CONTEXT_LENGTH کے ذریعے اسے جان بوجھ کر بڑھاتے ہیں۔ یہ server-wide variable واحد اختیار نہیں ہے۔ انفرادی request پر num_ctx مقرر کرنے سے باقی تمام کاموں کے لیے کم لاگت والا default برقرار رہتا ہے، جبکہ ایک طویل job کو بڑی window مل سکتی ہے۔ اسے مرحلہ وار بڑھائیں اور ہر تبدیلی کے بعد ollama ps چیک کریں۔
دو settings cache کو کم رکھتی ہیں۔ OLLAMA_KV_CACHE_TYPE=q8_0 cache کو 16 کے بجائے 8 bits پر محفوظ کرتا ہے، جس سے 32k tokens کے لیے لاگت 2 GB سے کم ہو کر 1 GB رہ جاتی ہے۔ اس کے لیے flash attention درکار ہے، اس لیے OLLAMA_FLASH_ATTENTION=1 بھی set کریں، اور یہ فرض کرنے کے بجائے کہ تبدیلی لاگو ہو گئی ہے، ollama ps میں کمی کی تصدیق کریں۔ اگر آپ نے پہلے cache type تبدیل نہیں کیا تو Ollama کے KV cache میں q8_0 اور f16 کا جائزہ دونوں variables set کرنے اور تبدیلی سے پہلے اور بعد کی figures پڑھنے کا طریقہ بتاتا ہے۔ OLLAMA_NUM_PARALLEL=1 بھی اتنا ہی اہم ہے۔ Ollama بیک وقت کئی requests serve کر سکتا ہے، اور ہر slot کو context کا اپنا حصہ ملتا ہے۔ اس لیے parallelism بڑھانے سے آپ کے مقرر کردہ cache budget میں خاموشی سے کئی گنا اضافہ ہو جاتا ہے۔ موجودہ default پہلے ہی 1 ہے، اور ذیل کا override اسے اسی قدر پر مقرر کرتا ہے۔ اگر ایک سے زیادہ افراد یہ box استعمال کریں گے تو مسئلہ اسی ضرب سے شروع ہوتا ہے۔ self-hosted model بیک وقت کتنے users کو serve کر سکتا ہے اس کا فیصلہ core count سے بہت پہلے cache slots اور queue depth کرتے ہیں۔
8، 16، 32 اور 64 GB RAM میں کیا سما سکتا ہے
اس چارٹ کے پیچھے کا ڈیٹا
[
{
"label": "8 GB",
"q4_max_ctx_ktok": 0,
"q8_max_ctx_ktok": 0,
"notes": "Weights alone exceed the box. Use a 4b or 8b model."
},
{
"label": "16 GB",
"q4_max_ctx_ktok": 0,
"q8_max_ctx_ktok": 0,
"notes": "17 GB of weights does not fit in 16 GB of RAM."
},
{
"label": "32 GB",
"q4_max_ctx_ktok": 128,
"q8_max_ctx_ktok": null,
"notes": "Q4 fits with room for long context. Q8 weights fit, but usable context needs a measured total memory budget."
},
{
"label": "64 GB",
"q4_max_ctx_ktok": 256,
"q8_max_ctx_ktok": 256,
"notes": "Both fit with the full 256K window."
}
]ان دو اعداد کو context کے ہزاروں tokens سمجھیں، جو weights اور vision projector کے ساتھ f16 cache پر، headless Linux VPS میں سما سکتے ہیں۔ اس VPS پر operating system کے لیے تقریباً 1.5 GB اور معمولی اضافی گنجائش باقی رہتی ہے۔ صفر کا مطلب ہے کہ weights خود نہیں سما سکتے، اس لیے کچھ بھی نہیں سما سکتا؛ null کا مطلب ہے کہ weights تو سما جاتے ہیں، لیکن اس tier کے لیے قابلِ استعمال context کی تصدیق شدہ قدر موجود نہیں۔
8 GB اور 16 GB میں معاملہ برابر کا نہیں ہے۔ 17 GB کے weights، 16 GB RAM میں نہیں سما سکتے، اور کوئی بھی context setting اس حقیقت کو تبدیل نہیں کرتی۔ swap شامل کرنے سے بھی مسئلہ حل نہیں ہوتا۔ Ollama GGUF file کو memory-map کرتا ہے۔ جب resident pages RAM سے بڑھ جاتے ہیں تو kernel انہیں evict کرکے دوبارہ پڑھنا شروع کر دیتا ہے، اور ہر token کے لیے پھر disk سے gigabytes پڑھنے پڑتے ہیں۔ box میں iowait بہت زیادہ ہو جاتا ہے اور رفتار ایک second میں ایک token سے بھی کم رہتی ہے۔
32 GB ابتدائی قابلِ عمل سطح ہے۔ Weights 17 GB لیتے ہیں، vision projector تقریباً 0.9 GB شامل کرتا ہے، اور آپ کے پاس تقریباً 12.5 GB باقی رہتے ہیں۔ یہ margin کے ساتھ f16 context کے تقریباً 128k tokens کے لیے کافی ہے۔ 29 GB کے Q8_0 weights، 32 GB میں سما جاتے ہیں، لیکن قابلِ استعمال context کا انحصار vision projector، cache، operating system اور runtime memory پر بھی ہوتا ہے۔ Q8 کو اس tier پر قابلِ عمل سمجھنے سے پہلے اپنے box پر total footprint چیک کریں۔
64 GB آرام دہ گنجائش فراہم کرتا ہے۔ Q4 کے ساتھ پورا 256k window دستیاب رہتا ہے، اور Q8_0 weights بھی ان کے بعد پورے 256k کے ساتھ سما جاتے ہیں۔ Q8 کے لیے 64 GB خریدنے سے پہلے واضح طور پر سمجھ لیں کہ آپ کیا حاصل کر رہے ہیں: رفتار نصف رہنے کے باوجود output میں معمولی بہتری، اور وہ بھی ایسی machine پر جو پہلے ہی سست تھی۔ Q4، 32 GB plan پر بھی 128k tokens تک پہنچ جاتا ہے، اور تقریباً سب کے لیے یہی بہتر انتخاب ہے۔
VPS پر CPU inference کتنی تیزی سے ہوتا ہے؟
ایک token کو dense model سے generate کرنے کے لیے memory سے ہر weight کو ایک بار پڑھنا پڑتا ہے۔ صرف کچھ weights کو نہیں، بلکہ تمام weights کو۔ اس لیے رفتار کی حد آپ کے cores کی تعداد نہیں، بلکہ memory bandwidth کو weights کے حجم سے تقسیم کرنے کا نتیجہ ہے۔ Q4 پر ہر token کے لیے memory traffic 17 GB ہے۔
اس چارٹ کے پیچھے کا ڈیٹا
[
{
"label": "DDR4-2666, 2 channel",
"mem_bandwidth_gb_s": 42.6,
"ceiling_tok_s": 2.5
},
{
"label": "DDR4-3200, 2 channel",
"mem_bandwidth_gb_s": 51.2,
"ceiling_tok_s": 3
},
{
"label": "DDR5-4800, 2 channel",
"mem_bandwidth_gb_s": 76.8,
"ceiling_tok_s": 4.5
},
{
"label": "DDR4-3200, 8 channel",
"mem_bandwidth_gb_s": 204.8,
"ceiling_tok_s": 12
},
{
"label": "DDR5-4800, 12 channel",
"mem_bandwidth_gb_s": 460.8,
"ceiling_tok_s": 27.1
}
]یہ زیادہ سے زیادہ ممکنہ حدیں ہیں، پیمائش شدہ نتائج نہیں۔ حقیقی output عموماً دکھائی گئی قدر کے تقریباً 50 سے 70 فیصد تک ہوتا ہے، کیونکہ memory latency اور غیر کامل prefetching کی وجہ سے theoretical peak تک پہنچنا ممکن نہیں ہوتا۔ دو-channel DDR4-3200 VPS کی حد 3 tokens per second ہے، اس لیے تقریباً 2 کی توقع رکھیں۔ دو-channel DDR5-4800 box کی حد 4.5 ہے، اس لیے تقریباً 3 کی توقع رکھیں۔
بڑے server rows کے ساتھ ایک اہم انتباہ وابستہ ہے۔ بارہ-channel EPYC platform میں 460.8 GB/s memory bandwidth اور 27.1 tokens per second کی حد ہوتی ہے، لیکن آپ پورا EPYC کرائے پر نہیں لیتے۔ Memory bandwidth پورے host کا مشترکہ resource ہے، جسے اس machine کے ہر tenant کے ساتھ share کیا جاتا ہے؛ اس لیے 8 vCPU slice کے ساتھ بارہ channels کی exclusive bandwidth نہیں ملتی۔ GPU-focused guides اس پہلو کو مکمل طور پر نظرانداز کرتی ہیں، اور یہی وجہ ہے کہ ایک ہی model پر یکساں vCPU count والے دو VPS plans کی کارکردگی میں تین گنا فرق ہو سکتا ہے۔
اسی وجہ سے زیادہ vCPUs بھی جلد فائدہ دینا بند کر دیتے ہیں۔ جب cores memory controller کی فراہم کردہ رفتار سے زیادہ تیزی سے data طلب کرنے لگتے ہیں تو اضافی threads صرف scheduling overhead بڑھاتے ہیں، کارکردگی میں مزید اضافہ نہیں ہوتا۔ Ollama میں threads کی تعداد کے لیے server-wide environment variable موجود نہیں ہے، اس لیے request options میں num_thread کو اپنے physical cores کی تعداد پر set کریں، کارکردگی measure کریں، پھر اس تعداد کے نصف سے آزمائش کریں۔ بہت سے shared plans میں کم setting زیادہ تیز ہوتی ہے۔
Prompt کی processing مختلف انداز میں ہوتی ہے۔ Prefill، یعنی پہلے token کے ظاہر ہونے سے پہلے input پر کیا جانے والا مرحلہ، compute-bound ہوتا ہے، bandwidth-bound نہیں۔ اس لیے یہ cores کی تعداد بڑھنے کے ساتھ scale ہوتا ہے۔ عملی اثر یہ ہے کہ بڑے prompt پر output شروع ہونے سے پہلے طویل وقفہ آتا ہے، جس کے بعد اوپر بیان کردہ سست مگر مستقل رفتار برقرار رہتی ہے۔ دونوں حصوں کا وقت الگ الگ --verbose سے ناپیں۔ یہ ہر request کے لیے ایک prompt eval rate اور ایک eval rate ظاہر کرتا ہے۔
اگر dense 27B ماڈل بہت سست ہے تو CPU سے دستبردار ہونے سے پہلے qwen3.6:35b-a3b tags دیکھیں۔ یہ تمام 27.3 billion parameters کے بجائے ہر token کے لیے تقریباً 3 billion parameters فعال کرتے ہیں۔ اس لیے disk پر فائل بڑی ہونے کے باوجود ہر token کے لیے memory traffic تقریباً ایک درجے تک کم ہو جاتی ہے۔ اس میں RAM footprint کے بدلے رفتار حاصل ہوتی ہے۔ یہاں runtime کا انتخاب بھی اہم ہے، اور Ollama اور llama.cpp ایک ہی بنیادی inference code پر CPU tuning کے مختلف controls فراہم کرتے ہیں۔
GPU کا ایک گھنٹہ کرائے پر لینے کا وقت
اس چارٹ کے پیچھے کا ڈیٹا
[
{
"label": "L40S, 48 GB",
"mem_bandwidth_gb_s": 864,
"ceiling_tok_s": 51
},
{
"label": "RTX 4090, 24 GB",
"mem_bandwidth_gb_s": 1008,
"ceiling_tok_s": 59
},
{
"label": "A100, 80 GB",
"mem_bandwidth_gb_s": 2039,
"ceiling_tok_s": 120
},
{
"label": "H100 SXM, 80 GB",
"mem_bandwidth_gb_s": 3350,
"ceiling_tok_s": 197
}
]شائع شدہ GPU memory bandwidth پر یہی formula لاگو کرنے سے جواب کی نوعیت بدل جاتی ہے۔ 24 GB consumer card ان weights پر زیادہ سے زیادہ 59 tokens per second دے سکتا ہے۔ موجودہ data centre card 197 تک پہنچتا ہے۔ اس فرق کو thread counts tune کرکے ختم نہیں کیا جا سکتا۔ data centre card اپنی memory 1008 GB/s پر چلاتا ہے، جبکہ آپ کا VPS چند دسیوں GB/s پر چلتا ہے۔
اس لیے فیصلہ پسند کی بنیاد پر نہیں، workload کی بنیاد پر کریں۔ CPU inference اس وقت درست انتخاب ہے جب کام asynchronous ہو اور کوئی اس کے نتیجے کا انتظار نہ کر رہا ہو: مثلاً دستاویزات کے مجموعے کا رات بھر summarisation، یا nightly classification job جو آپ کے سوتے وقت چلتی ہے۔ جس وقت کوئی شخص output کا انتظار کر رہا ہو، یا requests آپ کے box کی تکمیل کی رفتار سے زیادہ تیزی سے آ رہی ہوں، اسی وقت GPU کرائے پر لیں۔ CPU runtimes ایک وقت میں صرف ایک request تک محدود نہیں ہوتے: llama.cpp server CPU اور GPU دونوں پر parallel decoding اور continuous batching document کرتا ہے، اور Ollama بھی parallel requests serve کر سکتا ہے، اگرچہ اس کے لیے زیادہ cache درکار ہوتی ہے۔ فیصلہ آپ کی measured serving rate اور arrival rate کے باہمی مقابلے سے ہوتا ہے، اس لیے اپنے box پر ایک realistic batch کا وقت ناپیں۔ جب requests اس رفتار سے زیادہ تیزی سے آنے لگیں، تو queue بڑھتی جائے گی۔
لاگت کا موازنہ بظاہر جتنا واضح لگتا ہے، اتنا نہیں ہے۔ 64 GB VPS پورے مہینے کے ہر گھنٹے کا bill لیتا ہے، چاہے model loaded ہو یا نہ ہو، جبکہ hourly GPU rental compute charges کو storage charges سے الگ رکھتا ہے، جو GPU رکنے کے بعد بھی جاری رہ سکتے ہیں۔ اگر آپ کا حقیقی استعمال روزانہ دو گھنٹے ہے، تو rented GPU زیادہ تیز اور کم لاگت دونوں ہو سکتا ہے۔ پہلے اپنا duty cycle معلوم کریں، پھر قیمت کا حساب لگائیں۔ GPU کے ساتھ VPS منتخب کرنا میں instance کے اندر جانچنے والی چیزیں بیان کی گئی ہیں، جبکہ GPU پر concurrent requests serve کرتے وقت vLLM، Ollama سے آگے نکل جاتا ہے کیونکہ یہ requests کی مناسب batching کرتا ہے۔
ایک تیسرا option بھی ہے جسے لوگ بھول جاتے ہیں۔ Batch work کے لیے 27B کو CPU پر رکھیں اور interactive path کے سامنے hosted API model رکھ دیں۔ کوئی وجہ نہیں کہ ایک ہی model دونوں کام انجام دے۔
Ollama انسٹال کریں اور اپنے سسٹم کی پیمائش کریں
انسٹالیشن اسکرپٹ سرکاری ہے، اور یہ ایک dedicated ollama user کے طور پر چلنے والی systemd service قائم کرتا ہے۔
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
free -gollama --version کو 0.32.12 یا اس کے بعد کا ورژن دکھانا چاہیے۔ یہ Qwen 3.8 27B support والا پہلا release ہے۔ کچھ بھی pull کرنے سے پہلے free -g چیک کریں۔ یہ GiB میں اعداد دکھاتا ہے، اس لیے 32 GB RAM والے plan میں total column میں تقریباً 29 دکھائی دے سکتے ہیں؛ دستیاب memory کا اوپر دیے گئے weights اور cache budget سے موازنہ کریں۔
Runtime options کو اپنی shell کے بجائے systemd override میں set کریں۔ Model service کے اندر چلتا ہے، اس لیے اسے آپ کا interactive environment نظر نہیں آتا۔
sudo systemctl edit ollama[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_KEEP_ALIVE=60m"sudo systemctl restart ollama
ollama pull qwen3.8:27b
ollama run qwen3.8:27b --verbose "Name two Linux distributions."--verbose output وہ measurement ہے جس کے لیے آپ نے یہ عمل کیا ہے۔ eval rate generation کے دوران آپ کی tokens per second رفتار ہے۔ prompt eval rate prefill speed ہے۔ load duration بتاتا ہے کہ weights کو disk سے پڑھنے میں کتنا وقت لگا۔ اسی لیے OLLAMA_KEEP_ALIVE=60m set کیا گیا ہے: CPU پر ہر request کے دوران disk سے 17 GB دوبارہ load کرنے کی لاگت خود request سے زیادہ ہوتی ہے۔ Default idle timeout پانچ منٹ ہے۔ یہ اتنا کم ہے کہ items کے درمیان وقفوں والی batch queue بار بار یہی load cost ادا کرتی ہے۔ model کو resident رکھنے کے options میں ہر request کے لیے keep_alive field اور reboot کے بعد setting برقرار رکھنے، دونوں طریقے شامل ہیں۔
Model loaded ہونے کے دوران دوسرے terminal سے اس کا footprint چیک کریں۔
ollama psSIZE column، KV cache سمیت، حقیقی memory footprint دکھاتا ہے۔ یہ weights، vision projector اور KV chart میں آپ کی context length والی row کے مجموعے کے قریب ہونا چاہیے۔ 8192 tokens اور 8-bit cache پر cache کا بڑھنے والا حصہ تقریباً ایک چوتھائی gigabyte ہے۔ اگر cache f16 پر رہتا تو یہ 0.5 GB ہوتا، جبکہ اس کے علاوہ fixed linear-attention state بھی شامل ہوتی ہے۔ PROCESSOR column میں 100% CPU دکھنا چاہیے۔ اگر کوئی اور value دکھے تو کسی چیز نے GPU استعمال کر لیا ہے، اور اس guide میں دی گئی speed numbers آپ کے سسٹم کی عکاسی نہیں کرتیں۔
ناکامی کی صورتیں اور وہ عین strings جو آپ دیکھیں گے
ماڈل load نہیں ہوتا۔ Ollama دونوں figures کے نام والی ایک line اس شکل میں دکھاتا ہے: model requires more system memory (18.6 GiB) than is available (15.2 GiB)۔ یہ بہتر قسم کی ناکامی ہے، کیونکہ Ollama memory allocate کرنے سے پہلے جانچ کر لیتا ہے، بجائے اس کے کہ فیصلہ kernel پر چھوڑ دے۔ context length کم کریں، چھوٹا tag منتخب کریں، یا بڑے plan پر منتقل ہوں۔
جواب کے دوران process غائب ہو جاتا ہے۔ client کوئی مفید معلومات نہیں دکھاتا، اور journalctl -u ollama -n 50 سے معلوم ہوتا ہے کہ service restart ہو رہی ہے۔ dmesg -T | tail چلائیں۔ اگر اس میں Out of memory: Killed process ... (ollama) والی line ہو تو اس کا مطلب ہے کہ kernel کے OOM killer نے process ختم کر دی۔ ایسا اس وقت ہوتا ہے جب pre-load check کامیاب ہو جائے، لیکن طویل گفتگو کے دوران cache اندازے سے زیادہ بڑھ جائے۔ context length کم کریں۔
pull فوراً ناکام ہو جاتا ہے۔ Error: pull model manifest: file does not exist کا مطلب ہے کہ tag library میں موجود نہیں ہے۔ ایسا version number جو release نہیں ہوا، بالکل یہی نتیجہ دیتا ہے، اور tag میں کسی بھی typo سے بھی یہی ہوتا ہے۔ qwen3.8:27b خود موجود ہے، اس لیے اگر یہی exact tag ناکام ہو تو پہلے typo تلاش کریں۔ network کو ذمہ دار ٹھہرانے سے پہلے library page پر tag کی تصدیق کریں۔ اگر کوئی درست tag pull ہو جائے لیکن run نہ ہو تو ollama --version کو 0.32.12 کے مقابل چیک کریں۔
سب کچھ کام کرتا ہے، لیکن رفتار ناقابل برداشت حد تک کم ہے۔ اگر کافی RAM والے system پر رفتار one token per second سے کم ہو تو مسئلہ compute کے بجائے paging کا ہو سکتا ہے۔ generation کے دوران vmstat 1 چلائیں۔ si یا so column میں non-zero value کا مطلب ہے کہ kernel swapping کر رہا ہے۔ اس کا حل context کم کرنا یا loaded models کی تعداد گھٹانا ہے۔ اگر swap activity کے بغیر wa مسلسل زیادہ ہو تو memory-mapped weights disk سے دوبارہ پڑھے جا رہے ہیں۔ اس کا مطلب ہے کہ وہ حقیقت میں memory میں fit نہیں ہوتے۔
پہلا token 30 seconds لیتا ہے، پھر output تیز ہو جاتا ہے۔ اسے prefill کہتے ہیں، اور یہ معمول کی بات ہے۔ جو request cache سے فائدہ نہیں اٹھاتی، اس میں طویل system prompt کا processing cost ہر بار ادا کرنا پڑتا ہے۔ کسی اور tuning سے پہلے system prompt مختصر کریں۔
CPU-only 27B ما کے لیے حقیقتاً مفید ہے
امید کے بجائے اعداد و شمار کی بنیاد پر توقعات طے کریں۔ دو سے چار tokens فی سیکنڈ کی رفتار پر 500 tokens کا جواب مکمل ہونے میں دو سے چار منٹ لگتے ہیں۔ چیٹ کے لیے یہ ناقابلِ استعمال ہے، لیکن queue کے لیے بالکل قابلِ عمل ہے۔ جو model جواب دینے سے پہلے غور کرتا ہے، اس میں یہ حساب مزید خراب ہو جاتا ہے، کیونکہ پوشیدہ reasoning tokens بھی جواب جتنی ہی کم رفتار سے generate ہوتے ہیں۔ اس لیے reasoning effort level کو کام کے مطابق رکھنا ان چند طریقوں میں سے ایک ہے جن سے model تبدیل کیے بغیر جواب کا وقت کم کیا جا سکتا ہے۔ دستاویزات کا summarisation، بڑی تعداد میں tagging، files کے backlog سے fields نکالنا، اور unattended code review اس تاخیر کو برداشت کر لیتے ہیں، کیونکہ جواب کا انتظار نہیں ہو رہا ہوتا۔ Coding assistance اسی حد پر آتی ہے۔ اس لیے اپنے host کردہ model پر coding agent چلانا commit messages اور test scaffolding جیسے background jobs کے لیے مفید ہے، نہ کہ ان inline suggestions کے لیے جن کا آپ بیٹھ کر انتظار کرتے ہیں۔
اصل دلیل privacy ہے۔ model ایسے hardware پر چلتا ہے جسے آپ rent اور control کرتے ہیں، کوئی request اس machine سے باہر نہیں جاتی، اور فی-token bill بھی نہیں ہوتا۔ regulated data کے لیے یہ فائدہ تین tokens فی سیکنڈ کی رفتار پر بھی بہت اہم ہے۔ تاہم متبادل کا دیانت داری سے موازنہ کریں: frontier-scale model کو self-host کرنے کے لیے ایک order of magnitude زیادہ hardware درکار ہوتا ہے، اور CPU پر 27B اس curve کا وہ کم ترین نقطہ ہے جہاں output اب بھی پڑھنے کے قابل رہتا ہے۔
اس سب کی benchmark testing کے لیے real structured input درکار ہوتا ہے، اور زیادہ تر public data APIs throughput ناپنے سے پہلے ہی account بنانے کو کہتے ہیں۔ Strasmore کا demo schema (ہم اسے چلاتے ہیں) US equities اور options data پر read-only SQL کو document کرتا ہے۔ اس کے لیے key یا signup درکار نہیں، اور database-qualified table names استعمال ہوتے ہیں: https://ai.strasmore.com/api/demo/sql?sql=SELECT ticker, close FROM global_markets.delayed_stocks_minute_aggs LIMIT 5۔ demo limits فی call 500 rows اور 20 seconds ہیں، جبکہ history 1 January 2025 سے شروع ہوتی ہے۔ یہ مقدار دو tokens فی سیکنڈ کی رفتار والی machine کے استعمال سے کافی زیادہ ہے۔ مکمل column list https://ai.strasmore.com/api/demo/schema پر موجود ہے۔
اگر یہ آپ کی پہلی Ollama install ہے تو VPS پر Ollama چلانے کا مکمل walkthrough اس guide میں فرض کیے گئے service setup، HTTP API اور firewall rules کی وضاحت کرتا ہے۔ port 11434 کو internet پر expose نہ کریں۔ Ollama کی local API میں authentication درکار نہیں ہوتی، اس لیے جو بھی اس port تک پہنچ سکے وہ آپ کا model استعمال کر سکتا ہے۔
FAQ
کیا Ollama پر Qwen 3.8 27B ماڈل موجود ہے؟
جی ہاں۔ 21 October 2026 تک Ollama library میں qwen3.8 entry موجود ہے، اور qwen3.8:27b (جسے latest کے نام سے بھی tag کیا گیا ہے) 27.3 billion parameters والے dense model کا 18 GB Q4_K_M build ہے۔ اس میں vision projector اور 256K context window شامل ہیں۔ یہ مقامی طور پر چلتا ہے اور اسے Ollama v0.32.12 یا اس کے بعد کا ورژن درکار ہے۔ پرانے qwen3.6:27b اور qwen3.5:27b tags بھی اب تک درج ہیں۔ موجودہ فہرست کے لیے https://ollama.com/library/qwen3.8/tags دیکھیں۔ جو tag موجود نہ ہو، وہ Error: pull model manifest: file does not exist کے ساتھ fail ہو جاتا ہے۔
VPS پر Qwen 27B ماڈل چلانے کے لیے کتنی RAM درکار ہے؟
Q4_K_M کے لیے 32 GB عملی کم از کم ہے۔ weights 17 GB کے ہیں، vision projector تقریباً 0.9 GB مزید لیتا ہے، operating system کو تقریباً 1.5 GB درکار ہوتے ہیں، اور f16 پر context کے ہر 16,000 tokens کے لیے KV cache تقریباً 1 GB مزید لیتا ہے، کیونکہ model کی 64 layers میں سے صرف 16 layers بڑھتا ہوا cache برقرار رکھتی ہیں۔ 16 GB plan weights کو مکمل طور پر رکھ ہی نہیں سکتا، اور swap مدد نہیں کرتی کیونکہ file memory-mapped ہے اور kernel ہر token پر اسے disk سے دوبارہ پڑھتا ہے۔ 64 GB سے مکمل 256K window کے لیے گنجائش ملتی ہے، حتیٰ کہ Q8_0 weights کے ساتھ بھی، جن کا حجم 29 GB ہے۔
CPU پر 27B ماڈل کتنے tokens فی second دے گا؟
اپنی memory bandwidth کو weights کے حجم پر تقسیم کریں، پھر اس کا 50 سے 70 فیصد لیں۔ دو-channel DDR4-3200 VPS کی حد تقریباً 3 tokens فی second ہے، جبکہ عملی رفتار تقریباً 2 tokens فی second ہوتی ہے۔ دو-channel DDR5-4800 machine کی حد تقریباً 4.5 ہے اور یہ تقریباً 3 tokens فی second دیتی ہے۔ زیادہ channels والے server platforms کاغذ پر بہت بہتر دکھائی دیتے ہیں، لیکن host پر موجود ہر tenant memory bandwidth میں شریک ہوتا ہے۔ اس لیے اپنی کارکردگی ollama run qwen3.8:27b --verbose سے measure کریں اور eval rate line پڑھیں۔
کیا CPU-only VPS پر Q4 یا Q8 استعمال کرنا چاہیے؟
تقریباً ہر صورت میں Q4_K_M استعمال کریں۔ Q8_0 کا حجم 29 GB ہے، جبکہ Q4_K_M کا حجم 17 GB ہے۔ اس لیے Q8_0 کے weights 32 GB میں سما جاتے ہیں، لیکن projector، cache، operating system اور runtime کے بعد headroom بہت کم رہ جاتی ہے؛ 64 GB سے طویل context کے لیے گنجائش ملتی ہے۔ Q8_0 ہر token کے لیے تقریباً دو گنا زیادہ memory منتقل کرتا ہے، جس سے tokens فی second تقریباً نصف رہ جاتے ہیں۔ 27B model پر Q4_K_M اور Q8_0 کے درمیان quality کا فرق زیادہ تر tasks کے لیے معمولی ہے۔ RAM کو طویل context پر خرچ کریں، کیونکہ اس سے model کی صلاحیت بدلتی ہے، صرف اس کا اندازِ بیان نہیں۔
بڑی RAM والے VPS کے مقابلے میں GPU کرائے پر لینا کب سستا ہوتا ہے؟
جب آپ کا duty cycle کم ہو یا کوئی شخص نتیجے کا انتظار کر رہا ہو۔ 24 GB memory والا GPU ان weights پر نظری طور پر تقریباً 59 tokens فی second دے سکتا ہے، جبکہ عام VPS پر متوقع رفتار 2 یا 3 tokens فی second ہے۔ hourly GPU compute charges instance بند ہوتے ہی رک جاتے ہیں، لیکن persistent storage پر پھر بھی لاگت آ سکتی ہے۔ 64 GB VPS کا bill پورا مہینہ آتا ہے، چاہے model loaded ہو یا نہ ہو۔ حساب کریں کہ آپ واقعی روزانہ کتنے گھنٹے tokens generate کرتے ہیں۔ break-even point rental rates، runtime اور persistent storage charges پر منحصر ہے۔ مسلسل کم ترجیحی batch work کے لیے ہمیشہ چلنے والا VPS زیادہ فائدہ مند ہوتا ہے۔