SSD Nodes Learn Hosting plans →
تعلیمی Matt Connorتحریر: Matt Connor · اپ ڈیٹ شدہ 2026-10-24

Ollama میں num_ctx سے context length کیسے بڑھائیں

Ollama طویل prompt کو خاموشی سے کاٹ سکتا ہے۔ فی request یا server-wide num_ctx مقرر کریں، اور بڑھانے سے پہلے KV cache کے لیے درکار RAM جانچیں۔

num_ctx کیا کرتا ہے، اور آپ کا طویل prompt کیوں کٹ گیا

Ollama کی context length ان tokens کی تعداد ہے جنہیں loaded model ایک وقت میں memory میں رکھ سکتا ہے، اور num_ctx وہ option ہے جو اسے مقرر کرتا ہے۔ Ollama ایسا default منتخب کرتا ہے جو model کی بتائی ہوئی maximum حد سے بہت کم ہوتا ہے، اس لیے model کے input پڑھنے سے پہلے ہی طویل prompt کا حصہ کٹ جاتا ہے۔ response میں کوئی indication نہیں ملتی کہ ایسا ہوا ہے۔

Ollama model library میں Llama 3.1 8B کے لیے 128k context window درج ہے۔ stock server آپ کو یہ پوری حد نہیں دے گا۔ Ollama کی اپنی documentation کے مختلف صفحات پر مختلف defaults درج ہیں: FAQ میں 4096 tokens، Modelfile reference میں num_ctx کا default 2048، اور context length page پر default available VRAM (video RAM) کے مطابق بتایا گیا ہے: 24 GiB سے کم پر 4k، 24 GiB سے 48 GiB تک 32k، اور 48 GiB یا اس سے زیادہ پر 256k۔ ان میں سے ہر value کسی نہ کسی build کے لیے درست تھی۔ اس اختلاف سے اہم سبق یہ ملتا ہے: کسی بھی page، حتیٰ کہ اس page، پر بھروسا کرنے کے بجائے اپنے running server سے value معلوم کریں۔

Truncation خاموشی سے ہوتی ہے کیونکہ model پھر بھی جواب دیتا ہے، اور جواب بظاہر درست رہتا ہے۔ لیکن وہ آپ کے input کے آخری حصے کی بنیاد پر لکھا گیا ہوتا ہے۔ ایسے summary میں جو document کا پہلا نصف چھوڑ دے، model کمزور محسوس ہوتا ہے۔ عموماً مسئلہ چھوٹی context window کا ہوتا ہے۔

اپنے سرور پر Ollama کی لاگو کردہ context length چیک کریں

ہر build پر کام کرنے والا طریقہ prompt_eval_count ہے۔ یہ prompt tokens کی وہ تعداد ہے جسے server process کرنے کی اطلاع دیتا ہے۔ context کی گنجائش سے زیادہ متن بھیجیں، تو یہ تعداد limit پر رک جاتی ہے۔

sudo apt update && sudo apt install -y jq
LONG=$(python3 -c "print('the quick brown fox jumps over the lazy dog. ' * 2000)")
jq -n --arg p "$LONG" '{model:"llama3.1:8b", prompt:$p, stream:false, options:{num_ctx:4096}}' |
  curl -s http://localhost:11434/api/generate -d @- |
  jq '{prompt_eval_count, prompt_eval_duration}'

اس prompt میں تقریباً 18,000 الفاظ ہیں، اس لیے یہ 4096 tokens سے بہت زیادہ ہے۔ prompt_eval_count حقیقی token count کے بجائے تقریباً 4096 واپس کرتا ہے، کیونکہ server نے باقی متن خارج کر دیا۔ اب اسے "num_ctx":16384 کے ساتھ دوبارہ چلائیں، تو count بڑھ جاتا ہے۔ اگر آپ کا build متن truncate کرنے کے بجائے error واپس کرتا ہے، تو نتیجہ وہی ہے، لیکن اشارہ زیادہ واضح ہے۔

ollama ps

جن builds میں یہ column دکھائی دیتا ہے، ان میں CONTEXT اس وقت loaded model کے استعمال کردہ context length کو ظاہر کرتا ہے۔ اس کے ساتھ موجود PROCESSOR column دکھاتا ہے کہ model کہاں چل رہا ہے۔ GPU کے بغیر VPS پر 100% CPU معمول کی بات ہے۔ GPU والے server پر 30%/70% CPU/GPU جیسی تقسیم کا مطلب ہے کہ weights اور cache اب VRAM میں پوری طرح fit نہیں ہو رہے، اور اس کی عام وجہ بڑھا ہوا num_ctx ہے۔

journalctl -u ollama --no-pager | grep -i n_ctx | tail -n 5

inference runner اپنی context size ایسی line میں دکھاتا ہے جس میں n_ctx شامل ہوتا ہے۔ مختلف releases میں الفاظ بدل سکتے ہیں، اس لیے line نہ ملنے کو کسی اور نام کے استعمال کے طور پر سمجھیں، نہ کہ کسی نتیجے کا ثبوت۔

num_ctx ترتیب دینے کی چار جگہیں

درخواست میں۔ "options": {"num_ctx": 16384} کو /api/generate یا /api/chat میں بھیجیں۔ اس کی ترجیح ہر دوسری setting سے زیادہ ہے، اور یہ صرف اسی call پر لاگو ہوتی ہے۔ اگر یہ value loaded model کے موجودہ value سے مختلف ہو تو server پہلے model reload کرتا ہے۔ یہ response کے load_duration میں نظر آتا ہے: وقت تقریباً صفر سے بڑھ کر پورے seconds ہو جاتا ہے۔ یہی انتظار اس وقت بھی ظاہر ہوتا ہے جب model کافی دیر idle رہنے کے بعد unload ہو جائے۔ اس لیے context size طے کرنے کے بعد model کو keep_alive کے ذریعے resident رکھنا مفید ہے۔

interactive session میں۔ ollama run کے اندر /set parameter num_ctx 16384 لکھیں۔ یہ صرف اسی session تک برقرار رہتا ہے۔

Modelfile میں۔ اس سے value کسی named model میں مستقل شامل ہو جاتی ہے۔ اس لیے ہر client کو client-side تبدیلی کے بغیر یہی value ملتی ہے۔

FROM llama3.1:8b
PARAMETER num_ctx 16384
ollama create llama3.1-16k -f ./Modelfile
ollama run llama3.1-16k

server پر۔ OLLAMA_CONTEXT_LENGTH ہر ایسی request کے لیے default مقرر کرتا ہے جس میں اپنا num_ctx موجود نہ ہو۔ systemd کے تحت unit file میں ترمیم کرنے کے بجائے drop-in شامل کریں۔

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=16384"
sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama ps

debugging کے دوران precedence خاص طور پر اہم ہوتی ہے، بالخصوص جب آپ کسی اور کے client کی جانچ کر رہے ہوں۔ num_ctx رکھنے والی request server default پر فوقیت رکھتی ہے۔ اس لیے chat front end یا agent اپنی طرف سے چھوٹی value بھیج کر آپ کی systemd تبدیلی کو خاموشی سے غیر مؤثر کر سکتا ہے۔ جب آپ کسی coding agent کو اپنے Ollama server سے منسلک کریں تو server کو موردِ الزام ٹھہرانے سے پہلے دیکھیں کہ client کیا بھیج رہا ہے۔

آپ صرف num_ctx کو model maximum پر کیوں مقرر نہیں کر سکتے

Attention میں ہر token اپنے سے پہلے موجود ہر token کو دیکھتا ہے۔ پہلے tokens کے لیے computed keys اور values محفوظ رکھے جاتے ہیں، تاکہ ہر نئے token کے لیے انہیں دوبارہ compute نہ کرنا پڑے۔ اس store کو KV cache (key/value cache) کہتے ہیں۔ Model load ہونے پر یہ پورے num_ctx کے لیے allocate ہوتا ہے، conversation بڑھنے کے ساتھ نہیں۔ اس لیے بڑا context ایک سطری prompt میں بھی اتنی ہی memory استعمال کرتا ہے۔

ہر layer ہر token کے لیے ہر key/value head کے حساب سے ایک key vector اور ایک value vector رکھتی ہے۔ اس لیے حساب ایک سطر میں یوں آتا ہے:

kv_bytes_per_token = 2 * layers * kv_heads * head_dim * bytes_per_value

2 سے مراد keys اور values کی الگ الگ counting ہے۔ باقی اعداد اپنے model سے حاصل کریں۔

curl -s http://localhost:11434/api/show -d '{"model":"llama3.1:8b"}' |
  jq '.model_info | {ctx: ."llama.context_length", layers: ."llama.block_count", heads: ."llama.attention.head_count", kv_heads: ."llama.attention.head_count_kv", embed: ."llama.embedding_length"}'

Llama 3.1 8B میں 32 layers اور 8 key/value heads ہیں۔ Head dimension embed کو heads سے تقسیم کرنے سے حاصل ہوتی ہے، اس لیے یہاں 4096 / 32 = 128 ہے۔ کچھ models اسے براہِ راست llama.attention.key_length کے طور پر بھی شائع کرتے ہیں۔ Default cache میں f16 values ہوتی ہیں، اس لیے bytes_per_value کی قدر 2 ہے۔ یوں 2 32 8 128 2 کا نتیجہ 131,072 bytes بنتا ہے۔ Context کے ہر token کے لیے cache 128 KiB ہے۔ Context length سے ضرب دینے پر اس کی لاگت واضح ہو جاتی ہے۔

چارٹLlama 3.1 8B at f16: KV cache and total RAM by context length, in GiB
اس چارٹ کے پیچھے کا ڈیٹا
[
  {
    "label": "4k",
    "kv_cache_gib": 0.5,
    "total_ram_gib": 5.1
  },
  {
    "label": "8k",
    "kv_cache_gib": 1,
    "total_ram_gib": 5.6
  },
  {
    "label": "16k",
    "kv_cache_gib": 2,
    "total_ram_gib": 6.6
  },
  {
    "label": "32k",
    "kv_cache_gib": 4,
    "total_ram_gib": 8.6
  },
  {
    "label": "64k",
    "kv_cache_gib": 8,
    "total_ram_gib": 12.6
  },
  {
    "label": "128k",
    "kv_cache_gib": 16,
    "total_ram_gib": 20.6
  }
]

6 rows اوپر دیے گئے formula سے حاصل ہونے والی arithmetic ہیں، measurements نہیں۔ Total column میں 4.9 GB کا download بھی شامل ہے، جسے Ollama library نے اکتوبر 2026 میں llama3.1:8b کے لیے درج کیا تھا۔ یہ 4.6 GiB کے برابر ہے۔ Compute buffers اور server process خود اس میں شامل نہیں ہیں۔ اسے کم از کم درکار مقدار سمجھیں۔

اصل نکتہ اس کی shape ہے۔ 8k پر cache کی لاگت 1 GiB ہے، جو weights کے مقابلے میں نہایت کم ہے۔ Model کے مکمل 128k پر اس کی لاگت 16 GiB ہو جاتی ہے، جو weights سے تین گنا سے بھی زیادہ ہے۔ اس صورت میں total تقریباً 20.6 GiB بنتا ہے۔ اس لیے 4 GB VPS اس model کو کسی مفید context کے ساتھ load نہیں کر سکتا۔ 8 GB VPS پر 8k context آرام سے چلتا ہے۔ 16 GB VPS پر 32k context کے بعد بھی server کے باقی حصوں کے لیے کچھ memory بچتی ہے۔ Weights بڑھنے کے ساتھ یہ تمام حدود بھی بڑھ جاتی ہیں۔ اس لیے اگر آپ اس 8B model کے مقابلے میں بڑا model منتخب کرنے پر غور کر رہے ہیں تو CPU-only VPS پر Qwen کا 27B tag کے لیے کیے گئے یہی حساب دکھاتے ہیں کہ 8 سے 64 GB کے درمیان context کے لیے weights کے بعد کتنی کم memory بچتی ہے۔

جب KV cache میں فٹ نہ ہو

صرف CPU والے VPS پر process کا memory استعمال مسلسل بڑھتا جاتا ہے۔ Model load ہوتے وقت اور طویل request چلتے وقت اس کی نگرانی کریں۔

free -m
ps -eo rss,comm --sort=-rss | head -n 5

RSS (resident set size) kilobytes میں دکھایا جاتا ہے۔ اگر free -m میں استعمال شدہ swap بڑھنے لگے تو context کم کریں۔ Swap میں موجود KV cache generation کو ہر token کے لیے کئی seconds تک روک سکتا ہے، کیونکہ ہر نیا token پوری cache کو پڑھتا ہے۔

اگر box کی memory مکمل طور پر ختم ہو جائے تو kernel کسی process کو kill کرتا ہے، عموماً اسی process کو جو سب سے زیادہ memory استعمال کر رہا ہو۔

sudo dmesg | grep -i "killed process"

Out of memory: Killed process 1234 (ollama) دکھانے والی line کا مطلب ہے کہ kernel نے Ollama کو kill کرنے کے لیے منتخب کیا؛ یہ ضروری نہیں کہ memory اسی نے استعمال کی ہو۔ ایسے box میں جہاں Ollama واحد بڑا process ہو، عموماً وجہ یہ ہوتی ہے کہ context بہت بڑا تھا اور memory میں فٹ نہیں ہوا۔ num_ctx کم کرنے سے پہلے دیکھیں کہ اور کیا چل رہا تھا۔ Ollama اکثر اس مرحلے تک پہنچنے سے پہلے ہی request مسترد کر دیتا ہے، اور پھر ایسا message دکھاتا ہے جس میں مطلوبہ memory اور دستیاب memory دونوں درج ہوتی ہیں۔

GPU والے box پر failure کم نمایاں ہوتا ہے۔ Layers system RAM میں منتقل ہو جاتی ہیں، ollama ps CPU اور GPU کے درمیان تقسیم دکھاتا ہے، اور throughput تیزی سے کم ہو جاتا ہے۔ کمی کی شدت آپ کے hardware پر منحصر ہے، اس لیے ہر context setting پر اپنے box پر tokens per second کی پیمائش کریں اور کسی دوسرے شخص کی machine کے figure پر بھروسا نہ کریں۔

پرامپٹ کے مقابلے میں Prefill کا وقت زیادہ تیزی سے بڑھتا ہے

Prefill وہ کام ہے جو پہلے output token کے ظاہر ہونے سے پہلے آپ کے input پر کیا جاتا ہے۔ ہر prompt token اس سے پہلے موجود ہر token پر attention دیتا ہے، اس لیے مجموعی کام input کی لمبائی کے مربع کے تناسب سے بڑھتا ہے۔ prompt کو دوگنا کرنے سے پہلے token کے انتظار کا وقت دوگنے سے بھی زیادہ ہو جاتا ہے۔

اس کی پیمائش response میں موجود ہے، اس لیے آپ کو یہ بات محض اعتماد کی بنیاد پر قبول نہیں کرنی پڑتی۔

jq -n --arg p "$LONG" '{model:"llama3.1:8b", prompt:$p, stream:false, options:{num_ctx:16384}}' |
  curl -s http://localhost:11434/api/generate -d @- |
  jq '{tokens: .prompt_eval_count, prefill_seconds: (.prompt_eval_duration/1000000000)}'

اسے ایک مختصر prompt کے ساتھ چلائیں، پھر ایک طویل prompt کے ساتھ دوبارہ چلائیں، اور ہر صورت میں tokens کو seconds سے تقسیم کریں۔ صرف CPU والے VPS پر طویل context کی request میں عموماً prefill سب سے سست مرحلہ ہوتا ہے، اور مختصر prompt سے حاصل کیا گیا tokens per second کا اعداد و شمار طویل prompt کی کارکردگی کی پیش گوئی نہیں کرتا۔ اگر prefill اس کے سامنے موجود کسی بھی timeout سے زیادہ وقت لے، تو عموماً طویل prompt کے جواب کے بجائے context deadline exceeded آنے کی یہی وجہ ہوتی ہے۔ اس لیے context مختصر کرنے سے پہلے معلوم کریں کہ کس layer نے انتظار ختم کر دیا۔

Concurrency میں یہ مسئلہ سب سے زیادہ نمایاں ہوتا ہے۔ فراہم کی جانے والی ہر request کو اپنی cache درکار ہوتی ہے، اس لیے اوپر کے chart میں دکھائی گئی memory فی request ہے، نہ کہ فی server۔ ایک طویل request پورے box کو مصروف رکھ سکتی ہے اور مختصر requests اس کے پیچھے queue میں انتظار کرتی رہتی ہیں۔ OLLAMA_NUM_PARALLEL کو سوچ سمجھ کر مقرر کریں، اور دونوں numbers بیک وقت بڑھانے سے پہلے ایک self-hosted LLM کتنے concurrent users کو serve کر سکتا ہے پڑھیں۔

چھوٹے cache کے ساتھ context دوبارہ حاصل کریں

فارمولے میں bytes_per_value ایسی setting ہے جسے آپ کنٹرول کرتے ہیں۔ Ollama کی FAQ میں OLLAMA_KV_CACHE_TYPE درج ہے، جس میں f16 default ہے، q8_0 تقریباً f16 کی نصف memory استعمال کرتا ہے، اور q4_0 تقریباً ایک چوتھائی۔ q8_0 کی درست مقدار نصف سے کچھ زیادہ ہے: llama.cpp ہر 32 values کے block کو 32 one-byte values اور ایک two-byte scale کے طور پر محفوظ کرتا ہے، یعنی 34 bytes، جبکہ f16 کے لیے 64 bytes درکار ہوتے ہیں۔ اس لیے q8_0 پر منتقل ہونے سے 32k row تقریباً 2.1 GiB ہو جاتی ہے، بجائے 4 GiB کے۔ weights کو quantise کرنے سے اسی budget کے دوسرے حصے سے memory آزاد ہوتی ہے، اور وہ GLM tag جو VPS میں واقعی فٹ آتا ہے quantisation کے مختلف درجات کے ذریعے تفصیل سے آزمایا گیا ہے، اگر آپ یہی trade-off اختیار کرنا چاہیں۔ اسی FAQ کے مطابق cache صرف اسی وقت quantise ہوتا ہے جب Flash Attention enabled ہو، اور اسے زبردستی فعال کرنے کے لیے OLLAMA_FLASH_ATTENTION=1 درج ہے۔

[Service]
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"

اندازہ لگانے کے بجائے تصدیق کریں: service restart کریں، model کو پہلے جیسی num_ctx پر load کریں، اور RSS کا موازنہ کریں۔ support کا انحصار model اور backend پر ہوتا ہے، اس لیے اگر setting سے کچھ تبدیل نہیں ہوتا تو آپ کا combination اس feature کے تحت نہیں آتا۔ cache type ایک global option ہے، اس لیے server پر موجود ہر model اسی کے ساتھ چلتا ہے۔ quality کے بارے میں FAQ کے مطابق q8_0 کا عموماً کوئی قابلِ محسوس اثر نہیں ہوتا، جبکہ q4_0 زیادہ precision کھوتا ہے، خاص طور پر بڑے context sizes پر۔ اس لیے انحصار کرنے سے پہلے q4_0 کو اپنے prompts کے ساتھ test کریں۔ اگر آپ یہاں انہی settings کی وجہ سے پہنچے ہیں تو Ollama اور llama.cpp انہیں مختلف طریقے سے ظاہر کرتے ہیں۔

num_ctx منتخب کرنے کا طریقہ

  1. /api/show سے model کا maximum context، اس کی layer count اور key/value head count پڑھیں۔
  2. فارمولے کے ذریعے bytes per token معلوم کریں، پھر اسے مطلوبہ context سے ضرب دیں۔
  3. weight size شامل کریں، اسے free RAM سے compare کریں، اور باقی server کے لیے کم از کم 1 GiB محفوظ رکھیں۔
  4. value set کریں، model load کریں، پھر ollama ps اور prompt_eval_count سے تصدیق کریں کہ کون سی value apply ہوئی ہے۔
  5. free -m کو monitor کرتے ہوئے اپنا حقیقی workload چلائیں، اور اگر swap استعمال ہونا شروع ہو جائے تو context کو نصف کر دیں۔

زیادہ تر jobs کے لیے لوگوں کی دی ہوئی context سے کم context کافی ہوتی ہے۔ ایک طویل report کا خلاصہ 16k میں آ سکتا ہے۔ ایسا retrieval front end جو پانچ document chunks شامل کرتا ہے، عموماً 8k سے زیادہ استعمال نہیں کرتا۔ ایسا coding agent جو مکمل files پڑھتا ہے، وہ حقیقی طور پر 64k یا اس سے زیادہ context کا محتاج ہوتا ہے۔ اسی صورت میں machine کی sizing context کو بنیاد بنا کر کریں، نہ کہ اس کے برعکس۔ اگر server ابھی نیا ہے تو VPS پر چلنے والی Ollama installation سے آغاز کریں، اور models کے درست طور پر load ہونے کے بعد context کو tune کریں۔

FAQ

Ollama میں default context length کیا ہے؟

یہ build اور hardware پر منحصر ہے، اس لیے اندازہ لگانے کے بجائے تصدیق کریں۔ Ollama کی FAQ میں 4096 tokens درج ہیں، جبکہ Modelfile reference میں num_ctx کا default 2048 درج ہے۔ context length صفحہ available VRAM کی بنیاد پر منتخب ہونے والا default درج کرتا ہے: 24 GiB سے کم پر 4k، 24 GiB سے 48 GiB تک 32k، اور 48 GiB یا اس سے زیادہ پر 256k۔ صرف CPU استعمال کرنے والا VPS کم ترین حد پر آتا ہے۔ جن builds میں یہ column موجود ہو، ان میں ollama ps نافذ شدہ context دکھاتا ہے، اور API response میں prompt_eval_count ہر build پر اس کی تصدیق کرتا ہے۔

Ollama میرے طویل prompt کا آغاز کیوں نظرانداز کرتا ہے؟

کیونکہ prompt context window سے طویل تھا، اس لیے server نے model تک پہنچنے سے پہلے اسے مختصر کر دیا، اور کوئی error واپس نہیں آیا۔ اسی prompt کو بڑے num_ctx کے ساتھ دوبارہ بھیجیں اور response میں prompt_eval_count کو بڑھتا ہوا دیکھیں۔ اگر یہ number تبدیل نہ ہو تو آپ اور server کے درمیان کوئی چیز خود num_ctx مقرر کر رہی ہے۔ chat front ends اور agent frameworks میں یہ عام ہے۔

بڑے num_ctx کے لیے کتنی اضافی RAM درکار ہوتی ہے؟

context length کو فی token cache cost سے ضرب دیں۔ یہ cost 2 * layers * kv_heads * head_dim * bytes_per_value ہے۔ Llama 3.1 8B کے لیے f16 پر یہ 128 KiB فی token ہے، اس لیے 32k tokens کی لاگت weights کے علاوہ 4 GiB اور مکمل 128k کی لاگت 16 GiB ہے۔ cache model load ہونے کے وقت allocate ہوتا ہے، اس لیے بڑا num_ctx اتنی memory استعمال کرتا ہے، چاہے آپ کے prompts مختصر ہی رہیں۔

کیا بڑی context window Ollama کو سست کر دیتی ہے؟

ہاں، دو طریقوں سے۔ prefill کا کام prompt length کے مربع کے ساتھ بڑھتا ہے، اس لیے طویل input پہلے token کے ظاہر ہونے میں اس کی length سے متوقع وقت سے زیادہ تاخیر پیدا کرتا ہے۔ بڑا cache memory کے لیے بھی مقابلہ کرتا ہے: GPU machine پر یہ layers کو system RAM میں منتقل کر سکتا ہے، جبکہ CPU machine پر یہ machine کو swap کی طرف دھکیل سکتا ہے۔ بڑا num_ctx جسے آپ کبھی مکمل طور پر استعمال نہ کریں، تب بھی memory استعمال کرتا ہے، اگرچہ prefill time میں اضافہ نہیں کرتا۔

کیا میں ایک model کے لیے num_ctx مستقل طور پر مقرر کر سکتا ہوں؟

ہاں۔ FROM llama3.1:8b اور PARAMETER num_ctx 16384 پر مشتمل Modelfile لکھیں، پھر ollama create llama3.1-16k -f ./Modelfile چلائیں۔ llama3.1-16k کی درخواست کرنے والے ہر client کو کوئی options بھیجے بغیر یہی context ملے گا۔ اپنی num_ctx رکھنے والی request پھر بھی غالب رہے گی، اس لیے یہ ceiling کے بجائے default مقرر کرتا ہے۔

کیا یہ مضمون مفید تھا؟