Ollama کو اپنے coding agent کے ساتھ کیسے چلائیں
Ollama کو coding agent سے جوڑنے کے لیے base URL، dummy API key اور model name کافی ہیں۔ context length کی عام خرابی اور مقامی model کے بہترین کام جانیں۔
آپ کس سے منسلک ہو رہے ہیں
آپ Ollama کو اپنے coding agent کے ساتھ استعمال کر سکتے ہیں، اور اس کا connection لوگوں کی توقع سے کہیں چھوٹا ہوتا ہے۔ آپ صرف ایک base URL تبدیل کرتے ہیں اور ایک model name منتخب کرتے ہیں۔ API key کا field پھر بھی ایک value چاہتا ہے، لیکن local server اسے نظرانداز کرتا ہے، اس لیے کوئی بھی string کام کرے گی۔
Ollama port 11434 پر listening کرتا ہے اور بیک وقت تین API surfaces فراہم کرتا ہے۔ /api Ollama کی native API ہے۔ /v1 OpenAI-compatible layer ہے، جس میں خود کئی shapes شامل ہیں: /v1/chat/completions، /v1/responses، /v1/completions، /v1/models اور /v1/embeddings۔ Ollama کی documentation میں وہاں موجود key کو required لیکن ignored بتایا گیا ہے۔ تیسری surface Anthropic-compatible ہے: client http://localhost:11434 کو base URL کے طور پر لیتا ہے اور اس کے ساتھ /v1/messages شامل کرتا ہے، جسے Claude Code استعمال کرتا ہے۔ زیادہ تر agents /v1/chat/completions استعمال کرتے ہیں، Codex /v1/responses استعمال کرتا ہے، اور Claude Code /v1/messages استعمال کرتا ہے۔ آپ کا agent پہلے ہی ان میں سے ایک کو سمجھتا ہے، اس لیے اس میں کوئی اور تبدیلی نہیں ہوتی۔
یہ حصہ پانچ منٹ لیتا ہے۔ نتیجہ قابلِ استعمال ہوگا یا نہیں، اس کا انحصار دو ایسی settings پر ہے جنہیں تقریباً کوئی تبدیل نہیں کرتا: context length اور keep-alive۔ اس کا انحصار اس بات پر بھی ہے کہ model کو وہ کام دیا جائے جس کے لیے وہ موزوں ہے۔ دونوں settings کے لیے الگ section ہے، جبکہ دیانت دارانہ حدود آخر میں بیان کی گئی ہیں۔
کون سے coding agents مقامی base URL قبول کرتے ہیں
ٹیسٹ کا سوال صرف ایک ہے: کیا tool، base URL کی setting فراہم کرتا ہے؟ اگر ہاں، تو وہ آپ کے server سے رابطہ کر سکتا ہے۔
Ollama، Claude Code، OpenCode، Codex، Cline، Roo Code، Zed، JetBrains IDEs اور VS Code کے لیے integration pages فراہم کرتا ہے۔ Aider اپنی Ollama support الگ سے document کرتا ہے۔ اکتوبر 2026 میں coding agent سے مراد عموماً یہی زیادہ تر tools ہوتے ہیں۔ یہ سب ایک ہی API shape استعمال نہیں کرتے، اور setup عموماً اسی فرق کی وجہ سے ناکام ہوتا ہے۔
- زیادہ تر agents کو OpenAI-compatible endpoint درکار ہوتا ہے۔ انہیں base URL
http://localhost:11434/v1اور کوئی بھی non-empty API key string دیں۔ - Claude Code کسی بھی OpenAI base URL کو قبول نہیں کرتا۔ یہ Anthropic Messages API استعمال کرتا ہے، اس لیے
ANTHROPIC_BASE_URLکوhttp://localhost:11434پر set کرنا ضروری ہے، جہاں Ollama/v1/messagesفراہم کرتا ہے۔ - Codex، OpenAI Responses API استعمال کرتا ہے۔ Ollama
/v1/responsesبھی فراہم کرتا ہے، جو version 0.13.3 میں شامل کیا گیا تھا۔ - جس agent میں base URL کی setting نہ ہو، اسے redirect نہیں کیا جا سکتا، کیونکہ endpoint client میں built-in ہوتا ہے۔ اگر agent custom URL قبول کرتا ہو لیکن اسے مختلف API shape درکار ہو، تو اس کے سامنے translation layer رکھیں، مثلاً self-hosted LiteLLM gateway، اور اپنے model کو اس shape میں دوبارہ expose کریں جس کا client تقاضا کرتا ہے۔
Ollama یہ configs آپ کے لیے لکھ سکتا ہے۔ ollama launch opencode آپ کے منتخب کردہ model کے لیے inline config کے ساتھ OpenCode شروع کرتا ہے، ollama launch claude Claude Code کے لیے یہی کام کرتا ہے، اور ollama launch droid --config tool شروع کیے بغیر config لکھتا ہے۔
Ollama انسٹال کریں اور ایسا model pull کریں جو tools کو call کر سکے
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama --no-pager
ollama pull qwen3-coder:30b
ollama lsInstaller ایک systemd unit شامل کرتا ہے اور اسے start کر دیتا ہے، اس لیے systemctl status ollama چلانے پر active (running) ظاہر ہونا چاہیے۔ اگر ایسا نہ ہو تو journalctl -e -u ollama وجہ ظاہر کرتا ہے۔
model کو tool calling support کرنا چاہیے، کیونکہ agent اسی طریقے سے کام کرتا ہے۔ یہ file پڑھتا ہے، patch لکھتا ہے، test چلاتا ہے، پھر failure پڑھ کر دوبارہ کوشش کرتا ہے۔ جو model tool call جاری نہیں کر سکتا، وہ edit کرنے کے بجائے اسے نثر میں بیان کرے گا، اور agent loop میں پھنس جائے گا یا رک جائے گا۔ model کو pull کرنے سے پہلے اس کے ollama.com صفحے پر tools label تلاش کریں۔ qwen3-coder:30b میں یہ label موجود ہے، اور October 2026 تک یہ tag 19 GB کا download ہے جس کی context window 256K ہے۔ اگر آپ کا server صرف CPU پر چلتا ہے یا RAM کم ہے تو VPS پر Qwen 27B tag کے لیے memory کا حساب دکھاتا ہے کہ download شروع کرنے سے پہلے 8 سے 64 GB میں حقیقتاً کیا fit ہو سکتا ہے۔ جب آپ اسے pull کر لیں گے تو یہ gigabytes server کی root disk پر محفوظ ہوں گے۔ VPS میں عموماً اسی disk میں دستیاب جگہ سب سے کم ہوتی ہے، اس لیے disk بھرنے سے پہلے Ollama اپنی model files کہاں رکھتا ہے اور انہیں دوسری جگہ کیسے منتقل کیا جائے پڑھ لینا مفید ہے۔
اب تصدیق کریں کہ server حقیقتاً کون سے names serve کرتا ہے:
curl http://localhost:11434/v1/modelsاس response میں موجود strings وہی values ہیں جو آپ کے agent config میں character for character شامل ہونی چاہییں۔ پہلے یہ جانچ کر لینے سے model-not-found کی زیادہ تر errors حل ہو جاتی ہیں۔ اگر Ollama ابھی انسٹال نہیں ہے تو مکمل طریقہ VPS پر Ollama کے ساتھ LLM کو self-host کرنے میں موجود ہے۔
OpenCode کو Ollama سے مربوط کریں
~/.config/opencode/opencode.json میں ترمیم کریں:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"ollama": {
"npm": "@ai-sdk/openai-compatible",
"name": "Ollama",
"options": {
"baseURL": "http://localhost:11434/v1"
},
"models": {
"qwen3-coder:30b": {
"name": "qwen3-coder 30b"
}
}
}
}
}models کے تحت موجود key، Ollama کو بھیجے جانے والے model کا نام ہے، اس لیے اسے ollama ls سے بالکل مطابقت رکھنی چاہیے۔ name field صرف model picker میں دکھایا جانے والا label ہے۔ opencode شروع کریں، Ollama provider منتخب کریں، اور journalctl -e -u ollama کو monitor کریں تاکہ تصدیق ہو سکے کہ request کسی اور جگہ کے بجائے آپ کے server تک پہنچی ہے۔ agent کی خود configuration VPS پر OpenCode چلانا میں بیان کی گئی ہے۔
Claude Code کو Ollama سے مربوط کریں
export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model qwen3-coder:30bANTHROPIC_API_KEY کو جان بوجھ کر خالی string پر set کیا گیا ہے۔ Base URL یہ متعین کرتا ہے کہ requests کہاں جائیں گی؛ key خالی کرنے سے hosted credentials اس local setup میں شامل نہیں ہوتیں۔ ollama launch claude یہ تمام settings خود configure کر دیتا ہے۔
یہ سمجھیں کہ compatibility layer کن چیزوں کو شامل نہیں کرتی۔ یہ tool_choice یا prompt caching کو implement نہیں کرتی، اور اس میں token counting endpoint بھی نہیں ہے۔ اس لیے آپ جو token numbers دیکھتے ہیں، وہ model کے اپنے tokenizer سے حاصل کردہ تخمینے ہوتے ہیں۔ Claude Code ایک بڑا system prompt اور tools کا بڑا set بھی بھیجتا ہے، اس لیے اسے chat client کے مقابلے میں زیادہ context درکار ہوتا ہے۔ کون سی چیزیں منتقل ہوتی ہیں اور کون سی نہیں، اس کا وسیع تر جواب Claude کو self-host کرنے کے امکان میں دیا گیا ہے۔
Ollama کے لیے Aider کی سمت متعین کریں
export OLLAMA_API_BASE=http://127.0.0.1:11434
aider --model ollama_chat/qwen3-coder:30bAider کی دستاویزات ollama/ کے بجائے ollama_chat/ prefix استعمال کرنے کی تجویز دیتی ہیں۔ پہلے سے طے شدہ طور پر، Aider ہر request کے لیے درکار context کے علاوہ reply کے لیے 8k tokens طلب کرتا ہے۔ آپ .aider.model.settings.yml میں ہر model کے لیے context window بھی مقرر کر سکتے ہیں۔ یہ اس وقت مفید ہے جب کسی ایک model کو server کے default سے مختلف window درکار ہو:
- name: ollama_chat/qwen3-coder:30b
extra_params:
num_ctx: 65536کام کرنے والا setup پھر بھی بے معنی نتائج کیوں دیتا ہے
یہی اہم حصہ ہے۔ Ollama دستیاب GPUs کی مجموعی VRAM (video memory) سے default context length منتخب کرتا ہے اور ہر detected GPU کے لیے OLLAMA_GPU_OVERHEAD منہا کرتا ہے۔ implementation میں یہ thresholds استعمال ہوتی ہیں:
اس چارٹ کے پیچھے کا ڈیٹا
[
{
"label": "Under 23 GiB aggregate VRAM",
"default_context_tokens": "4,096"
},
{
"label": "23 to under 47 GiB aggregate VRAM",
"default_context_tokens": "32,768"
},
{
"label": "47 GiB aggregate VRAM or more",
"default_context_tokens": "262,144"
}
]زیادہ تر VPS plans، اور ہر CPU-only server، پہلی row میں آتے ہیں: 4,096 tokens۔ متعدد چھوٹے GPUs مل کر آخری row میں موجود 262,144 tokens کے لیے 47 GiB threshold تک پہنچ سکتے ہیں۔
کوئی agent کام شروع کرنے سے پہلے ہی 4096 tokens استعمال کرتا ہے۔ system prompt، tool definitions، repository listing اور اس کی کھولی ہوئی پہلی file پہلے ہی اس حد سے بڑے ہوتے ہیں۔ اس کے بعد اصل مسئلہ شروع ہوتا ہے: کوئی error ظاہر نہیں ہوتا۔ Aider کی documentation کے مطابق Ollama window سے زیادہ context کو خاموشی سے خارج کر دیتا ہے۔ قدیم ترین tokens ختم ہو جاتے ہیں، اس لیے model اعتماد کے ساتھ ایسی file کے بارے میں جواب دیتا ہے جسے وہ اب دیکھ نہیں سکتا، یا وہ دو steps پہلے دی گئی instruction بھول جاتا ہے۔ local model کے code لکھنے میں بہت کمزور ہونے کی زیادہ تر reports کے پیچھے یہی mechanism ہے۔ خود یہ number منتخب کرنا بھی ایک الگ فیصلہ ہے، اور ہر size پر KV cache memory میں num_ctx کی لاگت کیا ہے طے کرنے سے پہلے پڑھنا مفید ہے۔
Ollama کی documentation کے مطابق agents اور coding tools جیسے tasks کے لیے کم از کم 64000 tokens مقرر ہونے چاہییں۔ اسے server پر مقرر کریں:
sudo systemctl edit ollama.serviceoverride file میں یہ lines شامل کریں:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"پھر reload اور restart کریں:
sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama psrestart کے بعد اپنے agent سے ایک request بھیجیں، پھر ollama ps دوبارہ چلائیں تاکہ inspect کرنے کے لیے loaded model موجود ہو۔ ollama ps وہ check ہے۔ یہ CONTEXT column دکھاتا ہے، اور یہی number ہے جو model کو حقیقت میں موصول ہوا۔ آپ کے ID اور SIZE مختلف ہوں گے:
NAME ID SIZE PROCESSOR CONTEXT RUNNER UNTIL
qwen3-coder:30b a1b2c3d4e5f6 24 GB 100% GPU 64000 ggml 4 minutes from nowاسے agent کے بجائے server پر مقرر کریں، اور اس کی دو وجوہات ہیں۔ OpenAI chat completions schema میں context length کے لیے کوئی field نہیں، اس لیے OpenAI-compatible client اس کی درخواست نہیں کر سکتا۔ مزید یہ کہ server default ہر agent پر لاگو ہوتا ہے، جب تک کوئی model یا request اسے override نہ کرے۔ output side کی اپنی ایک ceiling ہے، اور context length کے برعکس یہ compatibility endpoint کے ذریعے منتقل ہوتی ہے، اس لیے جب patch کا جواب درمیان میں رک جائے تو num_predict اور اس سے map ہونے والا max_tokens field استعمال کریں۔ اگر کسی model کو مختلف window درکار ہو تو اسے Modelfile کے ذریعے ایک copy میں شامل کریں:
FROM qwen3-coder:30b
PARAMETER num_ctx 65536ollama create qwen3-coder-64k -f ModelfileContext مفت نہیں ہوتا۔ لمبی window کے لیے زیادہ memory درکار ہوتی ہے، اس لیے PROCESSOR column کو monitor کریں۔ 100% GPU وہ چیز ہے جو آپ چاہتے ہیں۔ جب model کا کچھ حصہ CPU پر منتقل ہو جائے تو token rate اتنا کم ہو جاتا ہے کہ agent loop ناقابلِ استعمال بن جاتا ہے، اور local LLM پر tokens per second کی پیمائش آپ کے machine کی حقیقی حد معلوم کرنے کا طریقہ ہے۔ machine خریدنے سے پہلے اس کی sizing coding agent VPS کے لیے کتنی RAM اور CPU درکار ہے میں بیان کی گئی ہے۔
درخواستوں کے درمیان model کو loaded رکھیں
By default Ollama آخری request کے 5 minutes بعد model کو unload کر دیتا ہے۔ یہ chat box کے لیے درست ہے، لیکن agent کے کام کے لیے نہیں۔ آپ diff پڑھنے کے لیے رک جاتے ہیں، timer ختم ہو جاتا ہے، اور اگلی request پر پہلا token ظاہر ہونے سے پہلے disk سے دسیوں gigabytes کے weights دوبارہ load ہوتے ہیں۔ اس سے ایسا محسوس ہوتا ہے کہ system hang ہو گیا ہے۔
OLLAMA_KEEP_ALIVE ایک duration string لیتا ہے، جیسے 10m یا 24h، seconds کی ایک سادہ number، model کو غیر معینہ مدت تک loaded رکھنے کے لیے -1، یا فوراً unload کرنے کے لیے 0۔ اسے context length کے ساتھ set کریں:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"
Environment="OLLAMA_KEEP_ALIVE=-1"keep_alive request field، Ollama کے native /api/generate اور /api/chat endpoints پر موجود ہے، اور /v1/chat/completions پر Ollama extension کے طور پر دستیاب ہے۔ جو agent اضافی request fields expose کرتا ہو، وہ اسے وہاں بھیج سکتا ہے؛ بصورت دیگر environment variable استعمال کریں۔ جب memory واپس درکار ہو، ollama stop qwen3-coder:30b server کو stop کیے بغیر model کو unload کر دیتا ہے۔ اگر آپ چاہتے ہیں کہ یہ setting reboot کے بعد بھی برقرار رہے، یا یہ فیصلہ کرنا چاہتے ہیں کہ weights کو سارا دن memory میں رکھنے کے بجائے memory واپس حاصل کرنا بہتر ہے، تو Ollama model کو memory میں loaded رکھنا دونوں طریقوں سے کام کرتا ہے۔
الگ الگ سرور پر Ollama چلانا
Ollama localhost سے bind ہوتا ہے۔ کسی دوسری مشین سے اس تک رسائی کے لیے اسی systemd override میں OLLAMA_HOST=0.0.0.0:11434 سیٹ کریں اور service دوبارہ شروع کریں۔
یہ کام صرف private network پر کریں۔ Ollama کی documentation کے مطابق local API کے لیے authentication درکار نہیں ہوتی، اس لیے port 11434 کو internet پر کھلا چھوڑنے کا مطلب ہے کہ کوئی بھی آپ کا hardware استعمال کر سکتا ہے۔ دو محفوظ اختیارات موجود ہیں۔ bind کو localhost پر برقرار رکھیں اور اپنے laptop سے SSH کے ذریعے port forward کریں:
ssh -N -L 11434:localhost:11434 you@your-vpsآپ کا agent بدستور http://localhost:11434/v1 کی طرف متوجہ رہتا ہے اور اسے کوئی فرق محسوس نہیں ہوتا۔ دوسرا اختیار VPN ہے۔ اس صورت میں Ollama کو 0.0.0.0 کے بجائے VPN address سے bind کریں۔ اگر کئی لوگ یا کئی agents ایک ہی box استعمال کریں تو Ollama، memory دستیاب ہونے کی صورت میں، parallel requests کو support کرتا ہے، اور Ollama اور vLLM کا موازنہ سے معلوم ہوتا ہے کہ throughput کا فرق کہاں نمایاں ہونا شروع ہوتا ہے۔
جہاں مقامی coding model بہتر ہے، اور جہاں نہیں
آپ کے زیرِ انتظام host کیے گئے model سے چلنے والا agent ہر کام میں frontier API کا متبادل نہیں ہوتا۔ یہ چار قسم کے کاموں میں واضح طور پر بہتر رہتا ہے۔
- بڑے پیمانے کی mechanical تبدیلیاں، جہاں ہر تبدیلی چھوٹی ہو اور آپ اسے جانچ سکتے ہوں۔ repository میں نام تبدیل کرنا، type hints شامل کرنا، docstrings لکھنا، اور comments کا ترجمہ کرنا۔ model کئی گھنٹے چل سکتا ہے اور bill میں اضافہ نہیں ہوتا۔
- وہ کام جو آپ کے hardware سے باہر نہیں جانے چاہییں۔ مثلاً confidentiality agreement کے تحت موجود client code، یا ایسا internal repository جسے آپ کسی third party کو بھیجنے کے مجاز نہ ہوں۔
- Offline اور air-gapped machines، جہاں کسی hosted API کو call کرنے کا امکان ہی نہ ہو۔
- قابلِ پیش گوئی لاگت۔ server کی ادائیگی کے بعد loop میں tokens خرچ کرنے والے agent کی اضافی لاگت صفر ہوتی ہے، جو metered API کے بالکل برعکس ہے۔ GPU VPS API tokens کے مقابلے میں کب break even ہوتا ہے میں حساب دیا گیا ہے۔
یہ طویل اور متعدد مراحل والے کاموں میں کمزور رہتا ہے۔ "معلوم کریں کہ یہ test کیوں fail ہوتا ہے، وجہ درست کریں، اور callers کو update کریں" جیسے کام کے لیے مسلسل کئی درست tool calls درکار ہوتے ہیں، جبکہ پوری history context میں برقرار رہنی چاہیے۔ معمولی server پر 8B سے 14B range کا model malformed tool call پیدا کر سکتا ہے یا چند turns کے بعد plan بھول سکتا ہے۔ نتیجتاً آپ task مکمل کرنے سے زیادہ وقت اسے steer کرنے میں صرف کرتے ہیں۔ یہ prompt کا مسئلہ نہیں جسے بہتر تحریر سے حل کیا جا سکے۔ یہ capacity کا مسئلہ ہے۔
یہ اس وقت بھی کمزور رہتا ہے جب غلطی مہنگی ہو اور آپ ہر line نہیں پڑھیں گے۔ مقامی model کو محدود دائرے والے ایسے کام دیں جن کے output کی آپ تصدیق کر سکیں، اور وہ کام hosted model کے سپرد رکھیں جنہیں آپ step by step check نہیں کریں گے۔
خرابی کی صورتیں اور آپ کو نظر آنے والے strings
curl: (7) Failed to connect to localhost port 11434 after 0 ms: Connection refused۔ سرور چل نہیں رہا، یا agent کسی مختلف host کی طرف متوجہ ہے۔ systemctl status ollama چلائیں، پھر journalctl -e -u ollama چلائیں۔
agent بتاتا ہے کہ model موجود نہیں ہے۔ آپ کی config میں دیا گیا نام اس نام سے مطابقت نہیں رکھتا جسے server فراہم کرتا ہے۔ اسے curl http://localhost:11434/v1/models کے مقابل چیک کریں اور وہیں سے string نقل کریں۔ tag نام کا حصہ ہے، اس لیے اگر config میں ایسا tag درج ہو جسے آپ نے کبھی pull نہیں کیا تو درخواست ناکام ہو جائے گی، چاہے ملتا جلتا model انسٹال ہو۔
agent نثری جواب دیتا ہے اور کسی file میں ترمیم نہیں کرتا۔ یا تو model کو tool support حاصل نہیں، یا request اور اس کی tool definitions پہلے ہی context window بھر دیتی ہیں۔ model page پر tools label چیک کریں، پھر ollama ps میں CONTEXT column چیک کریں۔
پہلے token سے پہلے طویل خاموشی، پھر معمول کی رفتار۔ keep-alive کی مدت ختم ہو گئی ہے اور weights دوبارہ disk سے پڑھے جا رہے ہیں۔ OLLAMA_KEEP_ALIVE set کریں۔
model اس file سے متصادم جواب دیتا ہے جسے اس نے ابھی پڑھا ہے۔ یہ context truncation ہے۔ ollama ps عموماً CONTEXT کی ایسی value دکھاتا ہے جو آپ کی مقرر کردہ value سے کم ہوتی ہے، کیونکہ environment variable آپ کے shell کو ملا، systemd unit کو نہیں۔
سب کچھ کام کرتا ہے، مگر سست رفتاری سے، اور PROCESSOR میں 100% CPU یا CPU/GPU split دکھائی دیتا ہے۔ عموماً model اور اس کا context VRAM میں نہیں سما پاتے۔ اگر GPU والی machine پر PROCESSOR میں 100% CPU درج ہو تو پہلے دوسری وجہ کو خارج کریں: ممکن ہے Ollama کو GPU ملا ہی نہ ہو۔ Ollama کی documentation کے مطابق Linux پر suspend/resume cycle کے بعد کبھی کبھی NVIDIA GPU دریافت نہیں ہوتا اور system CPU پر واپس چلا جاتا ہے؛ sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm کے ذریعے driver دوبارہ load کرنے سے یہ مسئلہ عارضی طور پر حل ہو جاتا ہے۔ اگر GPU مل جائے اور split برقرار رہے تو context length کم کریں، یا چھوٹا model یا کم quantisation استعمال کریں۔ دوبارہ pull کرنے سے پہلے q4_K_M، q8_0 اور fp16 کی memory لاگت اور quality میں حقیقی کمی کا مقام یہ بتاتا ہے کہ ایک درجہ کم کرنے سے کتنی گنجائش ملتی ہے اور اس کے بدلے کیا کھونا پڑتا ہے۔ Unknown بھی ممکنہ PROCESSOR value ہے؛ اس سے CPU offloading ثابت نہیں ہوتا۔
FAQ
کیا میں Claude Code کو Ollama کی طرف بھیج سکتا ہوں؟
ہاں، لیکن OpenAI-compatible URL کے ساتھ نہیں۔ Claude Code، Anthropic Messages API استعمال کرتا ہے، اور Ollama اسی port 11434 پر یہ format /v1/messages پر فراہم کرتا ہے۔ ANTHROPIC_BASE_URL=http://localhost:11434 اور ANTHROPIC_AUTH_TOKEN=ollama export کریں، ANTHROPIC_API_KEY کو خالی رکھیں، پھر اسے claude --model qwen3-coder:30b کے ساتھ شروع کریں۔ ollama launch claude آپ کے لیے یہی settings لکھ دیتا ہے۔ Compatibility layer، tool_choice یا prompt caching نافذ نہیں کرتی، اور اس میں token counting endpoint بھی نہیں ہے؛ اس لیے دکھائے گئے token counts صرف تخمینی ہوتے ہیں۔
میرا local model ایسے code کے بارے میں جواب کیوں دیتا ہے جسے وہ دیکھ نہیں سکتا؟
کیونکہ request اب context window میں فٹ نہیں آتی، اور اس کا قدیم ترین حصہ بغیر کسی error کے حذف ہو جاتا ہے۔ Ollama ہر GPU کے لیے configured overhead منہا کرنے کے بعد detected VRAM کے مجموعی حجم سے اپنا default context مقرر کرتا ہے: 23 GiB سے کم پر default 4,096 tokens ہے، 23 سے 47 GiB سے کم تک یہ 32,768 tokens ہے، اور 47 GiB یا اس سے زیادہ پر یہ 262,144 tokens ہے۔ systemd unit میں OLLAMA_CONTEXT_LENGTH=64000 مقرر کریں، Ollama کو restart کریں، اور ollama ps میں CONTEXT column کی تصدیق کریں کہ اس میں نئی value دکھائی دے رہی ہے۔
VPS پر coding agent کے لیے مجھے کون سا model چلانا چاہیے؟
ایسا سب سے بڑا model منتخب کریں جس پر tools label ہو اور جو 64k context window کے ساتھ memory میں فٹ آ جائے۔ ترجیح ایسے model کو دیں جسے code کے لیے tune کیا گیا ہو۔ کافی VRAM والے GPU server پر qwen3-coder:30b عام انتخاب ہے۔ اگر یہ tag آپ کے server کے لیے بہت بڑا ہو تو download شروع کرنے سے پہلے Nemotron 3.5 Lightning کے RAM اعداد و شمار اور CPU-only رفتار مفید تقابل فراہم کرتے ہیں۔ تقریباً 14B parameters سے کم والا model بھی code سے متعلق سوالات کے اچھے جواب دے سکتا ہے، لیکن multi-step edits میں ناکام ہو سکتا ہے، کیونکہ agent کا کام tool calls میں formatting کی معمولی غلطیوں کو بھی برداشت نہیں کرتا۔ Sample prompt کے بجائے اپنی repository کا ایک حقیقی task استعمال کرکے test کریں۔
کیا اپنے model پر coding agent چلانے کے لیے GPU ضروری ہے؟
عملی طور پر ہاں۔ CPU-only inference کام کرتی ہے اور واحد سوالات کے لیے کافی ہے، لیکن ایک agent ہر task کے دوران بہت سی requests بھیجتا ہے اور ہر request میں طویل history دوبارہ پڑھتا ہے۔ اس لیے کم token rate دو منٹ کے task کو ایک گھنٹے میں بدل سکتی ہے۔ ollama ps میں PROCESSOR column دیکھیں: 100% CPU یا CPU/GPU split، CPU کے استعمال کی نشاندہی کرتا ہے، جس سے inference سست ہو جاتی ہے۔ Unknown CPU offloading ثابت نہیں کرتا۔