Coding agent के साथ Ollama का उपयोग कैसे करें

आप किससे connect कर रहे हैं

आप अपने coding agent के साथ Ollama का उपयोग कर सकते हैं। इसके लिए अपेक्षा से कम configuration चाहिए। आप केवल एक base URL बदलते हैं और एक model name चुनते हैं। API key field में अभी भी कोई value देनी होती है, लेकिन local server उसे अनदेखा करता है। इसलिए कोई भी string काम करती है।

Ollama port 11434 पर listen करता है और एक ही समय में तीन API surfaces उपलब्ध कराता है। /api Ollama का native API है। /v1 OpenAI-compatible layer है। इसमें कई formats शामिल हैं: /v1/chat/completions, /v1/responses, /v1/completions, /v1/models और /v1/embeddings। Ollama के documentation में वहाँ key को required लेकिन ignored बताया गया है। तीसरी surface Anthropic-compatible है। Client http://localhost:11434 को अपना base URL मानता है और उसके अंत में /v1/messages जोड़ता है। Claude Code इसी endpoint पर बात करता है। अधिकांश agents /v1/chat/completions का उपयोग करते हैं। Codex /v1/responses का उपयोग करता है। Claude Code /v1/messages का उपयोग करता है। आपका agent इनमें से किसी एक protocol को पहले से support करता है। इसलिए उसके बाकी configuration में कोई बदलाव नहीं करना पड़ता।

यह हिस्सा पाँच मिनट में पूरा हो जाता है। परिणाम उपयोगी होगा या नहीं, यह मुख्य रूप से दो ऐसी settings पर निर्भर करता है जिन्हें लगभग कोई नहीं बदलता: context length और keep-alive। यह इस बात पर भी निर्भर करता है कि model को उसके लिए उपयुक्त काम दिया जाए। दोनों settings के लिए अलग section है। ईमानदार सीमाएँ अंत में दी गई हैं।

कौन से कोडिंग एजेंट्स लोकल बेस URL स्वीकार करते हैं

परीक्षण का एक ही प्रश्न है: क्या टूल बेस URL सेटिंग को एक्सपोज़ करता है? यदि करता है, तो यह आपके सर्वर से बात कर सकता है।

Ollama, Claude Code, OpenCode, Codex, Cline, Roo Code, Zed, JetBrains IDEs और VS Code के लिए इंटीग्रेशन पेज प्रकाशित करता है। Aider अपने स्वयं के Ollama सपोर्ट को अलग से डॉक्यूमेंट करता है। अक्टूबर 2026 में कोडिंग एजेंट से लोग जो समझते हैं, उसमें से अधिकांश इसी में शामिल है। वे सभी एक ही फॉर्मेट का उपयोग नहीं करते हैं, और यही अंतर सेटअप के विफल होने का कारण बनता है।

• अधिकांश एजेंट्स को OpenAI-संगत एंडपॉइंट चाहिए। उन्हें बेस URL http://localhost:11434/v1 और कोई भी नॉन-एम्प्टी API की स्ट्रिंग दें।
• Claude Code बिल्कुल भी OpenAI बेस URL स्वीकार नहीं करता है। यह Anthropic Messages API का उपयोग करता है, इसलिए इसे ANTHROPIC_BASE_URL को http://localhost:11434 पर सेट करने की आवश्यकता है, जहाँ Ollama /v1/messages सर्व करता है।
• Codex, OpenAI Responses API का उपयोग करता है। Ollama /v1/responses भी सर्व करता है, जिसे वर्जन 0.13.3 में जोड़ा गया था।
• जिस एजेंट में बेस URL सेटिंग नहीं होती, उसे रीडायरेक्ट नहीं किया जा सकता, क्योंकि एंडपॉइंट क्लाइंट में ही इन-बिल्ट होता है। यदि एजेंट कस्टम URL स्वीकार करता है लेकिन उसे अलग API फॉर्मेट चाहिए, तो इसके सामने एक ट्रांसलेशन लेयर रखें, जैसे कि एक सेल्फ-होस्टेड LiteLLM गेटवे, और अपने मॉडल को उस फॉर्मेट में फिर से एक्सपोज़ करें जिसकी क्लाइंट को आवश्यकता है।

Ollama आपके लिए ये कॉन्फ़िगरेशन लिख सकता है। ollama launch opencode आपके द्वारा चुने गए मॉडल के लिए इनलाइन कॉन्फ़िगरेशन के साथ OpenCode शुरू करता है, ollama launch claude Claude Code के लिए भी यही करता है, और ollama launch droid --config टूल को लॉन्च किए बिना कॉन्फ़िगरेशन लिखता है।

Ollama install करें और ऐसा model pull करें जो tools call कर सके

curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama --no-pager
ollama pull qwen3-coder:30b
ollama ls

Installer एक systemd unit जोड़कर उसे start करता है, इसलिए systemctl status ollama का output active (running) होना चाहिए। यदि ऐसा नहीं होता, तो journalctl -e -u ollama कारण दिखाता है।

Model में tool calling का support होना आवश्यक है, क्योंकि agent इसी तरह काम करता है। यह file पढ़ता है, patch लिखता है, test चलाता है, फिर failure पढ़कर दोबारा प्रयास करता है। जो model tool call emit नहीं कर सकता, वह edit करने के बजाय उसका विवरण prose में देगा और agent loop में फँस सकता है या रुक सकता है। Pull करने से पहले ollama.com पर model के page में tools label देखें। qwen3-coder:30b में यह label है और October 2026 तक यह tag 19 GB का download है, जिसमें 256K context window है। यदि आपके box में केवल CPU है या RAM कम है, तो download शुरू करने से पहले VPS पर Qwen 27B tag के लिए memory arithmetic देखें, ताकि पता चल सके कि 8 से 64 GB में वास्तव में क्या fit होगा। Model pull करने के बाद ये gigabytes server की root disk पर संग्रहित होते हैं। VPS में आम तौर पर इसी हिस्से में उपलब्ध जगह सबसे कम होती है। इसलिए disk भरने से पहले Ollama अपनी model files कहाँ रखता है और उन्हें दूसरी जगह कैसे ले जाएँ पढ़ना उपयोगी है।

अब पुष्टि करें कि server वास्तव में किन names को serve करता है:

curl http://localhost:11434/v1/models

उस response में मौजूद strings आपके agent config में अक्षरशः होनी चाहिए। पहले जाँच करने से model-not-found से जुड़ी अधिकांश errors का कारण स्पष्ट हो जाता है। यदि Ollama अभी install नहीं है, तो विस्तृत walkthrough VPS पर Ollama के साथ LLM को self-host करना में है।

OpenCode को Ollama पर पॉइंट करें

~/.config/opencode/opencode.json को एडिट करें:

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "ollama": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Ollama",
      "options": {
        "baseURL": "http://localhost:11434/v1"
      },
      "models": {
        "qwen3-coder:30b": {
          "name": "qwen3-coder 30b"
        }
      }
    }
  }
}

models के अंतर्गत मौजूद key वह model name है जिसे Ollama को भेजा जाता है, इसलिए इसे ollama ls से बिल्कुल मेल खाना चाहिए। name field केवल model picker में दिखने वाला label है। opencode को start करें, Ollama provider पर स्विच करें, और यह पुष्टि करने के लिए कि request आपके सर्वर पर ही आई है, journalctl -e -u ollama को monitor करें। Agent को सेटअप करने की प्रक्रिया OpenCode को VPS पर चलाना में बताई गई है।

Claude Code को Ollama पर पॉइंट करें

export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model qwen3-coder:30b

ANTHROPIC_API_KEY को जानबूझकर खाली स्ट्रिंग पर सेट किया गया है। Base URL यह नियंत्रित करता है कि अनुरोध कहाँ भेजे जाएंगे; इस की (key) को खाली रखने से hosted credentials इस लोकल सेटअप से बाहर रहते हैं। ollama launch claude आपके लिए यह सब सेट कर देता है।

यह जानें कि compatibility layer क्या सुविधाएँ नहीं देता है। यह tool_choice या prompt caching को लागू नहीं करता है, और इसमें कोई token counting endpoint नहीं है, इसलिए जो token संख्या आप देखते हैं, वे मॉडल के अपने tokenizer से प्राप्त अनुमान हैं। Claude Code एक बड़ा system prompt और टूल सेट भी साथ लाता है (ships), इसलिए इसे एक चैट क्लाइंट की तुलना में अधिक context की आवश्यकता होती है। क्या-क्या चीजें काम करती हैं और क्या नहीं, इस व्यापक प्रश्न को क्या आप Claude को self-host कर सकते हैं में कवर किया गया है।

Aider को Ollama पर कॉन्फ़िगर करना

export OLLAMA_API_BASE=http://127.0.0.1:11434
aider --model ollama_chat/qwen3-coder:30b

Aider का डॉक्यूमेंटेशन ollama_chat/ प्रीफ़िक्स को ollama/ के ऊपर प्राथमिकता देने की सलाह देता है। डिफ़ॉल्ट रूप से, Aider प्रत्येक अनुरोध के लिए पर्याप्त संदर्भ (context) के साथ-साथ उत्तर के लिए 8k टोकन का अनुरोध करता है। यह आपको .aider.model.settings.yml में प्रति मॉडल कॉन्टेक्स्ट विंडो को पिन करने की सुविधा भी देता है, जो तब उपयोगी होता है जब किसी मॉडल को सर्वर के डिफ़ॉल्ट से अलग विंडो की आवश्यकता होती है:

- name: ollama_chat/qwen3-coder:30b
  extra_params:
    num_ctx: 65536

काम कर रहा सेटअप भी गलत परिणाम क्यों देता है

यह अनुभाग सबसे महत्वपूर्ण है। Ollama उपलब्ध VRAM (GPU पर मौजूद वीडियो मेमोरी) के आधार पर एक डिफ़ॉल्ट कॉन्टेक्स्ट लेंथ चुनता है, जिसमें से प्रत्येक डिटेक्ट किए गए GPU के लिए OLLAMA_GPU_OVERHEAD घटा दिया जाता है। इसका कार्यान्वयन इन थ्रेशोल्ड्स का उपयोग करता है:

[
  {
    "label": "Under 23 GiB aggregate VRAM",
    "default_context_tokens": "4,096"
  },
  {
    "label": "23 to under 47 GiB aggregate VRAM",
    "default_context_tokens": "32,768"
  },
  {
    "label": "47 GiB aggregate VRAM or more",
    "default_context_tokens": "262,144"
  }
]

अधिकांश VPS प्लान और सभी CPU-ओनली सर्वर पहली पंक्ति में आते हैं: 4,096 टोकन। कई छोटे GPU मिलकर 47 GiB की थ्रेशोल्ड तक पहुँच सकते हैं, जिससे अंतिम पंक्ति के 262,144 टोकन प्राप्त होते हैं।

एक एजेंट कोई भी काम शुरू करने से पहले 4096 टोकन का उपयोग कर लेता है। सिस्टम प्रॉम्प्ट, टूल डेफिनिशन, रिपॉजिटरी लिस्टिंग और पहली फाइल जिसे वह खोलता है, वे पहले से ही इससे बड़े होते हैं। इसके बाद जो होता है वही मुख्य समस्या है: कोई एरर नहीं आता। Aider का डॉक्यूमेंटेशन बताता है कि Ollama चुपचाप उस कॉन्टेक्स्ट को हटा देता है जो विंडो से बाहर हो जाता है। सबसे पुराने टोकन हट जाते हैं, इसलिए मॉडल उस फाइल के बारे में आत्मविश्वास से जवाब देता है जिसे वह अब देख नहीं सकता, या वह उस निर्देश को भूल जाता है जो आपने दो स्टेप पहले दिया था। यही वह मैकेनिज्म है जिसके कारण अधिकांश रिपोर्ट में कहा जाता है कि लोकल मॉडल कोड लिखने के लिए बहुत कमजोर है। संख्या का चुनाव करना अपने आप में एक निर्णय है, और प्रत्येक साइज पर KV कैश मेमोरी में num_ctx की लागत को पढ़ने के बाद ही कोई निर्णय लेना उचित है।

Ollama का डॉक्यूमेंटेशन कहता है कि एजेंट और कोडिंग टूल्स जैसे कार्यों के लिए इसे कम से कम 64000 टोकन पर सेट किया जाना चाहिए। इसे सर्वर पर सेट करें:

sudo systemctl edit ollama.service

ओवरराइड फाइल में ये लाइनें जोड़ें:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"

फिर रिलोड और रीस्टार्ट करें:

sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama ps

रीस्टार्ट के बाद अपने एजेंट से एक रिक्वेस्ट भेजें, फिर ollama ps चलाएं ताकि जांचने के लिए एक लोडेड मॉडल मौजूद हो। ollama ps इसकी जांच है। यह एक CONTEXT कॉलम प्रिंट करता है, और वह संख्या वही है जो मॉडल को वास्तव में प्राप्त हुई है। आपके ID और SIZE अलग होंगे:

NAME               ID              SIZE     PROCESSOR    CONTEXT    UNTIL
qwen3-coder:30b    a1b2c3d4e5f6    24 GB    100% GPU     64000      4 minutes from now

इसे एजेंट के बजाय सर्वर पर सेट करें, इसके दो कारण हैं। OpenAI चैट कंप्लीशन स्कीमा में कॉन्टेक्स्ट लेंथ के लिए कोई फील्ड नहीं है, इसलिए OpenAI-संगत क्लाइंट इसकी मांग नहीं कर सकता। और यह सेटिंग प्रति सर्वर होती है, इसलिए उस बॉक्स की ओर पॉइंट करने वाला प्रत्येक एजेंट इसे इनहेरिट कर लेता है। आउटपुट साइड की अपनी एक सीमा होती है, और कॉन्टेक्स्ट लेंथ के विपरीत यह कम्पैटिबिलिटी एंडपॉइंट पर काम करती है, इसलिए जब कोई रिप्लाई पैच के बीच में रुक जाए तो num_predict और max_tokens फील्ड जो इसे मैप करता है का उपयोग करें। यदि किसी मॉडल को अलग विंडो की आवश्यकता है, तो उसे Modelfile के साथ एक कॉपी में तैयार करें:

FROM qwen3-coder:30b
PARAMETER num_ctx 65536

ollama create qwen3-coder-64k -f Modelfile

कॉन्टेक्स्ट मुफ्त नहीं है। एक लंबी विंडो अधिक मेमोरी लेती है, इसलिए PROCESSOR कॉलम पर नजर रखें। 100% GPU वह है जो आप चाहते हैं। एक बार जब मॉडल का हिस्सा CPU पर चला जाता है, तो टोकन रेट इतना गिर जाता है कि एजेंट लूप अनुपयोगी हो जाता है, और लोकल LLM पर टोकन प्रति सेकंड मापना ही वह तरीका है जिससे आप अपने बॉक्स की वास्तविक सीमा का पता लगा सकते हैं। मशीन खरीदने से पहले उसका साइज तय करना कोडिंग एजेंट VPS को कितनी RAM और CPU की आवश्यकता होती है में कवर किया गया है।

मॉडल को requests के बीच लोड रखें

डिफ़ॉल्ट रूप से, Ollama अपनी अंतिम request के 5 मिनट बाद मॉडल को अनलोड कर देता है। यह चैट बॉक्स के लिए तो ठीक है, लेकिन एजेंट के काम के लिए गलत है। आप diff पढ़ने के लिए रुकते हैं, टाइमर समाप्त हो जाता है, और अगली request पहला टोकन दिखाई देने से पहले डिस्क से दसियों गीगाबाइट weights को फिर से लोड करती है। यह एक हैंग की तरह महसूस होता है।

OLLAMA_KEEP_ALIVE एक duration स्ट्रिंग लेता है जैसे कि 10m या 24h, सेकंड की एक साधारण संख्या, मॉडल को अनिश्चित काल तक लोड रखने के लिए -1, या तुरंत अनलोड करने के लिए 0। इसे context length के साथ सेट करें:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"
Environment="OLLAMA_KEEP_ALIVE=-1"

keep_alive request फ़ील्ड Ollama के नेटिव /api/generate और /api/chat एंडपॉइंट्स पर मौजूद है और /v1/chat/completions पर एक Ollama एक्सटेंशन के रूप में उपलब्ध है। एक एजेंट जो अतिरिक्त request फ़ील्ड्स को एक्सपोज़ करता है, वह इसे वहाँ भेज सकता है; अन्यथा environment variable का उपयोग करें। जब आपको मेमोरी वापस चाहिए हो, तो ollama stop qwen3-coder:30b सर्वर को रोके बिना मॉडल को अनलोड कर देता है। यदि आप चाहते हैं कि यह सेटिंग रीबूट के बाद भी बनी रहे, या आप पूरे दिन मेमोरी में weights रखने और उस मेमोरी को वापस पाने के बीच संतुलन बनाना चाहते हैं, तो Ollama मॉडल को मेमोरी में लोड रखना दोनों तरह से काम करता है।

Ollama को एक अलग सर्वर पर चलाना

Ollama डिफ़ॉल्ट रूप से localhost पर bind होता है। इसे किसी दूसरी मशीन से एक्सेस करने के लिए, उसी systemd override में OLLAMA_HOST=0.0.0.0:11434 सेट करें और सर्विस को रीस्टार्ट करें।

ऐसा केवल प्राइवेट नेटवर्क पर ही करें। Ollama का डॉक्यूमेंटेशन स्पष्ट करता है कि लोकल API के लिए किसी ऑथेंटिकेशन की आवश्यकता नहीं होती है, इसलिए इंटरनेट के लिए पोर्ट 11434 खुला रखने का मतलब है कि कोई भी आपके हार्डवेयर का उपयोग कर सकता है। इसके लिए दो सुरक्षित विकल्प हैं। बाइंडिंग को localhost पर ही रहने दें और अपने लैपटॉप से SSH के माध्यम से पोर्ट को फॉरवर्ड करें:

ssh -N -L 11434:localhost:11434 you@your-vps

आपका एजेंट लगातार http://localhost:11434/v1 की ओर पॉइंट करता रहता है और उसे इस बदलाव का पता भी नहीं चलता। दूसरा विकल्प VPN का उपयोग करना है, जिसमें Ollama को 0.0.0.0 के बजाय VPN एड्रेस पर बाइंड किया जाता है। यदि कई लोग या कई एजेंट एक ही बॉक्स का उपयोग करेंगे, तो Ollama मेमोरी उपलब्ध होने पर पैरेलल रिक्वेस्ट को सपोर्ट करता है, और Ollama और vLLM के बीच तुलना यह दर्शाती है कि थ्रूपुट में अंतर कहाँ से समस्या पैदा करने लगता है।

स्थानीय कोडिंग मॉडल कहाँ बेहतर है और कहाँ नहीं

आपके द्वारा होस्ट किया गया मॉडल, हर कार्य के लिए frontier API का विकल्प नहीं है। यह चार प्रकार के कार्यों में स्पष्ट रूप से बेहतर है।

• थोक में किए जाने वाले यांत्रिक बदलाव, जहाँ हर बदलाव छोटा हो और आप उसे जाँच सकें। रिपॉजिटरी में नाम बदलना, टाइप हिंट्स जोड़ना, डॉकस्ट्रिंग्स लिखना, टिप्पणियों का अनुवाद करना। मॉडल घंटों तक चलता है और बिल में कोई वृद्धि नहीं होती।
• ऐसा काम जिसे आपके हार्डवेयर से बाहर नहीं जाना चाहिए। गोपनीयता समझौते के अंतर्गत क्लाइंट कोड, या कोई आंतरिक रिपॉजिटरी जिसे आप किसी तीसरे पक्ष को भेजने के लिए अधिकृत नहीं हैं।
• ऑफलाइन और एयर-गैप्ड मशीनें, जहाँ कॉल करने के लिए कोई होस्टेड API उपलब्ध ही नहीं है।
• अनुमानित लागत। एक बार सर्वर का भुगतान हो जाने के बाद, लूप में टोकन खर्च करने वाले एजेंट की कोई अतिरिक्त लागत नहीं होती, जो कि metered API के बिल्कुल विपरीत है। GPU VPS की लागत API टोकन के मुकाबले कब बराबर होती है में इसका गणित दिया गया है।

यह लंबे और बहु-चरणीय कार्यों में विफल रहता है। "पता लगाएँ कि यह टेस्ट क्यों विफल हो रहा है, कारण ठीक करें, कॉलर्स को अपडेट करें" जैसे कार्यों में लगातार कई सही टूल कॉल्स की आवश्यकता होती है, जिसमें पूरा इतिहास संदर्भ (context) में बना रहना चाहिए। एक साधारण सर्वर पर 8B से 14B रेंज का मॉडल अक्सर गलत टूल कॉल उत्पन्न करेगा, या कुछ चरणों के बाद योजना भूल जाएगा, और आप कार्य पूरा करने की तुलना में उसे निर्देशित करने में अधिक समय व्यतीत करेंगे। यह प्रॉम्प्ट की समस्या नहीं है जिसे आप लिखकर ठीक कर सकें। यह क्षमता (capacity) की समस्या है।

यह तब भी विफल रहता है जब गलत होना महंगा हो और आप हर पंक्ति को न पढ़ें। स्थानीय मॉडल को सीमित कार्य दें जिनके आउटपुट को आप सत्यापित कर सकें, और जिस काम को आप चरण-दर-चरण नहीं जाँचेंगे, उसके लिए होस्टेड मॉडल का ही उपयोग करें।

विफलता की स्थितियाँ और दिखाई देने वाली strings

curl: (7) Failed to connect to localhost port 11434 after 0 ms: Connection refused। Server चल नहीं रहा है, या agent किसी दूसरे host पर निर्देशित है। systemctl status ollama चलाएँ, फिर journalctl -e -u ollama चलाएँ।

Agent बताता है कि model मौजूद नहीं है। आपके config में दिया गया नाम उस नाम से मेल नहीं खाता जिसे server उपलब्ध कराता है। इसे curl http://localhost:11434/v1/models से मिलाएँ और वहीं से string copy करें। Tag नाम का हिस्सा है, इसलिए ऐसे tag का नाम देने वाला config विफल होगा जिसे आपने कभी pull नहीं किया, भले ही मिलता-जुलता model installed हो।

Agent prose में उत्तर देता है और कभी file edit नहीं करता। या तो model में tool support नहीं है, या request और उसकी tool definitions मिलकर context window पहले ही भर देते हैं। Model page पर tools label जाँचें, फिर ollama ps में CONTEXT column जाँचें।

पहले token से पहले लंबी चुप्पी, फिर सामान्य speed। Keep-alive की अवधि समाप्त हो गई और weights फिर से disk से पढ़े जा रहे हैं। OLLAMA_KEEP_ALIVE सेट करें।

Model उस file से मिली जानकारी का खंडन करता है जिसे उसने अभी पढ़ा है। यह context truncation है। ollama ps में आम तौर पर CONTEXT value आपकी अपेक्षा से छोटी दिखाई देती है, क्योंकि environment variable systemd unit के बजाय आपके shell में चला गया।

सब कुछ धीमा चल रहा है और PROCESSOR, 100% GPU नहीं है। आम तौर पर model और उसका context VRAM में fit नहीं होते। यदि GPU वाली machine पर PROCESSOR, 100% CPU पढ़ता है, तो पहले दूसरा कारण जाँचें: हो सकता है Ollama को GPU मिला ही न हो। Ollama के documentation के अनुसार, Linux पर suspend/resume cycle के बाद कभी-कभी NVIDIA GPU discover नहीं होता और CPU पर fallback हो जाता है; sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm से driver reload करने पर यह समस्या दूर हो सकती है। यदि GPU मिल गया है और split बना रहता है, तो context length घटाएँ या छोटा model अथवा छोटी quantisation चुनें। दोबारा pull करने से पहले, q4_K_M, q8_0 और fp16 में memory की लागत तथा quality वास्तव में कहाँ घटती है बताता है कि एक step नीचे जाने पर कितनी जगह मिलती है और उसके बदले क्या छोड़ना पड़ता है।

FAQ

क्या मैं Claude Code को Ollama की ओर पॉइंट कर सकता हूँ?

हाँ, लेकिन OpenAI-compatible URL के साथ नहीं। Claude Code, Anthropic Messages API का उपयोग करता है और Ollama उसी port 11434 पर /v1/messages के माध्यम से यह सुविधा प्रदान करता है। ANTHROPIC_BASE_URL=http://localhost:11434, ANTHROPIC_AUTH_TOKEN=ollama और एक खाली ANTHROPIC_API_KEY को export करें, फिर इसे claude --model qwen3-coder:30b के साथ start करें। ollama launch claude आपके लिए यही सेटिंग्स लिख देता है। यह compatibility layer tool_choice या prompt caching को लागू नहीं करता है, और इसमें कोई token counting endpoint नहीं है, इसलिए दिखाए गए token counts केवल अनुमानित हैं।

मेरा local model उस कोड के बारे में उत्तर क्यों देता है जिसे वह देख नहीं सकता?

क्योंकि request अब context window में फिट नहीं होती है, और इसका सबसे पुराना हिस्सा बिना किसी error के हटा दिया गया है। Ollama प्रति GPU कॉन्फ़िगर किए गए overhead को घटाने के बाद कुल detected VRAM से अपना default context सेट करता है: 23 GiB से नीचे default 4,096 tokens है, 23 से 47 GiB से कम के लिए यह 32,768 tokens है, और 47 GiB या उससे अधिक के लिए यह 262,144 tokens है। systemd unit में OLLAMA_CONTEXT_LENGTH=64000 सेट करें, Ollama को restart करें, और पुष्टि करें कि ollama ps में CONTEXT कॉलम नया मान दिखा रहा है।

मुझे VPS पर coding agent के लिए कौन सा model चलाना चाहिए?

tools label वाला सबसे बड़ा model चुनें जो 64k context window के साथ memory में फिट हो जाए, और code के लिए ट्यून किए गए model को प्राथमिकता दें। पर्याप्त VRAM वाले GPU सर्वर पर qwen3-coder:30b एक सामान्य उत्तर है। यदि वह tag आपके सर्वर के लिए बहुत बड़ा है, तो Nemotron 3.5 Lightning के लिए RAM के आंकड़े और केवल CPU वाली गति डाउनलोड करने से पहले एक उपयोगी तुलना प्रदान करते हैं। लगभग 14B parameters से नीचे, एक model कोड के बारे में सवालों के जवाब तो अच्छी तरह दे सकता है, लेकिन multi-step edits में विफल हो सकता है, क्योंकि agent का काम tool calls में छोटी formatting गलतियों के लिए दंडित करता है। किसी sample prompt के बजाय अपनी repository के एक वास्तविक कार्य के साथ परीक्षण करें।

क्या मुझे अपने model पर coding agent चलाने के लिए GPU की आवश्यकता है?

व्यावहारिक रूप से हाँ। केवल CPU पर inference काम करता है और एकल प्रश्नों के लिए ठीक है, लेकिन एक agent प्रति कार्य कई requests भेजता है और प्रत्येक request एक लंबे इतिहास को फिर से पढ़ती है, इसलिए धीमी token rate दो मिनट के कार्य को एक घंटे में बदल देती है। ollama ps में PROCESSOR कॉलम की जाँच करें: 100% GPU के अलावा कोई भी मान यह दर्शाता है कि model का कुछ हिस्सा CPU पर चल रहा है, और token rate तेजी से गिर जाती है।