Ollama coding agent सोबत कसे वापरावे
Ollama ला coding agent शी जोडण्यासाठी base URL, चालणारी dummy key, context length मुळे येणाऱ्या अडचणी आणि local model कोणत्या कामांत उपयुक्त ठरतो हे जाणून घ्या.
तुम्ही कशाशी जोडत आहात
तुम्ही तुमच्या coding agent सोबत Ollama वापरू शकता. ही जोडणी अपेक्षेपेक्षा सोपी आहे. तुम्ही एक base URL बदलता आणि एक model name निवडता. API key क्षेत्रात तरीही एखादी value आवश्यक असते; परंतु local server ती दुर्लक्षित करतो, त्यामुळे कोणतीही string चालते.
Ollama port 11434 वर listening करते आणि एकाच वेळी तीन API surfaces उपलब्ध करून देते. /api हे Ollama चे native API आहे. /v1 हा OpenAI-compatible layer आहे. त्यात पुढील अनेक स्वरूपांचा समावेश होतो: /v1/chat/completions, /v1/responses, /v1/completions, /v1/models आणि /v1/embeddings. Ollama च्या documentation नुसार तेथील key आवश्यक आहे, पण ती दुर्लक्षित केली जाते. तिसरा surface Anthropic-compatible आहे. client http://localhost:11434 ला base URL म्हणून वापरतो आणि त्याला /v1/messages जोडतो. Claude Code याच पद्धतीने संवाद साधते. बहुतेक agents /v1/chat/completions वापरतात, Codex /v1/responses वापरते आणि Claude Code /v1/messages वापरते. तुमचा agent यांपैकी एका स्वरूपाशी आधीच संवाद साधतो, त्यामुळे त्याच्या इतर कोणत्याही configuration मध्ये बदल करावा लागत नाही.
हा भाग पूर्ण करण्यासाठी पाच मिनिटे पुरेशी आहेत. मात्र परिणाम प्रत्यक्ष वापरासाठी योग्य आहे का हे जवळजवळ कोणीही बदलत नसलेल्या दोन settings वर आणि model ला त्याला योग्य असलेले काम देण्यावर अवलंबून असते. या दोन settings म्हणजे context length आणि keep-alive. दोन्हींसाठी स्वतंत्र section आहे. शेवटी या पद्धतीच्या वास्तविक मर्यादा दिल्या आहेत.
स्थानिक base URL स्वीकारणारे coding agents
चाचणीचा मुद्दा एकच आहे: या tool मध्ये base URL सेट करण्याची सुविधा आहे का? असल्यास, ते तुमच्या server शी संवाद साधू शकते.
Ollama मध्ये Claude Code, OpenCode, Codex, Cline, Roo Code, Zed, JetBrains IDEs आणि VS Code यांच्यासाठी integration pages उपलब्ध आहेत. Aider मध्ये त्याच्या Ollama support चे स्वतंत्र documentation आहे. October 2026 मध्ये coding agent या संज्ञेचा साधारणपणे जो अर्थ घेतला जातो, त्यातील बहुतेक tools यात समाविष्ट होतात. हे सर्व एकाच प्रकारच्या API शी संवाद साधत नाहीत. सेटअप अयशस्वी होण्याचे कारण हेच असते.
- बहुतेक agents ना OpenAI-compatible endpoint हवा असतो. त्यांना base URL
http://localhost:11434/v1आणि रिकामी नसलेली कोणतीही API key string द्या. - Claude Code कोणताही OpenAI base URL स्वीकारत नाही. ते Anthropic Messages API वापरते. त्यामुळे
ANTHROPIC_BASE_URLमध्येhttp://localhost:11434सेट करावे लागते. Ollama येथे/v1/messagesउपलब्ध करून देते. - Codex OpenAI Responses API वापरते. Ollama version 0.13.3 पासून
/v1/responsesदेखील उपलब्ध करून देते. - एखाद्या agent मध्ये base URL सेट करण्याची सुविधा नसेल, तर त्याला दुसऱ्या endpoint कडे redirect करता येत नाही. कारण endpoint client मध्येच निश्चित केलेला असतो. Agent custom URL स्वीकारत असेल, पण त्याला वेगळ्या API प्रकाराची आवश्यकता असेल, तर त्याच्या पुढे translation layer ठेवा. उदाहरणार्थ, self-hosted LiteLLM gateway वापरा आणि client ला आवश्यक असलेल्या API प्रकारात तुमचे model पुन्हा उपलब्ध करून द्या.
Ollama तुमच्यासाठी या configuration files लिहू शकते. ollama launch opencode तुम्ही निवडलेल्या model साठी inline configuration सह OpenCode सुरू करते, ollama launch claude Claude Code साठी तेच करते, आणि ollama launch droid --config tool सुरू न करता configuration file लिहिते.
Ollama स्थापित करा आणि tools कॉल करू शकणारे model pull करा
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama --no-pager
ollama pull qwen3-coder:30b
ollama lsInstaller एक systemd unit जोडतो आणि तो सुरू करतो. त्यामुळे systemctl status ollama चालवल्यावर active (running) दिसले पाहिजे. तसे दिसले नाही, तर journalctl -e -u ollama कारण दाखवते.
Agent कार्य करण्यासाठी model मध्ये tool calling चे समर्थन असणे आवश्यक आहे. Agent फाइल वाचतो, patch लिहितो, test चालवतो, त्यातील failure वाचतो आणि पुन्हा प्रयत्न करतो. Tool call निर्माण करू न शकणारे model edit करण्याऐवजी त्याचे वर्णन prose मध्ये करते. त्यामुळे agent पुन्हा पुन्हा प्रयत्न करत राहतो किंवा थांबतो. pull करण्यापूर्वी ollama.com वरील model पेजवर tools label शोधा. qwen3-coder:30b मध्ये हे label आहे. October 2026 पर्यंत हा tag 19 GB download असून त्याची context window 256K आहे. तुमचा box फक्त CPU वर चालत असेल किंवा RAM कमी असेल, तर download सुरू करण्यापूर्वी VPS वरील Qwen 27B tag साठीचे memory arithmetic वाचा. त्यातून 8 ते 64 GB मध्ये प्रत्यक्षात काय बसते ते समजते. Model pull केल्यानंतर ते gigabytes server च्या root disk वर साठतात. VPS मध्ये सर्वात कमी मोकळी जागा साधारणपणे याच disk वर असते. त्यामुळे disk भरू नये म्हणून Ollama model files कुठे ठेवतो आणि ती दुसरीकडे कशी हलवायची हे आधी वाचणे उपयुक्त आहे.
आता server प्रत्यक्षात कोणती names serve करतो ते तपासा:
curl http://localhost:11434/v1/modelsत्या response मधील strings तुमच्या agent config मध्ये अक्षरशः तशाच असल्या पाहिजेत. आधी ही तपासणी केल्यास model-not-found errors पैकी बहुतेक errors दूर होतात. Ollama अद्याप install केलेले नसेल, तर VPS वर Ollama वापरून LLM self-host करण्यासाठीचे विस्तृत मार्गदर्शन वाचा.
Ollama कडे OpenCode निर्देशित करा
~/.config/opencode/opencode.json संपादित करा:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"ollama": {
"npm": "@ai-sdk/openai-compatible",
"name": "Ollama",
"options": {
"baseURL": "http://localhost:11434/v1"
},
"models": {
"qwen3-coder:30b": {
"name": "qwen3-coder 30b"
}
}
}
}
}models अंतर्गत असलेली key ही Ollama कडे पाठवले जाणारे model name आहे. त्यामुळे ती ollama ls शी तंतोतंत जुळली पाहिजे. name field हे केवळ model picker मध्ये दिसणारे label आहे. opencode सुरू करा, Ollama provider वर switch करा आणि विनंती तुमच्या server वर आली आहे, इतरत्र कुठे पाठवली गेली नाही, याची खात्री करण्यासाठी journalctl -e -u ollama monitor करा. Agent ची स्वतःची setup प्रक्रिया VPS वर OpenCode चालवणे येथे दिली आहे.
Ollama कडे Claude Code निर्देशित करा
export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model qwen3-coder:30bANTHROPIC_API_KEY जाणूनबुजून रिकाम्या string वर सेट केले आहे. Base URL मुळे विनंत्या कुठे पाठवायच्या हे ठरते; ही key रिकामी केल्यामुळे या local setup मध्ये hosted credentials वापरली जात नाहीत. ollama launch claude हे सर्व तुमच्यासाठी सेट करते.
Compatibility layer मधून काय उपलब्ध होत नाही हे समजून घ्या. ती tool_choice किंवा prompt caching लागू करत नाही. तिच्याकडे token counting endpoint देखील नाही. त्यामुळे तुम्हाला दिसणारी token संख्या ही model च्या स्वतःच्या tokenizer वर आधारित अंदाजे संख्या असते. Claude Code सोबत मोठा system prompt आणि मोठा tool set देखील येतो. त्यामुळे chat client पेक्षा त्याला अधिक context आवश्यक असतो. कोणत्या गोष्टी लागू राहतात आणि कोणत्या राहत नाहीत, याचा विस्तृत आढावा Claude स्वतः host करता येतो का येथे दिला आहे.
Ollama कडे Aider निर्देशित करा
export OLLAMA_API_BASE=http://127.0.0.1:11434
aider --model ollama_chat/qwen3-coder:30bAider च्या दस्तऐवजात ollama/ पेक्षा ollama_chat/ prefix वापरण्याची शिफारस केली आहे. डीफॉल्टनुसार, Aider प्रत्येक विनंतीसाठी आवश्यक तेवढा context आणि उत्तरासाठी 8k tokens मागतो. .aider.model.settings.yml मध्ये प्रत्येक model साठी context window निश्चित करण्याची सुविधाही आहे. एखाद्या model साठी server च्या default पेक्षा वेगळी window आवश्यक असल्यास हे उपयुक्त ठरते:
- name: ollama_chat/qwen3-coder:30b
extra_params:
num_ctx: 65536कार्यरत सेटअपमधूनही चुकीचे परिणाम का मिळतात
हा सर्वात महत्त्वाचा विभाग आहे. Ollama ला दिसणाऱ्या एकूण VRAM वरून (GPU मधील video memory) तो default context length निवडतो आणि आढळलेल्या प्रत्येक GPU साठी OLLAMA_GPU_OVERHEAD वजा करतो. अंमलबजावणीत ही thresholds वापरली जातात:
या तक्त्यामागील डेटा
[
{
"label": "Under 23 GiB aggregate VRAM",
"default_context_tokens": "4,096"
},
{
"label": "23 to under 47 GiB aggregate VRAM",
"default_context_tokens": "32,768"
},
{
"label": "47 GiB aggregate VRAM or more",
"default_context_tokens": "262,144"
}
]बहुतेक VPS plans आणि प्रत्येक CPU-only server पहिल्या row मध्ये येतात: 4,096 tokens. अनेक लहान GPUs मिळून शेवटच्या row मधील 262,144 tokens साठी आवश्यक 47 GiB threshold गाठू शकतात.
Agent कोणतेही काम करण्यापूर्वीच 4096 tokens वापरतो. System prompt, tool definitions, repository listing आणि तो उघडणारी पहिली file यांचा आकार आधीच त्यापेक्षा मोठा असतो. त्यानंतरची समस्या अशी आहे: कोणतीही error दिसत नाही. Aider च्या documentation नुसार window पेक्षा जास्त असलेला context Ollama शांतपणे टाकून देतो. सर्वात जुने tokens बाहेर पडतात. त्यामुळे model ला आता दिसत नसलेल्या file बद्दल तो आत्मविश्वासाने उत्तर देतो किंवा दोन steps आधी दिलेली instruction विसरतो. Local model code लिहिण्यासाठी खूपच कमी सक्षम आहे अशा बहुतेक reports मागे हीच यंत्रणा असते. स्वतः number निवडणे हा स्वतंत्र निर्णय आहे. एक ठरवण्यापूर्वी प्रत्येक आकारासाठी KV cache memory मध्ये num_ctx ची किंमत किती असते हे वाचणे उपयुक्त ठरेल.
Ollama च्या documentation नुसार agents आणि coding tools सारख्या tasks साठी किमान 64000 tokens सेट करावेत. ते server वर सेट करा:
sudo systemctl edit ollama.serviceOverride file मध्ये या lines जोडा:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"त्यानंतर reload आणि restart करा:
sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama psRestart झाल्यावर तुमच्या agent कडून request पाठवा. त्यानंतर ollama ps पुन्हा चालवा, म्हणजे तपासण्यासाठी loaded model उपलब्ध असेल. ollama ps ही तपासणी आहे. त्यात CONTEXT column दिसतो. त्या column मधील number म्हणजे model ला प्रत्यक्षात मिळालेला context आहे. तुमचे ID आणि SIZE वेगळे असतील:
NAME ID SIZE PROCESSOR CONTEXT RUNNER UNTIL
qwen3-coder:30b a1b2c3d4e5f6 24 GB 100% GPU 64000 ggml 4 minutes from nowहे agent मध्ये नव्हे, server वर सेट करा. याची दोन कारणे आहेत. OpenAI chat completions schema मध्ये context length साठी कोणतेही field नाही. त्यामुळे OpenAI-compatible client अशी मागणी करू शकत नाही. तसेच model किंवा request कडून override केलेले नसल्यास server default प्रत्येक agent ला लागू होतो. Output साठी स्वतंत्र ceiling असते. Context length च्या उलट, ती compatibility endpoint वरून पाठवली जाते. त्यामुळे patch अर्धवट राहिल्यावर वापरायची settings म्हणजे num_predict आणि त्यावर map होणारे max_tokens field. एखाद्या model ला वेगळा window हवा असल्यास Modelfile वापरून त्याची copy तयार करा:
FROM qwen3-coder:30b
PARAMETER num_ctx 65536ollama create qwen3-coder-64k -f ModelfileContext विनामूल्य नसतो. मोठ्या window साठी अधिक memory लागते. त्यामुळे PROCESSOR column वर लक्ष ठेवा. 100% GPU हवे असलेले मूल्य आहे. Model चा काही भाग CPU वर गेला की token rate इतका कमी होतो की agent loop वापरण्यायोग्य राहत नाही. तुमच्या machine ची वास्तविक मर्यादा शोधण्यासाठी local LLM वर प्रति सेकंद tokens कसे मोजायचे हे वापरा. Machine खरेदी करण्यापूर्वी तिचे sizing कसे करायचे याचे वर्णन coding agent VPS साठी किती RAM आणि CPU आवश्यक आहे येथे आहे.
विनंत्यांदरम्यान model loaded ठेवा
डीफॉल्टनुसार, शेवटची request आल्यानंतर Ollama 5 मिनिटांनी model unload करते. Chat box साठी हे योग्य आहे, पण agent work साठी नाही. diff वाचण्यासाठी तुम्ही थांबता, timer संपतो आणि पहिला token दिसण्यापूर्वी पुढील request ला disk वरून दहा-दहा gigabytes चे weights पुन्हा load करावे लागतात. यामुळे server hang झाल्यासारखे दिसते.
OLLAMA_KEEP_ALIVE मध्ये 10m किंवा 24h सारखी duration string, seconds मधील साधी संख्या, model अनिश्चित काळ loaded ठेवण्यासाठी -1 किंवा model त्वरित unload करण्यासाठी 0 देता येते. ते context length च्या शेजारी सेट करा:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"
Environment="OLLAMA_KEEP_ALIVE=-1"keep_alive request field Ollama च्या native /api/generate आणि /api/chat endpoints वर उपलब्ध आहे आणि /v1/chat/completions वर Ollama extension म्हणून उपलब्ध आहे. अतिरिक्त request fields स्वीकारणारा agent हे field तेथे पाठवू शकतो; अन्यथा environment variable वापरा. memory परत हवी असल्यास, server थांबवता ollama stop qwen3-coder:30b model unload करते. reboot नंतरही ही setting लागू राहावी असे असल्यास, किंवा दिवसभर weights memory मध्ये ठेवणे आणि ती memory परत मिळवणे यांपैकी काय योग्य आहे हे ठरवायचे असल्यास, Ollama model memory मध्ये loaded ठेवणे या दोन्ही पद्धतींनी कार्य करते.
वेगळ्या सर्व्हरवर Ollama चालवणे
Ollama localhost वर bind होते. दुसऱ्या मशीनवरून त्याच्यापर्यंत पोहोचण्यासाठी, त्याच systemd override मध्ये OLLAMA_HOST=0.0.0.0:11434 सेट करा आणि सेवा restart करा.
हे फक्त private network वर करा. Ollama च्या documentation नुसार local API साठी authentication आवश्यक नाही. त्यामुळे port 11434 इंटरनेटवर open असल्यास कोणतीही व्यक्ती तुमचे hardware वापरू शकते. दोन सुरक्षित पर्याय आहेत. bind localhost वरच ठेवा आणि तुमच्या laptop वरून SSH द्वारे port forward करा:
ssh -N -L 11434:localhost:11434 you@your-vpsतुमचा agent http://localhost:11434/v1 कडेच विनंत्या पाठवत राहतो आणि त्याला कोणताही फरक जाणवत नाही. दुसरा पर्याय VPN वापरणे हा आहे. या वेळी Ollama ला 0.0.0.0 ऐवजी VPN address वर bind करा. अनेक लोक किंवा agents एकाच box वर share करणार असतील, तर memory उपलब्ध असल्यास Ollama parallel requests समर्थित करते. Ollama आणि vLLM मधील तुलना throughput मधील फरक कुठून जाणवू लागतो हे दाखवते.
स्थानिक coding model कुठे प्रभावी ठरते आणि कुठे ठरत नाही
तुम्ही host केलेल्या model वर चालणारा agent प्रत्येक कामासाठी frontier API ची जागा घेत नाही. मात्र खालील चार प्रकारच्या कामांमध्ये तो स्पष्टपणे प्रभावी ठरतो.
- मोठ्या प्रमाणातील यांत्रिक बदल, जिथे प्रत्येक बदल लहान असतो आणि तुम्ही त्याची पडताळणी करू शकता. संपूर्ण repository मध्ये नावे बदलणे, type hints जोडणे, docstrings लिहिणे आणि comments चे भाषांतर करणे. Model अनेक तास चालू राहू शकतो आणि खर्च वाढत नाही.
- तुमच्या hardware बाहेर जाऊ नये असे काम. Confidentiality agreement अंतर्गत असलेला client code किंवा third party कडे पाठवण्याची परवानगी नसलेला internal repository.
- Offline आणि air-gapped machines, जिथे call करण्यासाठी hosted API उपलब्धच नसतो.
- अंदाज करता येणारा खर्च. Server साठी पैसे भरल्यानंतर loop मध्ये tokens वापरणाऱ्या agent साठी अतिरिक्त खर्च होत नाही. Metered API मध्ये याच्या उलट स्थिती असते. GPU VPS API tokens च्या तुलनेत समतोलावर कधी येतो येथे त्याचे गणित दिले आहे.
दीर्घ, अनेक टप्प्यांच्या कामांमध्ये तो कमी प्रभावी ठरतो. “ही test का fail होते ते शोधा, कारण दुरुस्त करा आणि callers अपडेट करा” यासाठी सलग अनेक अचूक tool calls आवश्यक असतात. तसेच संपूर्ण history context मध्ये ठेवावी लागते. मध्यम क्षमतेच्या server वर 8B ते 14B range मधील model malformed tool call तयार करू शकतो किंवा काही turns नंतर plan विसरू शकतो. त्यामुळे काम पूर्ण करण्यापेक्षा model ला steer करण्यात अधिक वेळ जातो. हा prompt चा प्रश्न नाही, ज्यावर अधिक चांगले लिहून मात करता येईल. ही capacity ची मर्यादा आहे.
तुम्ही प्रत्येक line वाचणार नसाल आणि चुकीची माहिती महागात पडणार असेल, तेव्हाही तो कमी प्रभावी ठरतो. स्थानिक model ला असे मर्यादित काम द्या ज्याच्या output ची तुम्ही पडताळणी करू शकता. ज्या कामाची step by step पडताळणी तुम्ही करणार नाही, त्यासाठी hosted model वापरा.
अपयशाच्या स्थिती आणि दिसणारे संदेश
curl: (7) Failed to connect to localhost port 11434 after 0 ms: Connection refused. सर्व्हर सुरू नाही किंवा agent वेगळ्या host कडे निर्देश करत आहे. systemctl status ollama चालवा, त्यानंतर journalctl -e -u ollama चालवा.
agent model अस्तित्वात नसल्याचे सांगतो. तुमच्या config मधील नाव server उपलब्ध करून देत असलेल्या नावाशी जुळत नाही. ते curl http://localhost:11434/v1/models मधील नावाशी तुलना करा आणि तेथील string कॉपी करा. tag हा नावाचाच भाग असतो. त्यामुळे तुम्ही कधीही pull न केलेल्या tag चे नाव config मध्ये दिल्यास, तसाच model installed असला तरी विनंती अपयशी ठरते.
agent गद्य स्वरूपात उत्तर देतो आणि कोणतीही file संपादित करत नाही. model ला tool support नसू शकतो किंवा request आणि त्याच्या tool definitions मिळून context window आधीच भरलेली असू शकते. model page वरील tools label तपासा. त्यानंतर ollama ps मधील CONTEXT column तपासा.
पहिला token येण्यापूर्वी बराच वेळ शांतता, त्यानंतर नेहमीचा वेग. keep-alive कालबाह्य झाला आहे आणि weights पुन्हा disk वरून वाचले जात आहेत. OLLAMA_KEEP_ALIVE सेट करा.
model नुकतीच वाचलेल्या file शी विसंगत उत्तर देतो. हे context truncation आहे. ollama ps मध्ये तुमच्या अपेक्षेपेक्षा लहान CONTEXT value दिसते. कारण environment variable तुमच्या shell मध्ये सेट झाले असून systemd unit मध्ये गेलेले नाही.
सर्व काही कार्यरत आहे, पण संथ आहे आणि PROCESSOR मध्ये 100% CPU किंवा CPU/GPU split दिसतो. सहसा model आणि त्याचा context VRAM मध्ये बसत नाही. GPU असलेल्या machine वर PROCESSOR मध्ये 100% CPU दिसत असल्यास, आधी दुसरे कारण दूर करा: Ollama ला GPU सापडले नसेल. Ollama च्या documentation नुसार, Linux वर suspend/resume cycle नंतर NVIDIA GPU शोधण्यात कधी कधी अपयश येते आणि CPU कडे fallback होते. sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm वापरून driver पुन्हा load केल्याने ही समस्या टाळता येते. GPU सापडत असेल आणि split कायम राहत असेल, तर context length कमी करा किंवा लहान model अथवा लहान quantisation वापरा. पुन्हा pull करण्यापूर्वी, q4_K_M, q8_0 आणि fp16 साठी memory मध्ये किती जागा लागते आणि quality प्रत्यक्षात कुठे कमी होते हा भाग एक पायरी कमी केल्यावर किती जागा मिळते आणि त्यासाठी काय गमवावे लागते हे स्पष्ट करतो. Unknown ही देखील संभाव्य PROCESSOR value आहे; मात्र त्यावरून CPU offloading सिद्ध होत नाही.
FAQ
Claude Code ला Ollama कडे निर्देशित करू शकतो का?
होय, परंतु OpenAI-compatible URL वापरून नाही. Claude Code, Anthropic Messages API शी संवाद साधतो आणि Ollama त्याच port 11434 वर /v1/messages येथे हे स्वरूप उपलब्ध करून देते. ANTHROPIC_BASE_URL=http://localhost:11434, ANTHROPIC_AUTH_TOKEN=ollama आणि रिक्त ANTHROPIC_API_KEY export करा, त्यानंतर ते claude --model qwen3-coder:30b सह सुरू करा. ollama launch claude ही settings तुमच्यासाठी लिहिते. Compatibility layer मध्ये tool_choice किंवा prompt caching लागू केलेले नाही. तसेच token counting endpoint नसल्यामुळे दाखवलेली token संख्या अंदाजे असते.
माझे local model त्याला दिसत नसलेल्या code बद्दल उत्तर का देते?
कारण request आता context window मध्ये बसत नाही आणि त्यातील सर्वात जुना भाग कोणतीही error न देता काढून टाकला जातो. प्रत्येक GPU साठी configured overhead वजा केल्यानंतर आढळलेल्या एकत्रित VRAM वरून Ollama त्याचा default context ठरवते: 23 GiB पेक्षा कमी असल्यास default 4,096 tokens असतो, 23 ते 47 GiB पेक्षा कमीपर्यंत तो 32,768 tokens असतो, आणि 47 GiB किंवा त्यापेक्षा जास्त असल्यास तो 262,144 tokens असतो. systemd unit मध्ये OLLAMA_CONTEXT_LENGTH=64000 सेट करा, Ollama restart करा आणि ollama ps मधील CONTEXT column मध्ये नवीन value दिसते का ते तपासा.
VPS वर coding agent साठी कोणते model चालवावे?
64k context window सह memory मध्ये बसणारे आणि tools label असलेले सर्वात मोठे model निवडा. Code साठी tuned केलेल्या model ला प्राधान्य द्या. पुरेसे VRAM असलेल्या GPU server वर qwen3-coder:30b हा सामान्य पर्याय आहे. हा tag तुमच्या server साठी मोठा असल्यास, download करण्यापूर्वी Nemotron 3.5 Lightning साठी RAM आकडे आणि CPU-only वेग हे उपयुक्त तुलनात्मक मापदंड आहेत. साधारण 14B parameters पेक्षा कमी असलेले model code बद्दलच्या प्रश्नांना चांगली उत्तरे देऊ शकते, पण multi-step edits मध्ये अपयशी ठरू शकते. कारण tool calls मधील लहान formatting चुका agent च्या कामावर मोठा परिणाम करतात. Sample prompt ऐवजी तुमच्या स्वतःच्या repository मधील एका वास्तविक task ने चाचणी करा.
माझ्या स्वतःच्या model वर coding agent चालवण्यासाठी GPU आवश्यक आहे का?
प्रत्यक्ष वापरात होय. CPU-only inference कार्य करते आणि एकल प्रश्नांसाठी पुरेसे असते. परंतु प्रत्येक task साठी agent अनेक requests पाठवतो आणि प्रत्येक request मध्ये मोठा history पुन्हा वाचला जातो. त्यामुळे token rate कमी असल्यास दोन मिनिटांचा task एक तास घेऊ शकतो. ollama ps मधील PROCESSOR column तपासा: 100% CPU किंवा CPU/GPU split दिसत असल्यास CPU वापरला जात आहे आणि inference धीमे होते. Unknown CPU offloading असल्याचे सिद्ध करत नाही.