Coding Agent-உடன் Ollama-வை இணைப்பது எப்படி?
Coding agent-ல் Ollama-வை இணைக்க தேவையான base URL, dummy API key மற்றும் context length அமைப்புகளை அறியுங்கள். எந்தெந்த பணிகளுக்கு local model சிறந்தது என்பதை இதில் காணலாம்.
நீங்கள் எதை இணைக்கிறீர்கள்
உங்கள் coding agent-உடன் Ollama-வை நீங்கள் பயன்படுத்தலாம்; இதற்கான இணைப்பு முறை பலரும் நினைப்பதை விட எளிமையானது. நீங்கள் ஒரு base URL-ஐ மாற்ற வேண்டும் மற்றும் ஒரு model பெயரைத் தேர்ந்தெடுக்க வேண்டும். API key புலத்திற்கு ஒரு மதிப்பு தேவைப்படுகிறது, ஆனால் local server அதை நிராகரித்துவிடும் என்பதால், எந்தவொரு string-ஐயும் நீங்கள் உள்ளிடலாம்.
Ollama 11434 port-ல் இயங்குகிறது மற்றும் ஒரே நேரத்தில் மூன்று API தளங்களை வழங்குகிறது. /api என்பது Ollama-வின் native API ஆகும். /v1 என்பது OpenAI-உடன் இணக்கமான அடுக்கு (layer) ஆகும்; இது /v1/chat/completions, /v1/responses, /v1/completions, /v1/models மற்றும் /v1/embeddings ஆகிய பல வடிவங்களை உள்ளடக்கியது. Ollama-வின் ஆவணங்களின்படி, அங்குள்ள key தேவைப்படுகிறது ஆனால் அது புறக்கணிக்கப்படுகிறது. மூன்றாவது தளம் Anthropic-உடன் இணக்கமானது: client http://localhost:11434-ஐ base URL-ஆக எடுத்துக்கொண்டு, அதனுடன் /v1/messages-ஐ இணைத்துக்கொள்ளும்; இதுவே Claude Code பயன்படுத்தும் முறையாகும். பெரும்பாலான agents /v1/chat/completions-ஐப் பயன்படுத்துகின்றன, Codex /v1/responses-ஐப் பயன்படுத்துகிறது, மற்றும் Claude Code /v1/messages-ஐப் பயன்படுத்துகிறது. உங்கள் agent ஏற்கனவே இவற்றில் ஒன்றை ஆதரிப்பதால், அதைத் தவிர வேறு எதையும் மாற்ற வேண்டியதில்லை.
இந்த பகுதிக்கு ஐந்து நிமிடங்கள் மட்டுமே ஆகும். இதன் முடிவு பயன்பாட்டிற்கு உகந்ததாக இருக்கிறதா என்பது, யாரும் பெரிதாக மாற்றாத இரண்டு அமைப்புகளைப் பொறுத்தது: அவை context length மற்றும் keep-alive ஆகும்; மேலும், அந்த model-க்கு ஏற்ற பணிகளை வழங்குவதும் முக்கியம். இவை இரண்டுக்கும் தனித்தனி பிரிவுகள் உள்ளன, மேலும் உண்மையான வரம்புகள் இறுதியில் கொடுக்கப்பட்டுள்ளன.
எந்தெந்த coding agents உள்ளூர் base URL-ஐ ஏற்றுக்கொள்கின்றன
இந்தச் சோதனையின் ஒரே கேள்வி இதுதான்: அந்தத் கருவி base URL அமைப்பை வழங்குகிறதா? அப்படி வழங்கினால், அது உங்கள் server-உடன் தொடர்பு கொள்ள முடியும்.
Ollama, Claude Code, OpenCode, Codex, Cline, Roo Code, Zed, JetBrains IDEs மற்றும் VS Code ஆகியவற்றிற்கான ஒருங்கிணைப்புப் பக்கங்களை (integration pages) வெளியிட்டுள்ளது. Aider தனது சொந்த Ollama ஆதரவை தனித்தனியாக ஆவணப்படுத்தியுள்ளது. அக்டோபர் 2026 நிலவரப்படி, coding agent என்று மக்கள் குறிப்பிடும் பெரும்பாலான கருவிகளை இது உள்ளடக்குகிறது. இவை அனைத்தும் ஒரே மாதிரியான வடிவமைப்பில் இயங்குவதில்லை; அந்த வேறுபாட்டால்தான் அமைப்புகள் தோல்வியடைகின்றன.
- பெரும்பாலான agents, OpenAI-க்கு இணக்கமான (OpenAI-compatible) endpoint-ஐ எதிர்பார்க்கின்றன. அவற்றுக்கு
http://localhost:11434/v1என்ற base URL-ஐயும், காலியாக இல்லாத ஏதேனும் ஒரு API key string-ஐயும் வழங்கவும். - Claude Code, OpenAI base URL-ஐ ஏற்பதே இல்லை. அது Anthropic Messages API-ல் இயங்குவதால், அதற்கு
ANTHROPIC_BASE_URL-ஐhttp://localhost:11434என அமைக்க வேண்டும்; அங்கு Ollama/v1/messages-ஐ வழங்குகிறது. - Codex, OpenAI Responses API-ஐப் பயன்படுத்துகிறது. Ollama, பதிப்பு 0.13.3-ல் சேர்க்கப்பட்ட
/v1/responses-ஐயும் வழங்குகிறது. - base URL அமைப்பு இல்லாத ஒரு agent-ஐ வழிமாற்ற (redirect) முடியாது, ஏனெனில் அந்த endpoint client-க்குள்ளேயே கட்டமைக்கப்பட்டிருக்கும். ஒருவேளை அந்த agent custom URL-ஐ ஏற்றுக்கொண்டு, ஆனால் வேறுபட்ட API வடிவம் தேவைப்பட்டால், அதற்கு முன்னால் self-hosted LiteLLM gateway போன்ற ஒரு மொழிபெயர்ப்பு அடுக்கை (translation layer) வைத்து, அந்த client கோரும் வடிவத்தில் உங்கள் model-ஐ மீண்டும் வெளிப்படுத்தவும்.
Ollama இந்த அமைப்புகளை உங்களுக்காக உருவாக்க முடியும். ollama launch opencode, நீங்கள் தேர்ந்தெடுக்கும் model-க்கான inline config-உடன் OpenCode-ஐத் தொடங்குகிறது; ollama launch claude, Claude Code-க்கு இதையே செய்கிறது; ollama launch droid --config, கருவியைத் தொடங்காமலேயே அந்த config-ஐ எழுதுகிறது.
Ollama-ஐ நிறுவி, கருவிகளை (tools) அழைக்கும் திறன் கொண்ட ஒரு மாதிரியை (model) பதிவிறக்குதல்
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama --no-pager
ollama pull qwen3-coder:30b
ollama lsநிறுவி (installer) ஒரு systemd unit-ஐச் சேர்த்து அதைத் தொடங்கும், எனவே systemctl status ollama கட்டளை active (running) என்று காட்ட வேண்டும். அவ்வாறு காட்டவில்லை எனில், journalctl -e -u ollama கட்டளை அதற்கான காரணத்தைக் காட்டும்.
ஒரு agent எவ்வாறு செயல்படுகிறது என்பதற்கு கருவிகளை அழைப்பதே அடிப்படை என்பதால், அந்த மாதிரி கருவிகளை அழைக்கும் வசதியைக் கொண்டிருக்க வேண்டும். இது ஒரு கோப்பை வாசித்து, patch-ஐ எழுதி, சோதனையை இயக்கி, பின் தோல்வியைக் கவனித்து மீண்டும் முயற்சிக்கும். கருவிகளை அழைக்கும் திறன் இல்லாத ஒரு மாதிரி, மாற்றத்தைச் செய்யாமல் அதை உரைநடையாக விவரிக்கும்; இதனால் agent சுழற்சியில் சிக்கிவிடும் அல்லது நின்றுவிடும். நீங்கள் பதிவிறக்கும் முன் ollama.com தளத்தில் உள்ள மாதிரியின் பக்கத்தில் tools என்ற குறியீடு உள்ளதா என்று பார்க்கவும். qwen3-coder:30b இந்த வசதியைக் கொண்டுள்ளது, மேலும் அக்டோபர் 2026 நிலவரப்படி, அந்த tag 19 GB பதிவிறக்கத்தையும் 256K context window-வையும் கொண்டுள்ளது. உங்கள் கணினியில் CPU மட்டுமே இருந்தால் அல்லது RAM குறைவாக இருந்தால், VPS-ல் Qwen 27B tag-க்கான நினைவகக் கணக்கீடு பகுதியில் 8 முதல் 64 GB வரை எவை பொருந்தும் என்பதைப் பார்த்துவிட்டு பதிவிறக்கவும். பதிவிறக்கம் செய்தவுடன், அந்த gigabytes அளவுள்ள கோப்புகள் server-ன் root disk-ல் சேமிக்கப்படும். VPS-ல் பொதுவாக root disk-ல் தான் இடம் குறைவாக இருக்கும் என்பதால், Ollama தனது மாதிரி கோப்புகளை எங்கு சேமிக்கிறது மற்றும் அவற்றை எவ்வாறு வேறு இடத்திற்கு மாற்றுவது என்பதை disk நிரம்புவதற்கு முன்பே வாசிப்பது நல்லது.
இப்போது server எந்தெந்த பெயர்களை வழங்குகிறது என்பதை உறுதிப்படுத்தவும்:
curl http://localhost:11434/v1/modelsஅந்தப் பதிலில் உள்ள எழுத்துக்களே உங்கள் agent config-ல் இருக்க வேண்டும், ஒவ்வொரு எழுத்தும் சரியாக இருக்க வேண்டும். இதை முதலில் சரிபார்ப்பது, 'model-not-found' போன்ற பிழைகளைத் தவிர்க்க உதவும். Ollama இன்னும் நிறுவப்படவில்லை எனில், விரிவான வழிமுறைகளை VPS-ல் Ollama மூலம் LLM-ஐ self-hosting செய்தல் பகுதியில் காணலாம்.
Ollama-வுடன் OpenCode-ஐ இணைத்தல்
~/.config/opencode/opencode.json-ஐ திருத்தவும்:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"ollama": {
"npm": "@ai-sdk/openai-compatible",
"name": "Ollama",
"options": {
"baseURL": "http://localhost:11434/v1"
},
"models": {
"qwen3-coder:30b": {
"name": "qwen3-coder 30b"
}
}
}
}
}models-க்கு கீழே உள்ள key என்பது Ollama-க்கு அனுப்பப்படும் model-ன் பெயர், எனவே அது ollama ls-உடன் சரியாகப் பொருந்த வேண்டும். name புலம் என்பது model picker-ல் காட்டப்படும் label மட்டுமே. opencode-ஐத் தொடங்கி, Ollama provider-க்கு மாறி, உங்கள் server-க்கு கோரிக்கை வந்துள்ளதா என்பதை உறுதிப்படுத்த journalctl -e -u ollama-ஐ கவனிக்கவும். Agent-ஐ அமைப்பது OpenCode-ஐ VPS-ல் இயக்குதல் பகுதியில் விளக்கப்பட்டுள்ளது.
Claude Code-ஐ Ollama-வுடன் இணைத்தல்
export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model qwen3-coder:30bANTHROPIC_API_KEY வேண்டுமென்றே காலியாக விடப்பட்டுள்ளது. Base URL கோரிக்கைகள் எங்கு செல்ல வேண்டும் என்பதைத் தீர்மானிக்கிறது; இந்த key-ஐ நீக்குவதன் மூலம், hosted credentials இந்த local setup-ல் சேமிக்கப்படுவதைத் தவிர்க்கலாம். ollama launch claude இவை அனைத்தையும் உங்களுக்காக அமைத்துவிடும்.
Compatibility layer எவற்றை உள்ளடக்குவதில்லை என்பதைத் தெரிந்துகொள்ளுங்கள். இது tool_choice அல்லது prompt caching-ஐ செயல்படுத்துவதில்லை, மேலும் இதில் token counting endpoint கிடையாது. எனவே, நீங்கள் பார்க்கும் token எண்கள் அந்த model-ன் சொந்த tokenizer மூலம் கணிக்கப்பட்ட தோராயமான மதிப்புகளே ஆகும். Claude Code ஒரு பெரிய system prompt மற்றும் பெரிய tool set-ஐக் கொண்டுள்ளதால், சாதாரண chat client-ஐ விட இதற்கு அதிக context தேவைப்படுகிறது. எவை செயல்படும், எவை செயல்படாது என்பது குறித்த விரிவான தகவல்களுக்கு Claude-ஐ நீங்களே host செய்ய முடியுமா என்பதைப் பார்க்கவும்.
Ollama-வில் Aider-ஐப் பயன்படுத்துதல்
export OLLAMA_API_BASE=http://127.0.0.1:11434
aider --model ollama_chat/qwen3-coder:30bAider-ன் ஆவணங்கள் ollama/-க்கு பதிலாக ollama_chat/ முன்னொட்டைப் (prefix) பயன்படுத்தப் பரிந்துரைக்கின்றன. இயல்பாக, Aider ஒவ்வொரு கோரிக்கைக்கும் தேவையான சூழலுடன் (context) சேர்த்து, பதிலுக்காக 8k tokens-ஐக் கோருகிறது. இது ஒவ்வொரு model-க்கும் உரிய context window-ஐ .aider.model.settings.yml-ல் pin செய்யவும் அனுமதிக்கிறது; சர்வரின் இயல்புநிலை அமைப்பிலிருந்து ஒரு model-க்கு மாறுபட்ட window தேவைப்படும்போது இது பயனுள்ளதாக இருக்கும்:
- name: ollama_chat/qwen3-coder:30b
extra_params:
num_ctx: 65536சரியாக இயங்கும் அமைப்பு இன்னும் பொருளற்ற வெளியீட்டை உருவாக்குவதற்கான காரணம்
இது முக்கியமான பகுதி. Ollama, காணக்கூடிய GPU-களின் மொத்த VRAM-ஐ அடிப்படையாகக் கொண்டு default context length-ஐ தேர்வு செய்கிறது. கண்டறியப்படும் ஒவ்வொரு GPU-க்கும் OLLAMA_GPU_OVERHEAD கழிக்கப்படுகிறது. Implementation பின்வரும் thresholds-ஐ பயன்படுத்துகிறது:
இந்த விளக்கப்படத்தின் தரவு
[
{
"label": "Under 23 GiB aggregate VRAM",
"default_context_tokens": "4,096"
},
{
"label": "23 to under 47 GiB aggregate VRAM",
"default_context_tokens": "32,768"
},
{
"label": "47 GiB aggregate VRAM or more",
"default_context_tokens": "262,144"
}
]பெரும்பாலான VPS plans மற்றும் CPU-only server அனைத்தும் முதல் வரிசையில் வரும்: 4,096 tokens. பல சிறிய GPU-கள் சேர்ந்து, கடைசி வரிசையில் உள்ள 262,144 tokens-க்கு தேவையான 47 GiB threshold-ஐ அடையலாம்.
ஒரு agent, எந்தப் பணியையும் செய்யும் முன்பே 4096 tokens-ஐ அனுப்புகிறது. System prompt, tool definitions, repository listing மற்றும் அது முதலில் திறக்கும் file ஆகியவை ஏற்கனவே அந்த அளவை விடப் பெரியவை. அடுத்ததாக நடப்பதே முழுப் பிரச்சினை: எந்த error-உம் ஏற்படாது. Window-ஐ மீறும் context-ஐ Ollama அமைதியாக நீக்குகிறது என்று Aider-ன் documentation கூறுகிறது. பழைய tokens வெளியேறிவிடும். ஆகவே, model இனி பார்க்க முடியாத file பற்றி நம்பிக்கையுடன் பதிலளிக்கலாம் அல்லது இரண்டு steps-க்கு முன்பு நீங்கள் வழங்கிய instruction-ஐ மறந்துவிடலாம். Local model code எழுதுவதற்கு மிகவும் திறனற்றதாக இருப்பதாக வரும் பெரும்பாலான reports-க்கு இந்த mechanism-தான் காரணம். அந்த எண்ணைத் தேர்வு செய்வது தனியான முடிவு. ஒவ்வொரு அளவிலும் KV cache memory-ல் num_ctx ஏற்படுத்தும் செலவு பற்றி அறிந்து கொண்ட பிறகே ஒன்றைத் தேர்வு செய்வது பயனுள்ளதாகும்.
Agents மற்றும் coding tools போன்ற tasks-க்கு குறைந்தது 64000 tokens அமைக்க வேண்டும் என்று Ollama-ன் documentation கூறுகிறது. இதை server-ல் அமைக்கவும்:
sudo systemctl edit ollama.serviceOverride file-ல் இந்த lines-ஐ சேர்க்கவும்:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"பிறகு reload செய்து restart செய்யவும்:
sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama psRestart முடிந்ததும் உங்கள் agent-லிருந்து ஒரு request அனுப்பவும். அதன் பிறகு ollama ps-ஐ மீண்டும் இயக்கவும்; இதனால் ஆய்வு செய்ய loaded model இருக்கும். ollama ps என்பதே check. அது CONTEXT column-ஐ அச்சிடும். அந்த எண்ணே model உண்மையில் பெற்ற context அளவு. உங்கள் ID மற்றும் SIZE வேறுபடும்:
NAME ID SIZE PROCESSOR CONTEXT RUNNER UNTIL
qwen3-coder:30b a1b2c3d4e5f6 24 GB 100% GPU 64000 ggml 4 minutes from nowஇதை agent-ல் அல்லாமல் server-ல் அமைக்கவும். இதற்கு இரண்டு காரணங்கள் உள்ளன. OpenAI chat completions schema-வில் context length-க்கான field இல்லை. எனவே OpenAI-compatible client அதற்கான மதிப்பைக் கோர முடியாது. மேலும், model அல்லது request override செய்யாத வரை server default அனைத்து agents-க்கும் பொருந்தும். Output-க்கு தனியான ceiling உள்ளது. Context length-க்கு மாறாக, அது compatibility endpoint வழியாக அனுப்பப்படும். எனவே patch-ன் பதில் பாதியிலேயே நின்றுவிட்டால், num_predict மற்றும் அதனுடன் தொடர்புடைய max_tokens field ஆகியவற்றைப் பயன்படுத்த வேண்டும். ஒரு model-க்கு வேறு window தேவைப்பட்டால், Modelfile மூலம் அதன் copy-யில் அந்த அமைப்பைச் சேர்க்கவும்:
FROM qwen3-coder:30b
PARAMETER num_ctx 65536ollama create qwen3-coder-64k -f ModelfileContext இலவசமல்ல. நீளமான window அதிக memory-ஐ பயன்படுத்தும். எனவே PROCESSOR column-ஐ கண்காணிக்கவும். நீங்கள் விரும்புவது 100% GPU. Model-ன் ஒரு பகுதி CPU-க்கு spill ஆனதும் token rate போதுமான அளவு குறையும். அப்போது agent loop பயன்படுத்த முடியாததாகிவிடும். உங்கள் machine-ன் உண்மையான வரம்பை அறிய local LLM-ல் tokens per second-ஐ அளவிடுதல் உதவும். Machine-ஐ வாங்கும் முன் அதன் அளவுத்திறனைத் தீர்மானிப்பது பற்றி coding agent VPS-க்கு எவ்வளவு RAM மற்றும் CPU தேவை என்பதில் விளக்கப்பட்டுள்ளது.
கோரிக்கைகளுக்கு இடையே மாடலை நினைவகத்தில் வைத்திருத்தல்
இயல்பாக, Ollama ஒரு மாடலை அதன் கடைசி கோரிக்கைக்குப் பிறகு 5 நிமிடங்களில் நினைவகத்திலிருந்து நீக்கிவிடும். இது ஒரு chat box-க்குச் சரியாக இருக்கலாம், ஆனால் agent பணிகளுக்கு இது உகந்ததல்ல. நீங்கள் ஒரு diff-ஐப் படிக்கத் தாமதப்படுத்தும்போது, அந்த நேரம் முடிந்துவிடும்; அடுத்த கோரிக்கை வரும்போது, முதல் token தோன்றுவதற்கு முன்பே பல gigabytes எடையுள்ள weights-ஐ disk-லிருந்து மீண்டும் ஏற்ற வேண்டியிருக்கும். இது ஒரு hang போலத் தோன்றும்.
OLLAMA_KEEP_ALIVE என்பது 10m அல்லது 24h போன்ற கால அளவு சரத்தை எடுத்துக்கொள்ளும். இது வினாடிகளின் எண்ணிக்கையாகவோ, -1 என மாடலை எப்போதும் நினைவகத்தில் வைத்திருக்கவோ, அல்லது 0 என உடனடியாக நீக்கவோ பயன்படும். இதை context length-க்கு அருகில் அமைக்கவும்:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"
Environment="OLLAMA_KEEP_ALIVE=-1"keep_alive கோரிக்கை புலம் (request field) Ollama-வின் சொந்த /api/generate மற்றும் /api/chat endpoints-ல் உள்ளது, மேலும் /v1/chat/completions-ல் Ollama extension-ஆகவும் கிடைக்கிறது. கூடுதல் கோரிக்கை புலங்களை வெளிப்படுத்தும் ஒரு agent-ஐ அங்கு அனுப்பலாம்; இல்லையெனில் environment variable-ஐப் பயன்படுத்தவும். உங்களுக்கு நினைவகம் மீண்டும் தேவைப்படும்போது, ollama stop qwen3-coder:30b கட்டளையானது server-ஐ நிறுத்தாமல் மாடலை மட்டும் நினைவகத்திலிருந்து நீக்கும். இந்த அமைப்பை reboot-க்குப் பிறகும் வைத்திருக்க விரும்பினாலோ, அல்லது நாள் முழுவதும் நினைவகத்தில் weights-ஐ வைத்திருப்பதற்கும் நினைவகத்தை விடுவிப்பதற்கும் இடையே உள்ள சமநிலையை முடிவு செய்ய விரும்பினாலோ, Ollama மாடலை நினைவகத்தில் வைத்திருத்தல் என்ற வழிமுறை இரண்டிற்கும் உதவும்.
Ollama-ஐ தனி server-ல் இயக்குதல்
Ollama இயல்பாக localhost-ல் மட்டுமே இயங்கும். மற்றொரு கணினியிலிருந்து இதை அணுக, அதே systemd override கோப்பில் OLLAMA_HOST=0.0.0.0:11434-ஐ அமைத்து, service-ஐ restart செய்யவும்.
இதை ஒரு private network-ல் மட்டுமே செய்யவும். Ollama-வின் local API-க்கு எந்தவிதமான authentication-ம் தேவையில்லை என்று அதன் ஆவணங்கள் குறிப்பிடுகின்றன. எனவே, 11434 port-ஐ இணையத்திற்குத் திறந்து வைத்தால், எவர் வேண்டுமானாலும் உங்கள் hardware-ஐப் பயன்படுத்த முடியும். இதற்கு இரண்டு பாதுகாப்பான வழிகள் உள்ளன. bind-ஐ localhost-லேயே வைத்துக்கொண்டு, உங்கள் laptop-லிருந்து SSH மூலம் port-ஐ forward செய்யவும்:
ssh -N -L 11434:localhost:11434 you@your-vpsஉங்கள் agent தொடர்ந்து http://localhost:11434/v1-ஐயே சுட்டிக்காட்டும், இதில் எந்த மாற்றமும் தெரியாது. மற்றொரு வழி VPN-ஐப் பயன்படுத்துவது; இதில் 0.0.0.0-க்கு பதிலாக VPN முகவரியில் Ollama-வை bind செய்ய வேண்டும். பல நபர்கள் அல்லது பல agents ஒரே server-ஐப் பயன்படுத்தினால், நினைவகம் (memory) அனுமதிக்கும் வரை Ollama ஒரே நேரத்தில் பல கோரிக்கைகளை (parallel requests) ஏற்கும். Ollama மற்றும் vLLM இடையேயான ஒப்பீடு throughput-ல் எப்போது பாதிப்பு ஏற்படும் என்பதை விளக்குகிறது.
உள்ளூர் coding model எப்போது சிறந்தது, எப்போது சிறந்தது அல்ல
நீங்கள் host செய்யும் model-ஆல் இயக்கப்படும் ஒரு agent, எல்லா பணிகளுக்கும் frontier API-க்கு மாற்றாகாது. நான்கு வகையான பணிகளில் இது தெளிவாகச் சிறந்து விளங்குகிறது.
- மொத்தமாகச் செய்யப்படும் இயந்திரத்தனமான மாற்றங்கள் (Bulk mechanical edits). இதில் ஒவ்வொரு மாற்றமும் சிறியது, அதை உங்களால் சரிபார்க்க முடியும். ஒரு repository முழுவதும் பெயர்களை மாற்றுவது, type hints சேர்ப்பது, docstrings எழுதுவது, comments-ஐ மொழிபெயர்ப்பது போன்றவை. இந்த model பல மணிநேரம் இயங்கினாலும், கட்டணம் உயராது.
- உங்கள் hardware-ஐ விட்டு வெளியேறக்கூடாத பணிகள். ரகசிய ஒப்பந்தத்தின் கீழ் உள்ள client code, அல்லது மூன்றாம் தரப்பினருக்கு அனுப்ப அனுமதி இல்லாத internal repository.
- Offline மற்றும் air-gapped இயந்திரங்கள். இவற்றில் அழைப்பதற்கு hosted API வசதி இருக்காது.
- கணிக்கக்கூடிய செலவு. server-க்கான செலவைச் செய்துவிட்டால், loop-ல் tokens-ஐப் பயன்படுத்தும் agent-க்கு கூடுதல் செலவு இல்லை. இது metered API-க்கு நேர்மாறானது. API tokens-க்கு எதிராக GPU VPS எப்போது லாபகரமாகிறது என்பதில் இதற்கான கணக்கீடுகள் உள்ளன.
நீண்ட, பல படிகளைக் கொண்ட பணிகளில் இது தோல்வியடைகிறது. "இந்த test ஏன் தோல்வியடைகிறது என்பதைக் கண்டறிந்து, காரணத்தைச் சரிசெய்து, callers-ஐப் புதுப்பித்தல்" போன்ற பணிகளுக்கு, தொடர்ச்சியாகப் பல சரியான tool calls தேவைப்படும், மேலும் முழு வரலாறும் context-ல் இருக்க வேண்டும். ஒரு சாதாரண server-ல் 8B முதல் 14B வரம்பில் உள்ள model, தவறான tool call-ஐ உருவாக்கலாம் அல்லது சில சுற்றுகளுக்குப் பிறகு திட்டத்தை மறந்துவிடலாம். அப்போது, அந்தப் பணியைச் செய்ய எடுக்கும் நேரத்தை விட, அதை வழிநடத்தவே நீங்கள் அதிக நேரம் செலவிடுவீர்கள். இது prompt மூலம் சரிசெய்யக்கூடிய பிரச்சினை அல்ல. இது அதன் கொள்ளளவு (capacity) சார்ந்த பிரச்சினை.
தவறுகள் நடப்பது அதிக செலவை ஏற்படுத்தும் மற்றும் ஒவ்வொரு வரியையும் உங்களால் வாசிக்க முடியாது என்ற சூழலிலும் இது தோல்வியடைகிறது. உள்ளூர் model-க்கு நீங்கள் சரிபார்க்கக்கூடிய குறுகிய பணிகளை மட்டும் கொடுங்கள். நீங்கள் படிப்படியாகச் சரிபார்க்க முடியாத பணிகளுக்கு hosted model-ஐப் பயன்படுத்துங்கள்.
பிழை நிலைகள், நீங்கள் காணும் strings
curl: (7) Failed to connect to localhost port 11434 after 0 ms: Connection refused. Server இயங்கவில்லை அல்லது agent வேறு host-க்கு சுட்டுகிறது. முதலில் systemctl status ollama-ஐ இயக்கி, பின்னர் journalctl -e -u ollama-ஐ இயக்கவும்.
Agent, model இல்லை என்று தெரிவிக்கிறது. உங்கள் config-ல் உள்ள பெயர், server வழங்கும் பெயருடன் பொருந்தவில்லை. அதை curl http://localhost:11434/v1/models உடன் ஒப்பிட்டு, அங்குள்ள string-ஐ நகலெடுக்கவும். tag பெயரின் ஒரு பகுதியாகும். எனவே, நீங்கள் ஒருபோதும் pull செய்யாத tag-ஐ config-ல் குறிப்பிட்டால், அதே போன்ற model நிறுவப்பட்டிருந்தாலும் அது தோல்வியடையும்.
Agent prose-ஆக பதிலளிக்கிறது; எந்த file-ஐயும் திருத்தவில்லை. Model-க்கு tool support இல்லாமல் இருக்கலாம். அல்லது request மற்றும் அதன் tool definitions ஏற்கனவே context window-ஐ நிரப்பியிருக்கலாம். Model page-ல் உள்ள tools label-ஐச் சரிபார்க்கவும். பின்னர் ollama ps-ல் உள்ள CONTEXT column-ஐப் பார்க்கவும்.
முதல் token வருவதற்கு முன் நீண்ட அமைதி; அதன் பிறகு இயல்பான வேகம். Keep-alive காலாவதியாகிவிட்டது. Weights மீண்டும் disk-லிருந்து படிக்கப்படுகின்றன. OLLAMA_KEEP_ALIVE-ஐ அமைக்கவும்.
Model, இப்போது வாசித்த file-க்கு முரணாகப் பதிலளிக்கிறது. இது context truncation காரணமாகும். ollama ps பொதுவாக, நீங்கள் அமைத்ததாக நினைப்பதைவிடக் குறைந்த CONTEXT மதிப்பைக் காட்டும். காரணம், environment variable உங்கள் shell-க்கு சென்றுள்ளது; systemd unit-க்கு செல்லவில்லை.
எல்லாம் இயங்குகிறது, ஆனால் மெதுவாக உள்ளது; PROCESSOR, 100% CPU அல்லது CPU/GPU split-ஐக் காட்டுகிறது. பொதுவாக model மற்றும் அதன் context, VRAM-ல் முழுமையாகப் பொருந்தவில்லை. GPU உள்ள machine-ல் PROCESSOR, 100% CPU-ஐக் காட்டினால், முதலில் மற்ற காரணத்தை நிராகரிக்கவும்: Ollama GPU-ஐ கண்டறியாமல் இருந்திருக்கலாம். Linux-ல் suspend/resume cycle-க்குப் பிறகு NVIDIA GPU-ஐ கண்டறிய Ollama சில நேரங்களில் தவறி, CPU-க்கு fallback ஆகும் என்று Ollama documentation குறிப்பிடுகிறது. sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm மூலம் driver-ஐ reload செய்வது இதைச் சரிசெய்யும். GPU கண்டறியப்பட்டும் split தொடர்ந்தால், context length-ஐக் குறைக்கவும். அல்லது சிறிய model-க்கு, குறைந்த quantisation-க்கு மாறவும். மீண்டும் pull செய்வதற்கு முன், q4_K_M, q8_0 மற்றும் fp16 ஆகியவற்றின் memory செலவு, மேலும் quality உண்மையில் எங்கு குறைகிறது என்பதைக் கூறும் பகுதி, ஒரு நிலை குறைத்தால் எவ்வளவு இடம் கிடைக்கும் என்றும் அதற்காக நீங்கள் எதை இழப்பீர்கள் என்றும் விளக்குகிறது. Unknown என்பதும் சாத்தியமான PROCESSOR மதிப்பாகும்; ஆனால் அது CPU offloading நடக்கிறது என்பதை நிரூபிக்காது.
FAQ
Ollama-க்கு Claude Code-ஐ இணைக்க முடியுமா?
முடியும். ஆனால் OpenAI-compatible URL-ஐ பயன்படுத்த முடியாது. Claude Code, Anthropic Messages API-யைப் பயன்படுத்துகிறது. Ollama அதே வடிவிலான API-யை, அதே 11434 port-ல் /v1/messages இல் வழங்குகிறது. ANTHROPIC_BASE_URL=http://localhost:11434, ANTHROPIC_AUTH_TOKEN=ollama ஆகியவற்றை export செய்து, காலியாக உள்ள ANTHROPIC_API_KEY உடன் அதை claude --model qwen3-coder:30b மூலம் தொடங்கவும். ollama launch claude இதே settings-ஐ தானாக எழுதுகிறது. இந்த compatibility layer, tool_choice அல்லது prompt caching-ஐ implement செய்யாது. மேலும், token counting endpoint இல்லாததால், காட்டப்படும் token counts தோராயமானவை.
என்னுடைய local model-க்கு தெரியாத code பற்றி அது ஏன் பதிலளிக்கிறது?
அந்த request, context window-க்குள் இனி பொருந்தவில்லை. அதில் முதலில் இருந்த பகுதி error எதுவும் இல்லாமல் நீக்கப்பட்டது. ஒவ்வொரு GPU-க்கும் configure செய்யப்பட்ட overhead-ஐ கழித்த பிறகு கண்டறியப்பட்ட மொத்த VRAM அடிப்படையில் Ollama தனது default context-ஐ அமைக்கிறது: 23 GiB-க்கு குறைவாக இருந்தால் default அளவு 4,096 tokens; 23 முதல் 47 GiB-க்கு குறைவாக இருந்தால் 32,768 tokens; 47 GiB அல்லது அதற்கு மேல் இருந்தால் 262,144 tokens. systemd unit-ல் OLLAMA_CONTEXT_LENGTH=64000-ஐ அமைத்து, Ollama-வை restart செய்யவும். பின்னர் ollama ps-ல் உள்ள CONTEXT column புதிய மதிப்பைக் காட்டுகிறதா என்பதை உறுதிப்படுத்தவும்.
VPS-ல் coding agent-க்கு எந்த model-ஐ இயக்க வேண்டும்?
64k context window உடன் memory-க்குள் பொருந்தும், tools label கொண்ட மிகப் பெரிய model-ஐத் தேர்ந்தெடுக்கவும். Code-க்கு tune செய்யப்பட்ட model-க்கு முன்னுரிமை அளிக்கவும். போதுமான VRAM கொண்ட GPU server-ல் qwen3-coder:30b பொதுவான தேர்வாகும். அந்த tag உங்கள் server-க்கு அதிகமாக இருந்தால், download செய்வதற்கு முன் Nemotron 3.5 Lightning-ன் RAM அளவுகள் மற்றும் CPU-only வேகங்கள் பயனுள்ள ஒப்பீடாக இருக்கும். சுமார் 14B parameters-க்கு குறைவான model கூட code பற்றிய கேள்விகளுக்கு நன்றாகப் பதிலளிக்கலாம். ஆனால் multi-step edits-ல் தோல்வியடையலாம். Tool calls-ல் ஏற்படும் சிறிய formatting பிழைகளையும் agent பணிகள் கடுமையாகப் பாதிக்கும். Sample prompt-ஐ விட, உங்கள் சொந்த repository-யில் உள்ள ஒரு உண்மையான task மூலம் சோதிக்கவும்.
என்னுடைய சொந்த model-ல் coding agent-ஐ இயக்க GPU அவசியமா?
நடைமுறையில், அவசியம். CPU-only inference செயல்படும்; தனிப்பட்ட கேள்விகளுக்கு அது போதுமானதாகவும் இருக்கும். ஆனால் ஒரு task-க்கு agent பல requests-ஐ அனுப்பும். ஒவ்வொரு request-ம் நீண்ட history-ஐ மீண்டும் படிக்கும். எனவே token rate குறைவாக இருந்தால், 2 நிமிட task 1 மணி நேரமாக நீளலாம். ollama ps-ல் உள்ள PROCESSOR column-ஐ பார்க்கவும்: 100% CPU அல்லது CPU/GPU split இருப்பது CPU பயன்பாட்டைக் குறிக்கிறது. இது inference-ஐ மெதுவாக்கும். Unknown CPU offloading இருப்பதை உறுதிப்படுத்தாது.