Claude-ஐ சொந்தமாக self-host செய்ய முடியுமா? உண்மை என்ன?
Claude-ன் model weights பொதுவெளியில் இல்லை என்பதால் அதை self-host செய்ய முடியாது. அதற்கு மாற்றாக உள்ள open models, API gateway மற்றும் Claude Code அமைப்பது எப்படி என அறிக.
Claude-ஐ உங்களால் self-host செய்ய முடியுமா? முடியாது, அதற்கான காரணங்கள் இதோ
Claude-ஐ உங்களால் self-host செய்ய முடியாது. Anthropic அதன் model weights-ஐ வெளியிடுவதில்லை. எனவே, பதிவிறக்கம் செய்ய கோப்புகளோ, இயக்குவதற்கு container-களோ அல்லது உங்கள் சொந்த hardware-ல் பயன்படுத்துவதற்கான உரிமமோ (licence) இல்லை. Claude-க்கான ஒவ்வொரு கோரிக்கையும் Anthropic-ன் API-க்கு அல்லது Amazon Bedrock, Google Vertex AI, அல்லது Microsoft Foundry போன்ற partner-களின் சேவைகளுக்குச் செல்கிறது. இதை உங்கள் சொந்த கணினியில் இயக்குவது என்பது ஒரு configuration பிரச்சினை அல்ல. Anthropic-ன் கட்டுப்பாட்டிற்கு வெளியே இந்த artefact-கள் கிடைப்பதில்லை.
இதுதான் சுருக்கமான பதில். விரிவான பதில் என்னவென்றால், இந்தக் கேள்வியைக் கேட்பவர்களில் பெரும்பாலானோருக்கு உண்மையில் model weights தேவையில்லை. அவர்கள் எதிர்பார்ப்பது பின்வரும் மூன்றில் ஒன்று, இவை அனைத்தையும் நீங்கள் கட்டுப்படுத்தும் server-ல் சாதிக்க முடியும்: உள்ளூர் கணினியில் இயங்கும் திறன்மிக்க model, API keys-ஐப் பாதுகாத்து செலவைக் கட்டுப்படுத்தும் gateway, அல்லது உங்கள் laptop-க்கு பதிலாக server-ல் இயங்கும் coding agent. இந்தக் கையேடு இந்த மூன்றையும், அதற்கான commands-உடன் விளக்குகிறது.
"Self-hosted Claude" என்பதன் பொதுவான அர்த்தம்
"Self-hosted Claude" என்பதற்கான தேடல் முடிவுகள் பயனர்களின் பல்வேறு தேவைகளைப் பிரதிபலிக்கின்றன. ஒவ்வொன்றிற்கும் வெவ்வேறு தீர்வுகள் தேவைப்படுகின்றன.
சில பயனர்கள் தனியுரிமையை (privacy) விரும்புகிறார்கள். தங்களின் prompts தங்களின் network-ஐ விட்டு வெளியேறக்கூடாது என்று அவர்கள் கருதுகிறார்கள். இதற்கு local open weight model மட்டுமே தீர்வாகும், ஏனெனில் Claude-க்கு அனுப்பப்படும் எந்தவொரு கோரிக்கையும் Anthropic-க்கு அனுப்பப்படும் கோரிக்கையாகவே அமையும்.
சில பயனர்கள் செலவைக் கட்டுப்படுத்த விரும்புகிறார்கள். அதிகப்படியான credits செலவாவதை அவர்கள் அஞ்சுகிறார்கள். இதற்கு ஒரு gateway தீர்வாக அமையும். இது Claude-உடன் இணைந்து செயல்படுவதால், model-ன் தரம் குறையாது.
சில பயனர்கள் laptop-ஐச் சார்ந்து இருக்க விரும்பவில்லை. laptop-ஐ மூடினாலும் தொடர்ந்து இயங்கும் ஒரு agent-ஐ அவர்கள் எதிர்பார்க்கிறார்கள். இதற்கு ஒரு VPS தீர்வாகும்; அதில் Claude Code தடையின்றி இயங்கும்.
சில பயனர்கள் "self-hosted OpenRouter" என்ற சொற்றொடரைப் பயன்படுத்துகிறார்கள். இதுவும் ஒரு gateway-தான். இதற்கு LiteLLM-ஐப் பயன்படுத்துவதே பொதுவான தீர்வாகும்.
உங்கள் தேவை என்ன என்பதை முதலில் கண்டறியவும், ஏனெனில் ஒவ்வொரு தேவைக்கும் ஏற்றவாறு சரியான கட்டமைப்பு (build) மாறுபடும்.
Ollama மூலம் open model-ஐ self-host செய்தல்
உங்கள் server-லிருந்து எந்தவொரு prompt-ம் வெளியே செல்லக்கூடாது என்பது தேவையாக இருந்தால், open weight model-ஐ இயக்கவும். தற்போது வாடகை server-களில் பயன்படுத்தக்கூடிய குடும்பங்கள் Llama, Qwen, Mistral, Gemma, மற்றும் DeepSeek ஆகும். இவை அனைத்தும் நீங்கள் download செய்து இயக்கக்கூடிய weights-ஐ வழங்குகின்றன.
Ollama இதற்கான மிக வேகமான வழியாகும். இதன் install script ஒரே வரியில் அமையும், இது Ubuntu-வில் systemd service-ஐ அமைத்துவிடும்.
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollamasystemctl status ollama கட்டளை active (running) என்பதை அச்சிட வேண்டும். அதன் பிறகு ஒரு model-ஐ pull செய்து அதனுடன் உரையாடலாம்.
ollama pull qwen3:8b
ollama run qwen3:8b "Summarise what a reverse proxy does in two sentences."முதல் pull கட்டளை பல gigabytes தரவை download செய்யும், எனவே எதற்கும் பதில் அளிக்கும் முன் அந்த model RAM அல்லது GPU memory-ல் பொருந்த வேண்டும். Quantised model-களுக்கான ஒரு பொதுவான விதி: 8 billion parameter model-க்கு சுமார் 6 GB, 14 billion parameter model-க்கு சுமார் 10 GB தேவைப்படும்; 70 billion parameter model-க்கு பெரும்பாலான பொதுவான VPS திட்டங்களில் இருப்பதை விட அதிக memory தேவைப்படும். server-ல் memory குறைவாக இருந்தால், kernel அந்த process-ஐ நிறுத்திவிடும் (kill), அப்போது Error: llama runner process has terminated பிழையை நீங்கள் காண்பீர்கள், மேலும் dmesg-ல் out of memory என்ற வரி இடம்பெறும். model-ஐ குறை கூறுவதற்கு முன் free -h-ஐ சரிபார்க்கவும். அதே memory அளவுதான் model ஒரு நீண்ட prompt-ஐ எவ்வளவு தூரம் வாசிக்கும் என்பதையும் தீர்மானிக்கிறது, ஏனெனில் Ollama இயல்பாகவே ஒரு குறிப்பிட்ட அளவிற்கு மேல் உள்ளவற்றை நீக்கிவிடும் (truncate). எனவே நீண்ட ஆவணங்கள் பாதியிலேயே சுருக்கப்படும்போது, raising num_ctx and sizing the KV cache என்பதைச் சரிபார்ப்பது முதல் வேலையாக இருக்க வேண்டும்.
Ollama, 127.0.0.1:11434-ல் ஒரு HTTP API-ஐயும் வழங்குகிறது, இதுவே இதை வெறும் chat கருவியாக மட்டுமன்றி பிற மென்பொருட்களுக்குப் பயனுள்ளதாக மாற்றுகிறது.
curl http://127.0.0.1:11434/api/generate -d '{"model":"qwen3:8b","prompt":"ping","stream":false}'நீண்ட இடைவெளிக்குப் பிறகு வரும் முதல் கோரிக்கைக்கு முப்பது வினாடிகள் ஆகி, அடுத்தடுத்த கோரிக்கைகள் உடனடியாகப் பதில் அளித்தால், எதிலும் கோளாறு இல்லை என்று அர்த்தம்: Ollama ஐந்து நிமிடங்கள் பயன்பாடு இல்லையென்றால் model-ஐ memory-யிலிருந்து நீக்கிவிடும், holding it resident with keep_alive என்பதைப் பயன்படுத்துவது அந்த reload தாமக்கத்தைத் தவிர்க்கும்.
அந்த port-ஐ localhost-ல் மட்டுமே பிணைக்கவும் (bind). பொது IP-யில் Ollama port-ஐத் திறந்து வைப்பது, அதைக் கண்டறியும் எவருக்கும் உங்கள் GPU-வை இலவசமாக வழங்குவதற்குச் சமம். systemd unit, GPU detection, மற்றும் reverse proxy அமைத்தல் உள்ளிட்ட முழுமையான கட்டமைப்பு the guide to running Ollama on a VPS-ல் விவரிக்கப்பட்டுள்ளது. நீங்கள் ஒரே நேரத்தில் ஒன்றுக்கும் மேற்பட்ட பயனர்களுக்குச் சேவை வழங்குகிறீர்கள் என்றால், the comparison of Ollama and vLLM-ஐ முதலில் படிக்கவும், ஏனெனில் வன்பொருள் (hardware) திறன் குறையும் முன்பே Ollama-வின் single stream வடிவமைப்பு ஒரு தடையாக (bottleneck) மாறிவிடும்.
திறன் இடைவெளியைப் பற்றி உண்மையாக இருங்கள். நடுத்தர அளவுள்ள VPS-ல் இயங்கும் ஒரு நல்ல open model, சுருக்கம் எழுதுதல், வகைப்படுத்துதல், வரைவு செய்தல் மற்றும் எளிமையான தரவு பிரித்தெடுத்தல் போன்ற பணிகளுக்கு மிகவும் பயனுள்ளதாக இருக்கும். நீண்ட மற்றும் பல கட்டங்களைக் கொண்ட பகுத்தறிவு (reasoning), பெரிய codebases, மற்றும் agentic tool பயன்பாடு ஆகியவற்றில் இது முன்னணி hosted model-களுக்கு இணையாக இருக்காது; prompt tuning செய்தாலும் இந்த இடைவெளியை முழுமையாக நிரப்ப முடியாது. local model-ஐ அது சிறப்பாகச் செய்யும் பணிகளுக்கு மட்டும் பயன்படுத்தவும், கடினமான பணிகளுக்கு hosted model-க்குக் கட்டணம் செலுத்துவது சிறந்தது.
LiteLLM மூலம் உங்கள் சொந்த gateway-ஐ இயக்குதல்
மக்கள் தேடும் "self-hosted OpenRouter" இதுதான். உங்கள் applications-க்கும் ஒவ்வொரு model provider-க்கும் இடையில் ஒரு gateway செயல்படுகிறது. உங்கள் apps ஒரு key-ஐ மட்டும் வைத்துக்கொண்டு, உங்கள் server-ஐ நோக்கிச் செயல்படும். உண்மையான provider keys அந்த server-ல் மட்டுமே இருக்கும். ஒவ்வொரு key-க்கும் செலவு வரம்பை (spend cap) நிர்ணயிக்கலாம், வெவ்வேறு apps-ஐ வெவ்வேறு models-க்கு அனுப்பலாம், மேலும் ஒவ்வொரு request-ஐயும் ஓரிடத்தில் பதிவு (log) செய்யலாம்.
LiteLLM பொதுவாகத் தேர்ந்தெடுக்கப்படுகிறது, ஏனெனில் இது OpenAI compatible API-ல் இயங்குகிறது மற்றும் Anthropic, Ollama மற்றும் பிற providers-க்கு ஒரே endpoint மூலம் proxy செய்கிறது. இதை ஒரு config file-உடன் Docker-ல் இயக்கவும்.
model_list:
- model_name: claude
litellm_params:
model: anthropic/claude-sonnet-5
api_key: os.environ/ANTHROPIC_API_KEY
- model_name: local
litellm_params:
model: ollama/qwen3:8b
api_base: http://127.0.0.1:11434இதை litellm_config.yaml எனச் சேமித்து proxy-ஐத் தொடங்கவும். இது port 4000-ல் இயங்கும்.
docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml \
-e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
-e LITELLM_MASTER_KEY=sk-1234 \
-p 4000:4000 docker.litellm.ai/berriai/litellm:latest \
--config /app/config.yamlLITELLM_MASTER_KEY என்பது admin credential ஆகும், எனவே இதை root password போலக் கருதவும்; example value-ஐ அப்படியே பயன்படுத்த வேண்டாம். ஒரு hosted API-ஐ எப்படி அழைப்பீர்களோ, அதேபோல இந்த proxy-ஐயும் அழைக்கவும்.
curl http://localhost:4000/v1/chat/completions \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{"model": "claude","messages": [{"role": "user","content": "Say hello in five words."}]}'சரியான response என்பது choices array கொண்ட ஒரு சாதாரண JSON ஆகும். 401 என்பது authentication தோல்வியைக் குறிக்கும். இந்த அமைப்பில், உங்கள் master key-உடன் பொருந்தாத Authorization header-தான் இதற்குப் பொதுவான காரணம். தவறான virtual key அல்லது provider நிராகரிக்கும் ஒரு provider key (உதாரணமாக, தவறான ANTHROPIC_API_KEY) இருந்தாலும் LiteLLM authentication தோல்வியைக் காட்டும்; அப்போது error-ல் <Provider>Exception என்ற வடிவத்தில் provider-ன் பெயர் இடம்பெறும். ஒரு model-ஐக் குறிப்பிடும் 400 பிழை பெரும்பாலும், உங்கள் request-ல் உள்ள model, config file-ல் உள்ள எந்த model_name-உடனும் பொருந்தவில்லை என்பதைக் குறிக்கும். ஒரு request model-ன் context window-க்கு மிக நீளமாக இருந்தால் LiteLLM 400-ஐத் தரும், எனவே config-ஐ மாற்றும் முன் error message-ஐப் படிக்கவும்.
Anthropic-ஐ நேரடியாக அழைப்பதற்குப் பதிலாக இதை உருவாக்குவதற்கான காரணம் செலவு வரம்பு (spend cap) ஆகும். ஒவ்வொரு application-க்கும் தனித்தனி virtual key-ஐ உருவாக்கி, ஒவ்வொன்றிற்கும் தனித்தனி பட்ஜெட்டை ஒதுக்கவும்.
curl 'http://0.0.0.0:4000/key/generate' \
--header 'Authorization: Bearer sk-1234' \
--header 'Content-Type: application/json' \
--data-raw '{"models": ["claude"], "max_budget": 100}'Virtual keys மற்றும் பட்ஜெட்டுகளுக்கு proxy-க்கு பின்னால் ஒரு Postgres database தேவை. மேலே உள்ள docker run-ல் அது இல்லை, எனவே முதலில் -e DATABASE_URL=postgresql://user:password@host:5432/litellm-ஐச் சேர்க்கவும். database இல்லையென்றால், இந்த அழைப்பு No connected db. பிழையுடன் தோல்வியடையும்.
அந்த key நூறு டாலர்கள் வரை மட்டுமே செலவழிக்க முடியும், ஒரு குறிப்பிட்ட model-ஐ மட்டுமே அணுக முடியும், மற்ற எதையும் அணுக முடியாது. அதிகாலை மூன்று மணிக்கு ஒரு agent தவறாகச் செயல்பட்டால், பாதிப்பு உங்கள் முழு கணக்கையும் பாதிக்காமல், அந்த ஒரு key-க்கு மட்டுமே கட்டுப்படும். அந்த முறை மற்றும் அதைச் சுற்றியுள்ள கண்காணிப்பு ஆகியவை VPS-ல் agent செலவுகளைக் கட்டுப்படுத்துதல் என்ற பகுதியில் விவாதிக்கப்பட்டுள்ளன. நீங்கள் token அடிப்படையில் பணம் செலுத்த வேண்டுமா என்று இன்னும் முடிவெடுக்கவில்லை என்றால், API மற்றும் subscription செலவு ஒப்பீடு என்ற பகுதி கணக்கீடுகளைப் புரிந்துகொள்ள உதவும்.
இந்த gateway என்ன செய்யாது என்பதைக் கவனிக்கவும். இது Claude-ஐ local-ஆக மாற்றாது, உங்கள் prompts-ஐ Anthropic-மிடமிருந்து மறைக்கவும் செய்யாது. Requests உங்கள் server-லிருந்து provider-க்குச் சென்றே தீரும். நீங்கள் பெறுவது keys, செலவு, routing மற்றும் logs ஆகியவற்றின் மீதான கட்டுப்பாடு மட்டுமே.
உங்கள் சொந்த VPS-ல் Claude Code-ஐ இயக்குதல்
மூன்றாவது விருப்பத்தை நிறைவேற்றுவது மிகவும் எளிது. Claude Code என்பது ஒரு client ஆகும். இது ஒரு ஒற்றை native binary-ஆக நிறுவப்படுகிறது, மேலும் இது HTTPS வழியாக API-உடன் தொடர்பு கொள்கிறது. இதை நீங்கள் சொந்தமாக வைத்திருக்கும் server-ல் நிறுவுவதன் மூலம், உங்கள் laptop-ஐ அணைத்த பிறகும் agent தொடர்ந்து செயல்படும். மேலும், agent-ன் செயல்பாட்டு எல்லை (blast radius) உங்கள் முதன்மை கணினியைப் பாதிக்காமல், நீங்கள் தேவைப்படும்போது அழித்து மீண்டும் உருவாக்கக்கூடிய ஒரு தனிப்பட்ட சூழலுக்குள் (box) கட்டுப்படுத்தப்படும்.
npm install -g @anthropic-ai/claude-code
claude --versionஇதன் npm package-க்கு Node.js 22 அல்லது அதற்குப் பிந்தைய பதிப்பு தேவைப்படுகிறது. பழைய Node.js பதிப்புகளில் நிறுவினால், அது EBADENGINE எச்சரிக்கையை மட்டுமே காட்டும், ஆனால் நிறுவல் நிறைவடையும். Anthropic பரிந்துரைக்கும் native installer-ஆன curl -fsSL https://claude.ai/install.sh | bash-க்கு Node.js தேவையில்லை. எப்படியிருப்பினும், நிறுவப்பட்ட claude binary, Node-ல் இயங்காது. Anthropic குறைந்தபட்சம் 4 GB RAM தேவை என்று குறிப்பிடுகிறது, எனவே அதற்கேற்ப VPS-ன் அளவைத் தேர்வு செய்யவும்.
SSH இணைப்பு துண்டிக்கப்பட்டாலும் நீண்ட நேரம் நடக்கும் பணிகள் பாதிக்கப்படாமல் இருக்க, இதை tmux-க்குள் இயக்கவும். session கையாளுதல் உள்ளிட்ட அந்த அமைப்பு, tmux மூலம் VPS-ல் Claude Code-ஐ இயக்குதல் என்ற பகுதியில் விளக்கப்பட்டுள்ளது. இந்த agent-க்கு எனத் தனிப்பட்ட unprivileged user-ஐ உருவாக்கவும். மேலும், நீங்கள் முக்கியமாகக் கருதும் கோப்புகளுக்கு agent-க்கு எழுதும் அனுமதியை (write access) வழங்கும் முன், server-ல் Claude Code-ஐ இயக்குவதற்கான பாதுகாப்பு விதிகள் என்பதைப் படிக்கவும்.
இது agent-ஐ நீங்களே host செய்வது, model-ஐ அல்ல. இதைத் தெளிவாகப் புரிந்துகொள்வது அவசியம், ஏனெனில் பலர் இதைக் குழப்பிக்கொள்கிறார்கள். நீங்கள் process, filesystem, network egress மற்றும் logs ஆகியவற்றைக் கட்டுப்படுத்துகிறீர்கள். inference-ஐ Anthropic மட்டுமே கட்டுப்படுத்துகிறது.
ஒவ்வொரு விருப்பத்திற்கும் ஆகும் உண்மையான செலவு
விலைகள் மாறக்கூடியவை என்பதால், இவற்றை ஒரு நிலையான விலையாகக் கருதாமல் ஒரு தோராயமான மதிப்பீடாகக் கொள்ளவும். 17 அக்டோபர் 2026 நிலவரப்படி, Claude Sonnet 5.5-ன் விலை 1 மில்லியன் input tokens-க்கு $2 மற்றும் 1 மில்லியன் output tokens-க்கு $10 ஆகும். Claude Opus 5.5-ன் விலை முறையே $4 மற்றும் $20 ஆகும். மேலே உள்ள gateway config-ல் குறிப்பிடப்பட்டுள்ள Sonnet 5 மாடலுக்குப் பதிலாக தற்போது Sonnet 5.5 வந்துவிட்டது, ஆனால் Sonnet 5 இன்னும் பயன்பாட்டிலிருந்து நீக்கப்படவில்லை (deprecated). Anthropic-ன் model deprecations பக்கத்தில் இது Active என்று பட்டியலிடப்பட்டுள்ளது, மேலும் 30 ஜூன் 2027-க்கு முன்னதாக இது நீக்கப்படாது. இதன் விலை இன்னும் $2 மற்றும் $10 ஆகவே உள்ளது, Opus 5-ன் விலை இன்னும் $5 மற்றும் $25 என்றே பட்டியலிடப்பட்டுள்ளது. ஒரு local model-க்கு token அடிப்படையில் செலவு ஏதுமில்லை; அதற்குப் பதிலாக, நீங்கள் பயன்படுத்தினாலும் இல்லாவிட்டாலும், அந்த server-க்கான மாதாந்திர வாடகையே அதன் செலவாகும்.
Break even point என்பது மக்கள் எதிர்பார்ப்பதை விடக் குறைவானது. ஒரு பயனுள்ள open model-ஐ இயக்கத் தேவையான memory கொண்ட VPS-க்கு ஒவ்வொரு மாதமும் உண்மையான பணம் செலவாகிறது, மேலும் அது பெரும்பாலான நேரங்களில் சும்மாவே (idle) இருக்கும். உங்கள் பயன்பாடு அவ்வப்போது அதிகமாக இருந்தால் (bursty), hosted API பொதுவாக மலிவானது. உங்கள் பயன்பாடு சீராக இருந்தாலோ அல்லது உங்கள் தரவு உங்கள் network-ஐ விட்டு வெளியேறக்கூடாது என்றாலோ, local model இரண்டு வகையிலும் சிறந்தது.
பெரும்பாலான குழுக்கள் கடைப்பிடிக்கும் நேர்மையான கலப்பு அணுகுமுறை இதுதான்: அதிக அளவிலான, எளிமையான பணிகளுக்கு local-ஆக ஒரு open model-ஐ இயக்கவும். கடினமான கோரிக்கைகளை (hard requests) ஒரு hosted frontier model-க்கு அனுப்பவும். இவை இரண்டிற்கும் முன்னால் ஒரு gateway-ஐ அமைக்கவும்; அப்போதுதான் எந்த கோரிக்கை எந்த model-க்குச் செல்கிறது என்பது application-களுக்குத் தெரிய வேண்டிய அவசியமிருக்காது. மேலும், application code-ஐ மாற்றாமலேயே அவற்றுக்கு இடையேயான எல்லையை உங்களால் மாற்ற முடியும். அந்த architecture தான் "self hosted Claude"-ன் நடைமுறை வடிவம்; அதன் நேரடி வடிவத்தைப் போலன்றி, இது சாத்தியமானது. நீங்கள் முழு agent stack-ஐயும் நீங்களே இயக்க விரும்பினால், self-hosted AI agents-ன் தொகுப்பு என்னென்ன வசதிகள் உள்ளன என்பதை விளக்குகிறது.
FAQ
Claude-ன் model weights-ஐ தரவிறக்கம் செய்து உள்ளூர் கணினியில் (locally) இயக்க முடியுமா?
முடியாது. Anthropic எந்தவொரு Claude model-க்கும் weights-ஐ வெளியிட்டதில்லை, மேலும் சுய-வழங்கலை (self-hosting) அனுமதிக்கும் உரிமமும் (licence) இல்லை. இணையத்தில் "Claude model" என்று தரவிறக்கம் செய்யக் கிடைக்கும் எதுவும், தவறாகப் பெயரிடப்பட்ட வேறொரு model அல்லது API-ஐ அழைக்கும் ஒரு wrapper ஆகும். அதற்கு API key தேவைப்பட்டால், அது உள்ளூர் (local) இயக்கம் அல்ல.
Claude-க்கு நெருக்கமான open model எது?
துல்லியமான மாற்று எதுவும் இல்லை, மேலும் முன்னணியில் இருப்பவை சில மாதங்களுக்கு ஒருமுறை மாறிக் கொண்டே இருக்கும். Llama, Qwen, Mistral, Gemma, மற்றும் DeepSeek ஆகிய open weight குடும்பங்களைச் சோதித்துப் பார்க்கலாம். சுருக்கம் (summarising), வகைப்படுத்துதல் (classification), மற்றும் எளிய code திருத்தங்களுக்கு 8 முதல் 14 பில்லியன் parameters கொண்ட ஒரு நல்ல open model பயனுள்ளதாக இருக்கும். நீண்ட மற்றும் பல படிகளைக் கொண்ட பகுத்தறிவு (multi-step reasoning) மற்றும் agentic tool பயன்பாடுகளில், hosted frontier model-களுக்கும் இதற்கும் இடையே இன்னும் பெரிய இடைவெளி உள்ளது. leaderboard-ஐ நம்புவதை விட, உங்கள் சொந்த prompts-களைக் கொண்டு சோதித்துப் பாருங்கள்.
LiteLLM என்பது சுய-வழங்கப்பட்ட (self-hosted) OpenRouter-ஆ?
செயல்பாட்டு ரீதியாக ஆம், routing மற்றும் key மேலாண்மைக்கு இது பொருந்தும். LiteLLM உங்கள் server-ல் இயங்குகிறது, OpenAI-க்கு இணக்கமான ஒரு endpoint-ஐ வழங்குகிறது, மேலும் Anthropic, Ollama மற்றும் பிற providers-க்கு proxy-ஆகச் செயல்படுகிறது. Postgres database-ஐ இணைக்கும்போது, ஒவ்வொரு key-க்கும் செலவு வரம்புகளை (spend caps) நிர்ணயிக்கலாம், அத்துடன் model routing மற்றும் logs-ஐ ஒரே இடத்தில் பார்க்க முடியும். இது உள்ளூர் inference-ஐ வழங்காது: Claude-க்கான கோரிக்கைகள் (requests) தொடர்ந்து Anthropic-க்கே செல்லும்.
Claude Code-ஐ எனது சொந்த server-ல் இயக்குவது எனது code-ன் ரகசியத்தன்மையைப் பாதுகாக்குமா?
பாதுகாக்காது. Claude Code தான் படிக்கும் கோப்புகளின் உள்ளடக்கத்தை Anthropic API-க்கு அனுப்பிவிடும், அந்தச் செயல்முறை (process) எங்கு இயங்கினாலும் இதுவே நடக்கும். ஒரு VPS உங்களுக்கு agent-ன் தனிமைப்படுத்தலை (isolation) மட்டுமே தருகிறது, உள்ளடக்கத்தின் ரகசியத்தன்மையை அல்ல. இதற்குத் தனிப்பட்ட, குறைந்த அதிகாரம் கொண்ட (unprivileged) user-ஐ ஒதுக்குங்கள், credentials மற்றும் தொடர்பில்லாத repositories-லிருந்து இதைத் தள்ளி வையுங்கள், அது படிக்கக்கூடிய அனைத்தையும் server-ஐ விட்டு வெளியேறும் உள்ளடக்கமாகவே கருதுங்கள்.