Claude स्वतःच्या सर्व्हरवर चालवता येईल का? खरे उत्तर
Claude चे weights सार्वजनिक नाहीत, त्यामुळे तुमच्या server वर ते चालवता येत नाही. त्याऐवजी self-host करण्यासाठी open models, gateway आणि Claude Code चे पर्याय समजून घ्या.
Claude स्वतःच्या सर्व्हरवर चालवता येईल का? नाही, आणि त्याचे कारण येथे आहे
Claude स्वतःच्या सर्व्हरवर चालवता येत नाही. Anthropic मॉडेलचे weights प्रकाशित करत नाही. त्यामुळे download करण्यासाठी कोणतीही file, चालवण्यासाठी कोणताही container किंवा स्वतःच्या hardware वरून ते serve करण्याची परवानगी देणारा कोणताही licence उपलब्ध नाही. प्रत्येक Claude request Anthropic's API कडे किंवा Amazon Bedrock, Google Vertex AI किंवा Microsoft Foundry सारख्या hosted partner कडे जाते. आपल्या मालकीच्या machine वर ते चालवणे ही configuration ची समस्या नाही. Anthropic च्या बाहेर हा artefact अस्तित्वातच नाही.
हे थोडक्यात उत्तर आहे. सविस्तर उत्तर असे आहे की हा प्रश्न विचारणाऱ्या बहुतेक लोकांना प्रत्यक्षात weights नको असतात. त्यांना आपल्या नियंत्रणातील server वर चालणाऱ्या खालीलपैकी एखाद्या गोष्टीची गरज असते: स्थानिक पातळीवर चालणारे सक्षम model, त्यांच्या API keys सुरक्षित ठेवणारा आणि खर्चाला मर्यादा घालणारा gateway, किंवा laptop ऐवजी त्यांच्या स्वतःच्या box वर चालणारा coding agent. या मार्गदर्शिकेत commands सह या तिन्ही पर्यायांचा समावेश आहे.
"self-hosted Claude" याचा सामान्य अर्थ
"self hosted Claude" या शोधासाठी येणाऱ्या लोकांच्या गरजा काही वेगवेगळ्या प्रकारच्या असतात. प्रत्येक गरजेसाठी वेगळे उत्तर आवश्यक आहे.
काही लोकांना गोपनीयता हवी असते. त्यांना prompts त्यांच्या network च्या बाहेर जाऊ नयेत असे वाटते. हे साध्य करण्यासाठी केवळ स्थानिक open weight model उपयोगी ठरतो, कारण कोणतीही Claude विनंती म्हणजे व्याख्येनुसार Anthropic कडे केलेली विनंती असते.
काही लोकांना खर्चावर नियंत्रण हवे असते. agent अनियंत्रितपणे credits खर्च करेल याची त्यांना चिंता असते. gateway ही समस्या सोडवतो. तो Claude सोबत कार्य करतो, त्यामुळे model ची गुणवत्ता कायम ठेवता येते.
काही लोकांना laptop वरून स्वातंत्र्य हवे असते. laptop चे झाकण बंद केल्यानंतरही agent कार्यरत राहावा अशी त्यांची इच्छा असते. VPS ही गरज पूर्ण करतो आणि Claude Code त्यावर सहजपणे चालतो.
काही लोक "self hosted OpenRouter" शोधत असतात. हे देखील gateway आहे आणि यासाठी नेहमीचे उत्तर LiteLLM हे आहे.
तुमची गरज यापैकी कोणती आहे ते निश्चित करा, कारण प्रत्येक बाबतीत योग्य deployment वेगळे असते.
Ollama वापरून open model स्वतः होस्ट करा
एकही prompt तुमच्या सर्व्हरबाहेर जाऊ नये अशी आवश्यकता असल्यास open weight model चालवा. आज भाड्याने घेतलेल्या सर्व्हरवर प्रत्यक्ष वापरता येणाऱ्या प्रमुख families म्हणजे Llama, Qwen, Mistral, Gemma आणि DeepSeek. या सर्वांकडून तुम्ही download करून चालवता येतील असे weights प्रकाशित केले जातात.
Ollama वापरण्याचा हा सर्वात जलद मार्ग आहे. Install script एका ओळीत आहे आणि Ubuntu वर तो systemd service तयार करतो.
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollamasystemctl status ollama ने active (running) दाखवले पाहिजे. त्यानंतर model pull करून त्याच्याशी संवाद साधा.
ollama pull qwen3:8b
ollama run qwen3:8b "Summarise what a reverse proxy does in two sentences."पहिल्या pull मध्ये अनेक gigabytes download होतात. त्यामुळे model कोणत्याही प्रश्नाचे उत्तर देण्यापूर्वी तो RAM किंवा GPU memory मध्ये मावणे आवश्यक आहे. Quantised models साठी साधारण नियम असा आहे: 8 billion parameters असलेल्या model साठी सुमारे 6 GB मोकळी memory, 14 billion parameters असलेल्या model साठी सुमारे 10 GB memory आवश्यक असते. 70 billion parameters असलेल्या model साठी बहुतेक general purpose VPS plans मध्ये उपलब्ध असते त्यापेक्षा अधिक memory लागते. सर्व्हरमध्ये memory कमी असल्यास kernel process बंद करतो आणि तुम्हाला Error: llama runner process has terminated दिसते; dmesg मध्ये out of memory अशी नोंद असते. Model ला दोष देण्यापूर्वी free -h तपासा. हीच memory मर्यादा model लांब prompt पैकी प्रत्यक्षात किती भाग वाचतो हेही ठरवते. Ollama मध्यम आकाराच्या default window पेक्षा पुढील मजकूर शांतपणे truncate करते. त्यामुळे लांब documents अर्धवट summarise होत असतील, तर सर्वप्रथम num_ctx वाढवणे आणि KV cache साठी योग्य memory आकार ठरवणे तपासा.
Ollama 127.0.0.1:11434 वर HTTP API देखील उपलब्ध करून देते. त्यामुळे ते केवळ chat toy न राहता इतर software साठीही उपयुक्त ठरते.
curl http://127.0.0.1:11434/api/generate -d '{"model":"qwen3:8b","prompt":"ping","stream":false}'काही काळ वापर न झाल्यानंतरची पहिली request तीस seconds घेत असेल आणि पुढची request त्वरित पूर्ण होत असेल, तर काहीही बिघडलेले नाही. Ollama पाच minutes idle राहिल्यानंतर model unload करते. keep_alive वापरून model memory मध्येच ठेवणे ही पुन्हा load करण्याची विलंबाची किंमत दूर करते.
तो port localhost ला bind ठेवावा. Public IP वर उघडा Ollama port म्हणजे तो सापडणाऱ्या कोणासाठीही मोफत GPU उपलब्ध करून देणे होय. systemd unit, GPU detection आणि reverse proxy समोर ठेवण्यासह संपूर्ण setup VPS वर Ollama चालवण्याच्या मार्गदर्शिकेत दिला आहे. एकाच वेळी एकापेक्षा अधिक users साठी सेवा देत असल्यास प्रथम Ollama आणि vLLM यांची तुलना वाचा. कारण hardware ची मर्यादा येण्यापूर्वीच Ollama ची single stream रचना bottleneck ठरते.
ही मर्यादा स्पष्टपणे समजून घ्या. Mid sized VPS वरील चांगला open model summarising, classifying, drafting आणि simple extraction साठी खरोखर उपयुक्त असतो. लांब multi step reasoning, मोठ्या codebases आणि agentic tool use यांमध्ये तो frontier hosted model च्या क्षमतेच्या जवळही पोहोचत नाही. Prompt tuning कितीही केले तरी ही तफावत भरून निघत नाही. Local model ज्या कामांसाठी चांगला आहे त्यासाठी तो निवडा आणि काम खरोखर कठीण असेल तेथे hosted model साठी पैसे द्या.
LiteLLM वापरून स्वतःचा gateway चालवा
लोक शोधत असलेला हा “self hosted OpenRouter” आहे. Gateway तुमचे अॅप्लिकेशन्स आणि प्रत्येक model provider यांच्यामध्ये काम करतो. तुमच्या अॅप्लिकेशन्सकडे एकच key असते आणि ती तुमच्या server कडे निर्देशित केलेली असते. वास्तविक provider keys फक्त त्या server वर ठेवलेल्या असतात. प्रत्येक key साठी खर्चाची कमाल मर्यादा ठरवता येते, वेगवेगळ्या अॅप्लिकेशन्सना वेगवेगळ्या models कडे route करता येते आणि प्रत्येक request एकाच ठिकाणी log करता येते.
LiteLLM हा सर्वसाधारण पर्याय आहे, कारण तो OpenAI compatible API वापरतो आणि त्याच endpoint मागे Anthropic, Ollama तसेच इतर बहुतांश providers कडे proxy करतो. तो config file सह Docker मध्ये चालवा.
model_list:
- model_name: claude
litellm_params:
model: anthropic/claude-sonnet-5
api_key: os.environ/ANTHROPIC_API_KEY
- model_name: local
litellm_params:
model: ollama/qwen3:8b
api_base: http://127.0.0.1:11434ते litellm_config.yaml म्हणून जतन करा आणि proxy सुरू करा. तो port 4000 वर requests स्वीकारतो.
docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml \
-e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
-e LITELLM_MASTER_KEY=sk-1234 \
-p 4000:4000 docker.litellm.ai/berriai/litellm:latest \
--config /app/config.yamlLITELLM_MASTER_KEY हे admin credential आहे. त्यामुळे त्याला root password प्रमाणे सुरक्षित ठेवा आणि example value वापरू नका. Hosted API ला ज्या पद्धतीने call कराल, त्याच पद्धतीने proxy ला call करा.
curl http://localhost:4000/v1/chat/completions \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{"model": "claude","messages": [{"role": "user","content": "Say hello in five words."}]}'यशस्वी response हा choices array असलेला नेहमीचा JSON असतो. 401 म्हणजे authentication failure. या setup मध्ये नेहमीचे कारण म्हणजे तुमच्या master key शी जुळत नसलेला Authorization header. Invalid virtual key साठीही LiteLLM हेच परत करते. Provider ने नाकारलेली provider key, उदाहरणार्थ चुकीचा ANTHROPIC_API_KEY, देखील authentication failure निर्माण करते. अशा वेळी error मध्ये provider चे नाव <Provider>Exception या स्वरूपात दिसते. Model चे नाव दर्शवणारा 400 आढळल्यास, तुमच्या request मधील model config file मधील कोणत्याही model_name शी जुळत नसण्याची शक्यता असते. Request model च्या context window पेक्षा मोठी असल्यास LiteLLM 400 देखील परत करते. त्यामुळे config संपादित करण्यापूर्वी error message वाचा.
Anthropic ला थेट call करण्याऐवजी हे gateway तयार करण्याचे कारण म्हणजे खर्चाची कमाल मर्यादा. प्रत्येक अॅप्लिकेशनसाठी स्वतंत्र virtual key जारी करा आणि प्रत्येक key साठी स्वतंत्र budget ठेवा.
curl 'http://0.0.0.0:4000/key/generate' \
--header 'Authorization: Bearer sk-1234' \
--header 'Content-Type: application/json' \
--data-raw '{"models": ["claude"], "max_budget": 100}'Virtual keys आणि budgets साठी proxy मागे Postgres database आवश्यक आहे. वरील docker run मध्ये database नाही. त्यामुळे प्रथम त्यात -e DATABASE_URL=postgresql://user:password@host:5432/litellm जोडा. Database नसल्यास हा call No connected db. सह अपयशी ठरतो.
त्या key मधून जास्तीत जास्त one hundred dollars खर्च करता येतात आणि ती फक्त एका model पर्यंत पोहोचू शकते. इतर कोणतीही कृती करता येत नाही. पहाटे तीन वाजता एखादा agent चुकीच्या पद्धतीने काम करू लागल्यास, त्याचा परिणाम संपूर्ण account ऐवजी एका key पुरताच मर्यादित राहतो. ही पद्धत आणि तिच्याशी संबंधित monitoring यांचा विषय VPS वर agent चा खर्च नियंत्रणात ठेवणे हा आहे. Token नुसार पैसे देणे योग्य आहे की नाही याचा निर्णय अजून घेत असाल, तर API आणि subscription खर्चाची तुलना या लेखात गणित स्पष्ट केले आहे.
Gateway काय करत नाही, हेही लक्षात घ्या. तो Claude ला local करत नाही आणि तुमचे prompts Anthropic पासून लपवत नाही. Requests अजूनही तुमच्या server वरून provider कडे जातात. तुम्हाला keys, खर्च, routing आणि logs यांवर नियंत्रण मिळते.
तुमच्या स्वतःच्या VPS वर Claude Code चालवा
तिसरी इच्छा पूर्ण करणे सर्वात सोपे आहे. Claude Code हे client आहे. ते एका native binary म्हणून install होते आणि HTTPS द्वारे API शी संवाद साधते. ते तुमच्या मालकीच्या server वर ठेवल्यास तुम्ही laptop बंद केल्यानंतरही agent कार्यरत राहतो. तसेच agent च्या संभाव्य परिणामांची व्याप्ती तुम्ही पुन्हा तयार करू शकणाऱ्या एका box पर्यंत मर्यादित राहते, मुख्य machine पर्यंत नाही.
npm install -g @anthropic-ai/claude-code
claude --versionnpm package साठी Node.js 22 किंवा त्यानंतरची आवृत्ती आवश्यक आहे. मात्र जुन्या Node.js वर install केल्यास फक्त EBADENGINE warning दिसते आणि install पूर्ण होते. Anthropic च्या शिफारसीनुसार native installer, curl -fsSL https://claude.ai/install.sh | bash, साठी Node.js ची अजिबात आवश्यकता नाही. कोणताही पर्याय वापरला तरी install झालेले claude binary Node वर चालत नाही. Anthropic किमान 4 GB RAM नमूद करते. त्यामुळे VPS चे sizing त्यानुसार करा.
दीर्घकाळ चालणारे job SSH connection तुटल्यामुळे बंद होऊ नये म्हणून ते tmux मध्ये चालवा. session handling सह ही संपूर्ण रचना tmux वापरून VPS वर Claude Code चालवणे येथे दिली आहे. agent साठी स्वतंत्र unprivileged user द्या. ज्या गोष्टींची तुम्हाला काळजी आहे त्यांना write access देण्यापूर्वी server वर Claude Code चालवण्याचे safety rules वाचा.
ही agent ची self-hosting आहे, model ची नाही. हा फरक स्पष्ट ठेवणे महत्त्वाचे आहे, कारण लोक या दोन गोष्टी एकत्र समजतात. process, filesystem, network egress आणि logs तुमच्या नियंत्रणात असतात. मात्र inference अजूनही Anthropic च्या नियंत्रणात असते.
प्रत्येक पर्यायाची प्रत्यक्ष किंमत
किंमती बदलत असतात. त्यामुळे यांना निश्चित दर समजू नका; खर्चाची साधारण कल्पना म्हणून पाहा. 17 October 2026 रोजी Claude Sonnet 5.5 ची किंमत प्रति million input tokens $2 आणि प्रति million output tokens $10 आहे. Claude Opus 5.5 ची किंमत अनुक्रमे $4 आणि $20 आहे. वरील gateway configuration मधील model असलेले Sonnet 5, Sonnet 5.5 ने supersede केले आहे; मात्र ते deprecated नाही. Anthropic च्या model deprecations page वर त्याची स्थिती Active अशी आहे आणि retirement 30 June 2027 पूर्वी होणार नसल्याचे नमूद आहे. त्याची किंमत अजूनही $2 आणि $10 आहे. Opus 5 ची किंमत अजूनही $5 आणि $25 आहे. Local model साठी प्रति token कोणताही खर्च नसतो. त्याऐवजी सर्व्हरचा मासिक खर्च द्यावा लागतो, आणि तुम्ही model वापरत नसतानाही सर्व्हर चालू असल्यास हा खर्च सुरू राहतो.
Break-even point लोकांच्या अपेक्षेपेक्षा कमी असतो. उपयुक्त open model चालवण्यासाठी पुरेशी memory असलेल्या VPS साठी दरमहा प्रत्यक्ष खर्च येतो. तसेच तो बहुतांश वेळ idle राहतो. तुमचा वापर अधूनमधून आणि मोठ्या प्रमाणात होत असेल, तर hosted API सहसा स्वस्त पडतो. तुमचा वापर सतत होत असेल किंवा तुमचा data network बाहेर जाऊ शकत नसेल, तर local model दोन्ही बाबतीत अधिक योग्य ठरतो.
बहुतेक teams ज्या निष्कर्षापर्यंत पोहोचतात, तो प्रामाणिक mixed पर्याय आहे. मोठ्या प्रमाणातील आणि कमी अवघड कामांसाठी open model स्थानिक पातळीवर चालवा. अवघड requests hosted frontier model कडे पाठवा. दोन्हींच्या पुढे gateway ठेवा. त्यामुळे applications ना कोणता model वापरला जात आहे हे माहीत असण्याची गरज राहत नाही. तसेच application code न बदलता दोन्हीमधील कामाचे विभाजन बदलता येते. ही architecture म्हणजे "self hosted Claude" ची व्यावहारिक आवृत्ती आहे. शब्दशः आवृत्तीच्या विपरीत, ती प्रत्यक्षात उपलब्ध आहे. संपूर्ण agent stack देखील स्वतः चालवायचा असल्यास, self-hosted AI agents चा आढावा उपलब्ध पर्याय स्पष्ट करतो.
FAQ
मी Claude चे model weights डाउनलोड करून ते स्थानिक पातळीवर चालवू शकतो का?
नाही. Anthropic ने कोणत्याही Claude model चे weights कधीही release केलेले नाहीत आणि self hosting ला परवानगी देणारा कोणताही licence नाही. ऑनलाइन डाउनलोड करता येणारे "Claude model" म्हणून जाहिरात केलेले कोणतेही साधन एकतर दिशाभूल करणाऱ्या नावाचे वेगळे model असते किंवा API ला call करणारे wrapper असते. त्याला API key आवश्यक असल्यास ते local नसते.
Claude शी सर्वात जवळचे open model कोणते आहे?
याचे अचूक समान model नाही आणि आघाडीची models दर काही महिन्यांनी बदलतात. तपासण्यासारखी open weight model families म्हणजे Llama, Qwen, Mistral, Gemma आणि DeepSeek. summarising, classification आणि साध्या code edits साठी 8 ते 14 billion parameters असलेले चांगले open model प्रत्यक्षात उपयुक्त ठरते. दीर्घ multi step reasoning आणि agentic tool use मध्ये hosted frontier model च्या तुलनेत अजूनही मोठी तफावत आहे. leaderboard वर अवलंबून राहण्याऐवजी आपल्या स्वतःच्या prompts वर चाचणी घ्या.
LiteLLM हे self-hosted OpenRouter आहे का?
routing आणि key management या भागांसाठी कार्यात्मकदृष्ट्या होय. LiteLLM आपल्या server वर चालते, एक OpenAI compatible endpoint उपलब्ध करून देते आणि Anthropic, Ollama तसेच इतर बहुतांश providers कडे proxy करते. Postgres database जोडल्यावर प्रत्येक key साठी spend caps, तसेच model routing आणि logs वाचण्यासाठी एकच ठिकाण मिळते. मात्र यामुळे local inference मिळत नाही: Claude कडे केलेल्या requests अजूनही Anthropic कडे पाठवल्या जातात.
माझ्या स्वतःच्या server वर Claude Code चालवल्यास माझा code private राहतो का?
नाही. प्रक्रिया ज्या ठिकाणी चालत असेल ते काहीही असो, Claude Code वाचत असलेल्या files चे contents Anthropic API कडे पाठवते. VPS मुळे agent ला isolation मिळते; content ची privacy मिळत नाही. त्याला स्वतंत्र unprivileged user द्या, credentials आणि असंबंधित repositories पासून त्याला दूर ठेवा आणि तो वाचू शकणारी प्रत्येक गोष्ट server बाहेर जाणारी content आहे असे गृहीत धरा.