SSD Nodes Learn Hosting plans →
మార్గదర్శకాలు Matt Connorద్వారా Matt Connor · అప్‌డేట్ చేయబడింది 2026-10-24

Claudeను సొంతంగా హోస్ట్ చేయవచ్చా? నిజానిజాలు ఇవే

Claude మోడల్ వెయిట్స్ అందుబాటులో లేవు, కాబట్టి దీన్ని సొంత సర్వర్‌లో రన్ చేయడం సాధ్యం కాదు. దీనికి బదులుగా ఓపెన్ మోడల్స్, API గేట్‌వే మరియు Claude Code వాడటం ఎలాగో ఇక్కడ చూడండి.

Claude ను మీరు సొంతంగా హోస్ట్ చేయగలరా? లేదు, ఎందుకో ఇక్కడ చూడండి

మీరు Claude ను సొంతంగా హోస్ట్ చేయలేరు. Anthropic ఈ మోడల్ వెయిట్స్‌ను (model weights) విడుదల చేయదు, కాబట్టి డౌన్‌లోడ్ చేయడానికి ఫైల్స్ ఉండవు, రన్ చేయడానికి కంటైనర్లు ఉండవు మరియు మీ స్వంత హార్డ్‌వేర్ నుండి దీన్ని అందించడానికి ఎటువంటి లైసెన్స్ లేదు. ప్రతి Claude అభ్యర్థన Anthropic యొక్క API కి లేదా Amazon Bedrock, Google Vertex AI, లేదా Microsoft Foundry వంటి హోస్ట్ చేసిన భాగస్వాములకు వెళ్తుంది. దీన్ని మీ స్వంత మెషీన్‌లో రన్ చేయడం అనేది కాన్ఫిగరేషన్ సమస్య కాదు. Anthropic వెలుపల ఈ ఆర్టిఫాక్ట్ అసలు ఉనికిలోనే లేదు.

ఇది క్లుప్త సమాధానం. దీనికి సుదీర్ఘమైన సమాధానం ఏమిటంటే, ఈ ప్రశ్న అడిగే వారిలో చాలామందికి నిజానికి మోడల్ వెయిట్స్ అవసరం లేదు. వారు కోరుకునేవి మూడు విషయాలు, వీటిని మీరు నియంత్రించే సర్వర్‌లోనే సాధించవచ్చు: స్థానికంగా రన్ అయ్యే సమర్థవంతమైన మోడల్, API కీలను భద్రపరిచి ఖర్చును పరిమితం చేసే గేట్‌వే, లేదా ల్యాప్‌టాప్‌కు బదులుగా వారి స్వంత సర్వర్‌లో ఉండే కోడింగ్ ఏజెంట్. ఈ గైడ్ ఆ మూడింటిని కమాండ్లతో సహా వివరిస్తుంది.

"Self-hosted Claude" అంటే సాధారణంగా ఏమిటి

"Self-hosted Claude" కోసం వెతికే సెర్చ్ ట్రాఫిక్ కొన్ని వేర్వేరు ఆకాంక్షలుగా విడిపోతుంది, వీటికి వేర్వేరు సమాధానాలు అవసరం.

కొంతమందికి గోప్యత (privacy) కావాలి. వారి ప్రాంప్ట్‌లు తమ నెట్‌వర్క్ దాటి వెళ్లకూడదని వారు కోరుకుంటారు. దీనికి కేవలం లోకల్ ఓపెన్ వెయిట్ మోడల్ మాత్రమే పరిష్కారం, ఎందుకంటే Claude కు పంపే ప్రతి అభ్యర్థన నిర్వచనం ప్రకారం Anthropic కి పంపే అభ్యర్థన అవుతుంది.

కొంతమందికి ఖర్చుపై నియంత్రణ (cost control) కావాలి. ఏజెంట్ అదుపు లేకుండా క్రెడిట్‌లను ఖర్చు చేస్తుందేమోనని వారు ఆందోళన చెందుతారు. దీనికి ఒక గేట్‌వే పరిష్కారం చూపిస్తుంది, ఇది Claude తో పనిచేస్తుంది కాబట్టి మీరు మోడల్ నాణ్యతను కోల్పోరు.

కొంతమందికి ల్యాప్‌టాప్‌తో సంబంధం లేని స్వతంత్రత కావాలి. ల్యాప్‌టాప్ మూసివేసినా పనిచేస్తూనే ఉండే ఏజెంట్ వారికి కావాలి. దీనికి ఒక VPS పరిష్కారం, దీనిపై Claude Code సజావుగా నడుస్తుంది.

కొంతమంది "self-hosted OpenRouter" అనే పదాన్ని వెతుకుతుంటారు. అది కూడా ఒక గేట్‌వే, దీనికి సాధారణంగా LiteLLM ను ఉపయోగిస్తారు.

మీరు దేని కోసం చూస్తున్నారో ముందుగా నిర్ణయించుకోండి, ఎందుకంటే ప్రతి సందర్భానికి సరైన నిర్మాణం (build) వేరుగా ఉంటుంది.

Ollama తో ఒక open model ను self-host చేయడం

మీ సర్వర్ నుండి ఎటువంటి ప్రాంప్ట్ బయటకు వెళ్లకూడదనేది మీ అవసరమైతే, ఒక open weight మోడల్‌ను రన్ చేయండి. ప్రస్తుతం అద్దె సర్వర్లలో ఉపయోగించడానికి వీలుగా ఉన్న మోడల్ కుటుంబాలు Llama, Qwen, Mistral, Gemma మరియు DeepSeek. వీటిలో దేనినైనా మీరు డౌన్‌లోడ్ చేసుకుని రన్ చేసుకోవచ్చు.

Ollama దీనిని సులభతరం చేస్తుంది. దీని ఇన్‌స్టాలేషన్ స్క్రిప్ట్ ఒకే లైన్ ఉంటుంది, ఇది Ubuntu లో systemd సర్వీస్‌ను సెటప్ చేస్తుంది.

curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama

systemctl status ollama కమాండ్ active (running) అని ప్రింట్ చేయాలి. ఆ తర్వాత ఒక మోడల్‌ను pull చేసి దానితో సంభాషించండి.

ollama pull qwen3:8b
ollama run qwen3:8b "Summarise what a reverse proxy does in two sentences."

మొదటి pull కమాండ్ కొన్ని గిగాబైట్ల డేటాను డౌన్‌లోడ్ చేస్తుంది, కాబట్టి మోడల్ సమాధానం ఇవ్వాలంటే అది RAM లో లేదా GPU మెమరీలో సరిపోవాలి. Quantised మోడల్స్ కోసం ఒక సాధారణ నియమం: 8 బిలియన్ పారామీటర్ల మోడల్‌కు సుమారు 6 GB ఖాళీ మెమరీ, 14 బిలియన్ మోడల్‌కు సుమారు 10 GB, మరియు 70 బిలియన్ మోడల్‌కు సాధారణ VPS ప్లాన్‌లలో ఉండే దానికంటే ఎక్కువ మెమరీ అవసరం. సర్వర్‌లో మెమరీ తక్కువగా ఉంటే, kernel ఆ ప్రాసెస్‌ను నిలిపివేస్తుంది (kill చేస్తుంది) మరియు మీకు Error: llama runner process has terminated కనిపిస్తుంది, అలాగే dmesg లో out of memory అనే లైన్ కనిపిస్తుంది. మోడల్‌ను నిందించే ముందు free -h ని తనిఖీ చేయండి. అదే మెమరీ బడ్జెట్ మోడల్ ఎంత పెద్ద ప్రాంప్ట్‌ను చదవగలదో కూడా నిర్ణయిస్తుంది, ఎందుకంటే Ollama డిఫాల్ట్ విండో పరిమితి దాటిన ప్రాంప్ట్‌ను నిశ్శబ్దంగా తొలగిస్తుంది (truncate చేస్తుంది). కాబట్టి సుదీర్ఘమైన డాక్యుమెంట్లు సగం మాత్రమే సారాంశం చేయబడితే, num_ctx ని పెంచడం మరియు KV cache పరిమాణాన్ని సర్దుబాటు చేయడం మొదట చూడాల్సిన విషయం.

Ollama, 127.0.0.1:11434 పై HTTP API ని కూడా అందిస్తుంది, ఇది కేవలం చాట్ కోసం మాత్రమే కాకుండా ఇతర సాఫ్ట్‌వేర్‌లతో అనుసంధానించడానికి ఉపయోగపడుతుంది.

curl http://127.0.0.1:11434/api/generate -d '{"model":"qwen3:8b","prompt":"ping","stream":false}'

కొంత సమయం తర్వాత మొదటి అభ్యర్థన (request) రావడానికి ముప్పై సెకన్లు పట్టి, తర్వాతి అభ్యర్థనలు వెంటనే వస్తుంటే, ఏదీ పాడవ్వలేదు: Ollama ఐదు నిమిషాల నిష్క్రియ (idle) సమయం తర్వాత మోడల్‌ను అన్‌లోడ్ చేస్తుంది. keep_alive తో మోడల్‌ను మెమరీలో ఉంచడం ద్వారా ఆ రీలోడ్ జాప్యాన్ని తొలగించవచ్చు.

ఆ పోర్ట్‌ను localhost కే పరిమితం చేయండి. పబ్లిక్ IP లో Ollama పోర్ట్‌ను ఓపెన్‌గా ఉంచితే, దాన్ని కనుగొన్న ఎవరైనా మీ GPUని ఉచితంగా వాడుకుంటారు. systemd యూనిట్, GPU డిటెక్షన్ మరియు రివర్స్ ప్రాక్సీని సెటప్ చేయడంతో సహా పూర్తి వివరాలు VPS లో Ollama రన్ చేయడానికి గైడ్ లో ఉన్నాయి. మీరు ఒకేసారి ఒకటి కంటే ఎక్కువ మంది వినియోగదారులకు సేవలు అందిస్తుంటే, ముందుగా Ollama మరియు vLLM ల మధ్య పోలిక చదవండి, ఎందుకంటే Ollama యొక్క సింగిల్ స్ట్రీమ్ డిజైన్ హార్డ్‌వేర్ సామర్థ్యం కంటే ముందే బాటిల్‌నెక్ (bottleneck) గా మారుతుంది.

తేడాల విషయంలో నిజాయితీగా ఉండండి. మధ్యస్థాయి VPS లో ఉండే మంచి open model సారాంశం చేయడానికి, వర్గీకరించడానికి, డ్రాఫ్టింగ్ చేయడానికి మరియు సాధారణ సమాచార సేకరణకు చాలా ఉపయోగకరంగా ఉంటుంది. సుదీర్ఘమైన బహుళ-దశల తర్కం (reasoning), పెద్ద కోడ్‌బేస్‌లు మరియు ఏజెంటిక్ టూల్ వినియోగంలో ఇది frontier hosted మోడల్స్‌తో సమానం కాదు, మరియు ప్రాంప్ట్ ట్యూనింగ్ చేసినంత మాత్రాన ఆ వ్యత్యాసం తగ్గదు. స్థానిక మోడల్‌ను అది బాగా చేయగల పనుల కోసం ఎంచుకోండి, మరియు కష్టమైన పనుల కోసం hosted మోడల్ కోసం చెల్లించండి.

LiteLLMతో మీ స్వంత gateway నడపండి

ప్రజలు వెతుకుతున్నది ఇదే: “self hosted OpenRouter”. Gateway మీ అప్లికేషన్లు మరియు ప్రతి model provider మధ్య పనిచేస్తుంది. మీ అప్లికేషన్లలో ఒకే key ఉంటుంది. ఆ key మీ server ను సూచిస్తుంది. అసలు provider keys ఆ serverలో మాత్రమే ఉంటాయి. ప్రతి keyకి spend పరిమితి పెట్టవచ్చు, వేర్వేరు అప్లికేషన్లను వేర్వేరు modelsకు పంపవచ్చు, ప్రతి requestను ఒకే చోట log చేయవచ్చు.

LiteLLM సాధారణంగా ఎంచుకునే పరిష్కారం. ఇది OpenAI compatible APIను అందిస్తుంది. అదే endpoint వెనుక Anthropic, Ollama మరియు ఇతర అనేక providersకు proxyగా పనిచేస్తుంది. దీన్ని config fileతో Dockerలో నడపండి.

model_list:
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local
    litellm_params:
      model: ollama/qwen3:8b
      api_base: http://127.0.0.1:11434

దాన్ని litellm_config.yamlగా save చేసి proxyని ప్రారంభించండి. ఇది port 4000పై listen చేస్తుంది.

docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml \
  -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
  -e LITELLM_MASTER_KEY=sk-1234 \
  -p 4000:4000 docker.litellm.ai/berriai/litellm:latest \
  --config /app/config.yaml

LITELLM_MASTER_KEY అనేది admin credential. కాబట్టి దాన్ని root passwordలాగా రక్షించండి. ఉదాహరణ విలువను ఉపయోగించవద్దు. Hosted APIకి call చేసినట్టే proxyకి call చేయండి.

curl http://localhost:4000/v1/chat/completions \
  -H 'Authorization: Bearer sk-1234' \
  -H 'Content-Type: application/json' \
  -d '{"model": "claude","messages": [{"role": "user","content": "Say hello in five words."}]}'

సరిగ్గా పనిచేసే responseలో choices array ఉన్న సాధారణ JSON ఉంటుంది. 401 అనేది authentication failure. ఈ setupలో సాధారణ కారణం, మీ master keyతో సరిపోని Authorization header. Invalid virtual key ఉన్నప్పుడూ LiteLLM దీన్ని తిరిగి ఇస్తుంది. Provider తిరస్కరించిన provider key కూడా authenticationలో విఫలమవుతుంది. ఉదాహరణకు, తప్పు ANTHROPIC_API_KEY కారణం కావచ్చు. అప్పుడు errorలో provider పేరు <Provider>Exception రూపంలో కనిపిస్తుంది. Modelను సూచించే 400 కనిపిస్తే, మీ requestలోని model config fileలోని ఏ model_nameతోనూ సరిపోలడం లేదని తరచుగా అర్థం. Request model context window పరిమితిని మించినప్పుడూ LiteLLM 400ను తిరిగి ఇస్తుంది. అందువల్ల configను మార్చే ముందు error message చదవండి.

Anthropicకు నేరుగా call చేయకుండా దీన్ని నిర్మించడానికి ప్రధాన కారణం spend cap. ప్రతి అప్లికేషన్‌కు ప్రత్యేక virtual key ఇవ్వండి. ప్రతి keyకి స్వంత budget ఉండాలి.

curl 'http://0.0.0.0:4000/key/generate' \
--header 'Authorization: Bearer sk-1234' \
--header 'Content-Type: application/json' \
--data-raw '{"models": ["claude"], "max_budget": 100}'

Virtual keys మరియు budgetsకు proxy వెనుక Postgres database అవసరం. పై docker runలో database లేదు. కాబట్టి ముందుగా దానికి -e DATABASE_URL=postgresql://user:password@host:5432/litellmను జోడించండి. Database లేకపోతే ఈ call No connected db.తో విఫలమవుతుంది

ఆ key ఒక hundred dollars వరకు ఖర్చు చేయగలదు. అది ఒక modelను మాత్రమే చేరుకోగలదు. మరే ఇతర పని చేయలేడు. Agent తెల్లవారుజామున మూడు గంటలకు తప్పుగా పనిచేసినా, ప్రభావ పరిధి మొత్తం accountకు కాకుండా ఆ ఒక్క keyకే పరిమితం అవుతుంది. ఈ విధానం మరియు దానికి సంబంధించిన monitoring గురించి VPSలో agent ఖర్చులను నియంత్రణలో ఉంచడంలో వివరించాం. Token ఆధారంగా చెల్లించాలా వద్దా అని ఇంకా నిర్ణయిస్తుంటే, API మరియు subscription ఖర్చుల పోలికలో లెక్కలను పరిశీలించవచ్చు.

ఈ gateway చేయనిది కూడా గమనించండి. ఇది Claudeను localగా మార్చదు. Anthropic నుంచి మీ promptsను దాచదు. Requests provider కోసం ఇప్పటికీ మీ serverను విడిచిపోతాయి. మీకు లభించేది keys, spend, routing మరియు logsపై నియంత్రణ.

మీ స్వంత VPSపై Claude Code నడపండి

మూడవ కోరికను నెరవేర్చడం అత్యంత సులభం. Claude Code ఒక client. ఇది ఒకే native binaryగా install అవుతుంది, అలాగే HTTPS ద్వారా APIతో కమ్యూనికేట్ చేస్తుంది. మీ స్వంత serverపై దీన్ని ఉంచితే, మీరు మీ laptopను shut down చేసిన తర్వాత కూడా agent పని చేస్తుంది. అలాగే agent వల్ల కలిగే ప్రభావ పరిధి మీ ప్రధాన machine కాకుండా, అవసరమైతే మళ్లీ నిర్మించగల ఒక boxకే పరిమితం అవుతుంది.

npm install -g @anthropic-ai/claude-code
claude --version

npm packageకు Node.js 22 లేదా తరువాతి version అవసరం. అయితే పాత Node.jsలో install కేవలం EBADENGINE warningను చూపించి పూర్తవుతుంది. Anthropic సిఫారసు చేసిన native installer, curl -fsSL https://claude.ai/install.sh | bash కు Node.js అవసరం లేదు. ఏ పద్ధతినైనా install చేసిన claude binary Nodeపై run కాదు. కనిష్టంగా 4 GB RAM అవసరమని Anthropic పేర్కొంది. అందువల్ల VPS పరిమాణాన్ని దానికి అనుగుణంగా నిర్ణయించండి.

దీన్ని tmux లో run చేయండి. అప్పుడు SSH connection తెగిపోయినా దీర్ఘకాలిక job ఆగదు. Session handlingతో సహా ఆ setup గురించి tmuxతో VPSపై Claude Codeను నడపడం లో వివరించారు. Agent కోసం ప్రత్యేక unprivileged userను కేటాయించండి. మీరు ముఖ్యమైన ఏదైనా దానికి write access ఇచ్చే ముందు serverపై Claude Codeను నడిపేందుకు భద్రతా నియమాలు చదవండి.

ఇది agentను self-host చేయడం, modelను కాదు. ఈ రెండింటిని చాలామంది కలిపి భావిస్తారు కాబట్టి ఈ తేడాను స్పష్టంగా చెప్పాలి. Process, filesystem, network egress, logs మీ ఆధీనంలో ఉంటాయి. Inferenceపై Anthropicకే ఇంకా నియంత్రణ ఉంటుంది.

ప్రతి ఎంపికకు వాస్తవంగా అయ్యే ఖర్చు

ధరలు మారుతుంటాయి. కాబట్టి వీటిని ఖచ్చితమైన కోట్‌గా కాకుండా, సుమారు అంచనాగా పరిగణించండి. 17 October 2026 నాటికి Claude Sonnet 5.5 ధర input tokens కు ప్రతి మిలియన్‌కు $2, output tokens కు ప్రతి మిలియన్‌కు $10గా ఉంది. Claude Opus 5.5 ధరలు వరుసగా $4 మరియు $20. పై gateway config లో ఉపయోగించిన మోడల్ Sonnet 5 ను Sonnet 5.5 భర్తీ చేసింది. అయితే అది deprecated కాలేదు. Anthropic యొక్క model deprecations పేజీ దాన్ని Active గా చూపుతోంది. దాని retirement 30 June 2027 కంటే ముందుగా జరగదు. దాని ధరలు ఇప్పటికీ $2 మరియు $10గానే ఉన్నాయి. Opus 5 ధరలు ఇప్పటికీ $5 మరియు $25గా ఉన్నాయి. Local model కు token ఆధారిత ఖర్చు ఉండదు. దాని బదులు server కు నెలకు అయ్యే ఖర్చు ఉంటుంది. మీరు ఉపయోగించకపోయినా server నడుస్తూనే ఉంటే ఆ ఖర్చు కొనసాగుతుంది.

Break-even point ప్రజలు ఊహించేదానికంటే తక్కువగా ఉంటుంది. ఉపయోగకరమైన open model నడపడానికి సరిపడ memory ఉన్న VPS కు ప్రతి నెలా వాస్తవమైన ఖర్చు ఉంటుంది. ఎక్కువ సమయం అది idle గా ఉంటుంది. మీ వినియోగం bursty గా ఉంటే hosted API సాధారణంగా చవకగా ఉంటుంది. మీ వినియోగం నిరంతరంగా ఉంటే, లేదా మీ data network వెలుపలికి వెళ్లకూడదంటే, local model రెండు కారణాల వల్ల కూడా మెరుగైన ఎంపిక.

చాలా teams చివరకు ఎంచుకునే సమతుల్య విధానం ఇదే. అధిక పరిమాణంలో, తక్కువ క్లిష్టత ఉన్న పనులకు open model ను local గా నడపండి. కఠినమైన అభ్యర్థనలను hosted frontier model కు పంపండి. రెండింటి ముందు gateway ను ఉంచండి. అప్పుడు ఏది ఏదో applications తెలుసుకోవాల్సిన అవసరం ఉండదు. Application code మార్చకుండా ఈ రెండింటి మధ్య విభజనను మార్చవచ్చు. ఈ architecture “self hosted Claude” కు ఆచరణాత్మక రూపం. పదశః అర్థంలో ఉన్న రూపానికి భిన్నంగా, ఇది వాస్తవంగా అందుబాటులో ఉంది. మొత్తం agent stack ను కూడా మీరే నడపాలనుకుంటే, self-hosted AI agents పై సమగ్ర వివరణ అందుబాటులో ఉన్న ఎంపికలను వివరిస్తుంది.

FAQ

నేను Claude మోడల్ weights ను download చేసి locally run చేయగలనా?

లేదు. Anthropic ఏ Claude మోడల్‌కూ weights ను ఎప్పుడూ విడుదల చేయలేదు. Self hosting కు అనుమతించే licence కూడా లేదు. Onlineలో download చేయగల "Claude model"గా ప్రచారం చేసేవి సాధారణంగా తప్పుదారి పట్టించే పేరుతో ఉన్న వేరే మోడల్ లేదా APIని call చేసే wrapper మాత్రమే. దానికి API key అవసరమైతే, అది local కాదు.

Claude కు అత్యంత సమీప open model ఏది?

ఖచ్చితమైన సమానం లేదు. ప్రతి కొన్ని నెలలకు leading models మారుతుంటాయి. పరీక్షించదగిన open weight families లో Llama, Qwen, Mistral, Gemma, మరియు DeepSeek ఉన్నాయి. Summarising, classification, మరియు simple code edits పనులకు 8 నుంచి 14 billion parameters ఉన్న మంచి open model వాస్తవంగా ఉపయోగకరంగా ఉంటుంది. Long multi step reasoning మరియు agentic tool use లో hosted frontier model తో ఉన్న అంతరం ఇంకా పెద్దదే. Leaderboard ను మాత్రమే నమ్మకుండా, మీ స్వంత prompts పై పరీక్షించండి.

LiteLLM self-hosted OpenRouter వంటిదేనా?

Routing మరియు key management పరంగా, అవును. LiteLLM మీ server పై నడుస్తుంది, ఒక OpenAI compatible endpoint ను అందిస్తుంది, అలాగే Anthropic, Ollama మరియు ఇతర providers లో ఎక్కువ భాగానికి proxyగా పనిచేస్తుంది. Postgres database ను జతచేసిన తర్వాత ప్రతి key కు spend caps, model routing, మరియు logs చూడటానికి ఒకే స్థానం లభిస్తాయి. అయితే ఇది local inference ను అందించదు. Claude కు పంపే requests ఇప్పటికీ Anthropic కు వెళ్తాయి.

నా స్వంత server పై Claude Code నడిపితే నా code privateగా ఉంటుందా?

లేదు. Process ఎక్కడ నడుస్తున్నా, Claude Code చదివే file contents ను Anthropic API కు పంపుతుంది. VPS మీకు అందించేది agent కు isolation మాత్రమే, content కు privacy కాదు. దానికి ప్రత్యేకమైన unprivileged user ఇవ్వండి. Credentials మరియు సంబంధం లేని repositories కు దాన్ని దూరంగా ఉంచండి. అది చదవగల ప్రతిదీ server నుంచి బయటకు వెళ్లే contentగా పరిగణించండి.

ఈ వ్యాసం ఉపయోగకరంగా ఉందా?