SSD Nodes Learn Hosting plans →
Mga Gabay Matt ConnorNi Matt Connor · Na-update 2026-10-24

Maaari bang i-self-host ang Claude? Ang totoong sagot

Hindi public ang Claude weights, kaya walang server na makakapagpatakbo nito. Alamin ang puwedeng i-self-host: open models, gateway, at Claude Code.

Maaari mo bang i-self-host ang Claude? Hindi, at narito kung bakit

Hindi mo maaaring i-self-host ang Claude. Hindi inilalabas ng Anthropic ang model weights, kaya walang file na mada-download, walang container na mapapatakbo, at walang licence na magpapahintulot sa iyong i-serve ito mula sa sarili mong hardware. Ang bawat request sa Claude ay ipinapadala sa Anthropic API o sa isang hosted partner gaya ng Amazon Bedrock, Google Vertex AI, o Microsoft Foundry. Ang pagpapatakbo nito sa isang machine na pagmamay-ari mo ay hindi problema sa configuration. Hindi talaga umiiral ang artefact sa labas ng Anthropic.

Iyan ang maikling sagot. Ang mas mahabang sagot ay karaniwang hindi naman talaga model weights ang gusto ng mga nagtatanong nito. Gusto nila ang isa sa tatlong bagay na lahat ay maaaring patakbuhin sa server na kontrolado nila: isang mahusay na model na lokal na tumatakbo, isang gateway na nag-iingat ng kanilang API keys at naglilimita sa kanilang gastos, o isang coding agent na nasa sarili nilang box sa halip na nasa laptop nila. Sinasaklaw ng guide na ito ang lahat ng tatlo, kasama ang mga command.

Karaniwang ibig sabihin ng “self-hosted Claude”

Nahahati sa ilang magkakaibang layunin ang mga search query para sa “self hosted Claude”, at magkakaiba rin ang tamang sagot sa mga ito.

May mga taong naghahanap ng privacy. Ayaw nilang lumabas sa network nila ang mga prompt. Local open weight model lamang ang makalulutas nito, dahil ang bawat request sa Claude ay, ayon sa depinisyon, request sa Anthropic.

May mga taong gustong kontrolin ang gastos. Nag-aalala sila na baka maubos ng runaway agent ang kanilang credits. Nalulutas ito ng gateway, at gumagana ito sa Claude, kaya napapanatili ang kalidad ng model.

May mga taong gustong hindi umasa sa laptop. Gusto nila ng agent na patuloy na gumagana kahit isara nila ang takip ng laptop. Nalulutas ito ng VPS, at maayos na tumatakbo rito ang Claude Code.

May mga taong ang hinahanap ay ang pariralang “self hosted OpenRouter”. Gateway din ito, at ang karaniwang sagot ay LiteLLM.

Tukuyin kung alin dito ang kailangan mo, dahil magkakaiba ang tamang setup sa bawat kaso.

Mag-host ng open model gamit ang Ollama

Kung kailangan na walang prompt na lumabas sa server mo, gumamit ng open weight model. Ang mga model family na aktuwal na magagamit sa inuupahang server ngayon ay Llama, Qwen, Mistral, Gemma, at DeepSeek. Naglalabas ang lahat ng mga ito ng weights na maaari mong i-download at patakbuhin.

Ang Ollama ang pinakamabilis na paraan para magsimula. Isang linya lang ang install script, at nagse-set up ito ng systemd service sa Ubuntu.

curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama

Dapat mag-print ang systemctl status ollama ng active (running). Pagkatapos, mag-pull ng model at makipag-usap dito.

ollama pull qwen3:8b
ollama run qwen3:8b "Summarise what a reverse proxy does in two sentences."

Ang unang pull ay nagda-download ng ilang gigabyte, kaya kailangang magkasya ang model sa RAM o GPU memory bago ito makasagot. Bilang tinatayang gabay para sa quantised models: ang model na may 8 billion parameter ay nangangailangan ng humigit-kumulang 6 GB na bakanteng memory, ang model na may 14 billion parameter ay nangangailangan ng humigit-kumulang 10 GB, at ang model na may 70 billion parameter ay nangangailangan ng mas maraming memory kaysa sa karaniwang kapasidad ng karamihan sa general-purpose VPS plan. Kung kulang ang memory ng server, papatayin ng kernel ang proseso at makikita mo ang Error: llama runner process has terminated, kasama ang out of memory line sa dmesg. Suriin ang free -h bago sisihin ang model. Tinutukoy rin ng parehong memory budget kung gaano kalaking bahagi ng mahabang prompt ang aktuwal na nababasa ng model, dahil tahimik na tina-truncate ng Ollama ang anumang lampas sa katamtamang default window. Kaya ang pagtaas ng num_ctx at pagtakda ng laki ng KV cache ang unang dapat suriin kapag kalahati lamang ng mahabang dokumento ang nasusummarise.

Nagbibigay rin ang Ollama ng HTTP API sa 127.0.0.1:11434. Dahil dito, magagamit ito ng ibang software at hindi lang bilang chat toy.

curl http://127.0.0.1:11434/api/generate -d '{"model":"qwen3:8b","prompt":"ping","stream":false}'

Kung tumatagal ng tatlumpung segundo ang unang request matapos ang mahabang idle period, pero agad bumabalik ang kasunod na request, walang sira: ina-unload ng Ollama ang model matapos ang limang minutong idle period. Inaalis ng pagpapanatili rito sa memory gamit ang keep_alive ang penalty ng muling pag-load.

Panatilihing naka-bind ang port na iyon sa localhost. Ang bukas na Ollama port sa public IP ay libreng GPU para sa sinumang makahanap nito. Saklaw ng buong build, kabilang ang systemd unit, GPU detection, at paglalagay ng reverse proxy sa harap nito, ang gabay sa pagpapatakbo ng Ollama sa isang VPS. Kung nagseserve ka ng higit sa isang user nang sabay, basahin muna ang paghahambing ng Ollama at vLLM, dahil nagiging bottleneck ang single stream design ng Ollama bago pa malimitahan ng hardware ang performance.

Maging tapat tungkol sa limitasyon. Tunay na kapaki-pakinabang ang isang mahusay na open model sa mid-sized VPS para sa summarising, classifying, drafting, at simpleng extraction. Sa mahaba at maraming hakbang na reasoning, malalaking codebase, at agentic tool use, hindi ito malapit sa frontier hosted model, at hindi kayang isara ng anumang prompt tuning ang agwat na iyon. Piliin ang local model para sa mga gawaing mahusay nitong kayang gawin, at magbayad para sa hosted model kapag tunay na mahirap ang gawain.

Patakbuhin ang sarili mong gateway gamit ang LiteLLM

Ito ang “self-hosted OpenRouter” na hinahanap ng maraming tao. Nasa pagitan ang gateway ng iyong mga application at ng bawat model provider. Isang key lang ang hawak ng iyong mga app, at nakaturo ito sa iyong server. Ang mga tunay na provider key ay nasa server lamang. Maaari kang magtakda ng spending cap bawat key, mag-route ng magkakaibang app sa magkakaibang model, at mag-log ng bawat request sa iisang lugar.

Karaniwang pinipili ang LiteLLM dahil gumagamit ito ng OpenAI-compatible API at nagpo-proxy sa Anthropic, Ollama, at karamihan ng iba pang provider gamit ang iisang endpoint. Patakbuhin ito sa Docker gamit ang isang config file.

model_list:
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local
    litellm_params:
      model: ollama/qwen3:8b
      api_base: http://127.0.0.1:11434

I-save ito bilang litellm_config.yaml at simulan ang proxy. Nakikinig ito sa port 4000.

docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml \
  -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
  -e LITELLM_MASTER_KEY=sk-1234 \
  -p 4000:4000 docker.litellm.ai/berriai/litellm:latest \
  --config /app/config.yaml

Ang LITELLM_MASTER_KEY ang admin credential, kaya ituring ito na parang root password at huwag gamitin sa production ang halimbawang value. Tawagin ang proxy gaya ng pagtawag mo sa isang hosted API.

curl http://localhost:4000/v1/chat/completions \
  -H 'Authorization: Bearer sk-1234' \
  -H 'Content-Type: application/json' \
  -d '{"model": "claude","messages": [{"role": "user","content": "Say hello in five words."}]}'

Ang gumaganang response ay karaniwang JSON na may choices array. Ang 401 ay authentication failure. Sa setup na ito, ang karaniwang sanhi ay isang Authorization header na hindi tumutugma sa iyong master key. Ibinabalik din ito ng LiteLLM para sa invalid virtual key. Nabibigo rin ang authentication kapag tinanggihan ng provider ang isang provider key, halimbawa dahil mali ang ANTHROPIC_API_KEY. Lalabas sa error ang pangalan ng provider sa anyong <Provider>Exception. Ang 400 na tumutukoy sa model ay kadalasang nangangahulugang hindi tumutugma ang model sa iyong request sa alinman sa model_name sa config file. Ibinabalik din ng LiteLLM ang 400 kapag masyadong mahaba ang request para sa context window ng model, kaya basahin muna ang error message bago baguhin ang config.

Ang dahilan kung bakit ito ang binubuo sa halip na direktang tumawag sa Anthropic ay ang spending cap. Gumawa ng hiwalay na virtual key para sa bawat application, at lagyan ang bawat isa ng sarili nitong budget.

curl 'http://0.0.0.0:4000/key/generate' \
--header 'Authorization: Bearer sk-1234' \
--header 'Content-Type: application/json' \
--data-raw '{"models": ["claude"], "max_budget": 100}'

Kailangan ng virtual keys at budgets ng Postgres database sa likod ng proxy. Walang database ang docker run sa itaas, kaya idagdag muna rito ang -e DATABASE_URL=postgresql://user:password@host:5432/litellm. Kung walang database, mabibigo ang call na ito gamit ang No connected db.

Maaaring gumastos ang key na iyon ng one hundred dollars at makaabot lamang sa isang model. Wala na itong ibang access. Kapag nagkamali ang isang agent nang alas-tres ng umaga, isang key lamang ang apektado sa halip na ang buong account mo. Ang pattern na ito, pati ang monitoring para rito, ang paksa ng pagkontrol sa gastos ng agent sa isang VPS. Kung pinag-iisipan mo pa kung magbabayad ba talaga per token, ipinapaliwanag ng paghahambing ng gastos ng API at subscription ang kalkulasyon.

Tandaan kung ano ang hindi ginagawa ng gateway. Hindi nito ginagawang local ang Claude, at hindi nito itinatago ang iyong mga prompt sa Anthropic. Lumalabas pa rin sa iyong server ang mga request papunta sa provider. Ang nakukuha mo ay kontrol sa mga key, gastos, routing, at logs.

Patakbuhin ang Claude Code sa sarili mong VPS

Ang ikatlong hiling ang pinakamadaling ibigay. Client ang Claude Code. Ini-install ito bilang isang native binary, at kumokonekta ito sa API gamit ang HTTPS. Kapag inilagay mo ito sa sarili mong server, magpapatuloy na gumana ang agent kahit i-shut down mo ang laptop mo. Nangangahulugan din ito na ang blast radius ng agent ay isang box na maaari mong i-rebuild, sa halip na ang pangunahing machine mo.

npm install -g @anthropic-ai/claude-code
claude --version

Kailangan ng npm package ang Node.js 22 o mas bago. Gayunman, sa mas lumang Node.js, nagpi-print lamang ang install ng EBADENGINE warning at nagpapatuloy pa rin hanggang makumpleto. Ang inirerekomendang native installer ng Anthropic na curl -fsSL https://claude.ai/install.sh | bash ay hindi nangangailangan ng Node.js. Sa alinmang paraan, hindi tumatakbo sa Node ang na-install na claude binary. Itinuturing ng Anthropic na 4 GB RAM ang minimum, kaya maglaan ng VPS na may sapat na laki.

Patakbuhin ito sa loob ng tmux upang hindi mapatay ng naputol na SSH connection ang matagal na job. Saklaw sa pagpapatakbo ng Claude Code sa VPS gamit ang tmux ang setup na ito, kabilang ang session handling. Bigyan ang agent ng sarili nitong unprivileged user, at basahin ang mga safety rule sa pagpapatakbo ng Claude Code sa server bago mo ito bigyan ng write access sa anumang mahalaga sa iyo.

Ito ay self-hosting ng agent, hindi ng model. Mahalagang maging tiyak dito dahil ito ang bahaging madalas pag-isahin ng mga tao. Ikaw ang may kontrol sa process, filesystem, network egress, at logs. Pagmamay-ari pa rin ng Anthropic ang inference.

Magkano talaga ang halaga ng bawat option

Nagbabago ang mga presyo, kaya ituring ang mga ito bilang pangkalahatang larawan, hindi eksaktong quote. Noong 17 October 2026, nakalista ang Claude Sonnet 5.5 sa $2 bawat milyong input token at $10 bawat milyong output token, habang ang Claude Opus 5.5 ay nasa $4 at $20. Ang Sonnet 5, na siyang model sa gateway config sa itaas, ay napalitan na ng Sonnet 5.5 pero hindi pa deprecated: nakalista ito bilang Active sa model deprecations page ng Anthropic, at hindi ito ire-retire bago ang 30 June 2027. Pareho pa rin ang halaga nito na $2 at $10, habang nakalista naman ang Opus 5 sa $5 at $25. Walang bayad bawat token ang local model, pero ang kapalit nito ay ang buwanang gastos ng server, ginagamit man ito o hindi.

Mas mababa kaysa inaasahan ng marami ang break-even point. Ang VPS na may sapat na memory para magpatakbo ng kapaki-pakinabang na open model ay may totoong buwanang gastos, at kadalasan ay idle ito. Kung bursty ang usage mo, karaniwang mas mura ang hosted API. Kung tuloy-tuloy ang usage mo, o kung hindi maaaring lumabas sa network mo ang data, mas kapaki-pakinabang ang local model sa parehong aspeto.

Ang tapat na mixed approach ang karaniwang pinipili ng mga team. Magpatakbo ng open model nang locally para sa high-volume at low-difficulty na trabaho. I-route ang mahihirap na request sa isang hosted frontier model. Maglagay ng gateway sa harap ng dalawa para hindi kailangang malaman ng mga application kung alin ang ginagamit, at para mailipat mo ang hangganan sa pagitan nila nang hindi binabago ang application code. Ang architecture na ito ang praktikal na bersyon ng "self hosted Claude", at hindi tulad ng literal na bersyon, umiiral ito. Kung gusto mo ring ikaw mismo ang magpatakbo ng buong agent stack, saklaw ng pangkalahatang-ideya ng mga self-hosted AI agent kung ano ang available.

FAQ

Maaari ko bang i-download ang model weights ng Claude at patakbuhin ito nang lokal?

Hindi. Kailanman ay hindi naglabas ang Anthropic ng weights para sa anumang Claude model, at walang licence na nagpapahintulot sa self-hosting. Ang anumang ina-advertise online bilang downloadable na “Claude model” ay alinman sa ibang model na may mapanlinlang na pangalan o wrapper na tumatawag sa API. Kung nangangailangan ito ng API key, hindi ito lokal.

Ano ang pinakamalapit na open model sa Claude?

Walang eksaktong katumbas, at nagbabago ang mga nangungunang model bawat ilang buwan. Ang mga open-weight family na sulit subukan ay Llama, Qwen, Mistral, Gemma, at DeepSeek. Para sa summarization, classification, at simpleng code edits, tunay na kapaki-pakinabang ang isang mahusay na open model na may 8 hanggang 14 billion parameters. Para sa mahahabang multi-step reasoning at agentic tool use, malaki pa rin ang agwat kumpara sa hosted frontier model. Subukan ito gamit ang sarili mong prompts sa halip na umasa sa leaderboard.

Ang LiteLLM ba ay self-hosted OpenRouter?

Oo, sa functionality para sa routing at key management. Tumatakbo ang LiteLLM sa sarili mong server, nagbibigay ng isang OpenAI-compatible endpoint, at nagpo-proxy sa Anthropic, Ollama, at karamihan ng iba pang provider. Makakakuha ka ng per-key spend caps kapag may nakakabit na Postgres database, pati model routing at isang lugar para basahin ang logs. Hindi nito ibinibigay ang local inference: ang mga request sa Claude ay dumadaan pa rin sa Anthropic.

Napapanatili bang pribado ang code ko kapag pinapatakbo ko ang Claude Code sa sarili kong server?

Hindi. Ipinapadala ng Claude Code sa Anthropic API ang laman ng mga file na binabasa nito, saanman tumatakbo ang process. Ang ibinibigay ng VPS ay isolation ng agent, hindi privacy ng content. Bigyan ito ng dedicated unprivileged user, ilayo ito sa credentials at mga repository na walang kaugnayan, at ituring ang lahat ng mababasa nito bilang content na lumalabas sa server.

Nakatulong ba ang artikulong ito?