Mbadala wa Open WebUI kwa VPS ni upi?
Vigezo vinne vya Open WebUI, LibreChat, Hollama na OrionChat kwenye VPS yenye IP ya umma: RAM inayobaki kwa model, authentication, Ollama ya mbali na matengenezo.
Ni mbadala gani wa Open WebUI unaofaa kwa VPS
Mbadala wa Open WebUI karibu kila mara hulinganishwa kwenye laptop, ambapo RAM ni ya bei nafuu na hakuna kinachosikiliza kwenye anwani ya umma. VPS hubadilisha ukweli huo wote, na hilo hubadilisha mpangilio wa ubora. Open WebUI inabaki kuwa chaguo sahihi la msingi wakati mtu wa pili anapoingia kwenye mfumo, kwa sababu inakuja na akaunti halisi za watumiaji na paneli ya msimamizi. Miradi midogo hushinda wakati kiolesura kinaposhindana na modeli kwa ajili ya gigabyte ya mwisho ya RAM. Bei ya ushindi huo ni uthibitishaji (authentication): miradi hiyo haina uthibitishaji wowote.
Kila kitu hapa chini kinatoka kwenye nyaraka za kila mradi, zilizosomwa mnamo Agosti 2026, zikakaguliwa tena tarehe 20 Oktoba 2026, na kukaguliwa tena kwa ajili ya Open WebUI, LibreChat, Hollama na OrionChat tarehe 25 Oktoba 2026. Nyaraka za Ollama na sheria za usalama za kivinjari zilikaguliwa tena tarehe 29 Oktoba 2026. Mhimili minne ni ile inayojitokeza tu pale seva inapoweza kufikiwa kutoka kwenye Internet.
Mihimili minne ambayo ni muhimu tu kwenye IP ya umma
- Kumbukumbu karibu na model. Seva ya model ndiyo mchakato unaotumia rasilimali nyingi zaidi kwenye mashine. Kila megabyte inayotumiwa na interface ni megabyte ambayo model haiwezi kutumia.
- Uthibitishaji. Baadhi ya miradi hii ina akaunti za watumiaji na majukumu. Mingine hudhani kuwa ndiyo programu pekee inayoendesha kwenye laptop yako, na haina login kabisa.
- Inference ya mbali. UI inayolenga
127.0.0.1:11434pekee hudhani kuwa model iko kwenye mashine moja na interface. Ukiweka model mahali pengine, utahitaji tunnel au proxy ya ndani inayosambaza port hiyo ya ndani hadi kwenye host ya model. - Matengenezo. Container moja yenye faili la SQLite ni kazi tofauti na containers sita zenye MongoDB na database ya vector nyuma yake.
RAM kiasi gani modeli huiacha kwa ajili ya kiolesura
Kiolesura si sehemu kubwa zaidi kwenye mashine. Modeli ndiyo sehemu kubwa. Ukubwa wa download uliochapishwa unaonyesha kiwango cha chini, kwa sababu weights lazima zibaki kwenye memory wakati modeli inajibu, na matumizi halisi ya memory huwa juu zaidi ya ukubwa wa download baada ya context cache kutengewa nafasi.
Data iliyo nyuma ya chati hii
[
{
"label": "llama3.2:3b",
"download_gb": "2.0"
},
{
"label": "qwen3:4b",
"download_gb": "2.5"
},
{
"label": "gemma3:4b",
"download_gb": "3.4"
},
{
"label": "qwen3:8b",
"download_gb": "5.2"
}
]Hizo ndizo takwimu zilizochapishwa kwenye kurasa za maktaba ya Ollama tarehe 25 October 2026. Ni ukubwa uliochapishwa, si vipimo. Kwenye VPS ya 4 GB, qwen3:4b yenye 2.5 GB huacha chini ya 1.5 GB kwa ajili ya mfumo wa uendeshaji na kila kitu kingine. Context cache hutumia sehemu ya nafasi hiyo mazungumzo yanapokua. Ndiyo maana num_ctx unayoweka ni uamuzi wa memory pia, si uamuzi wa ubora pekee. qwen3:8b yenye 5.2 GB haiwezi kutoshea kwenye mashine hiyo kabisa. Hii ndiyo hali ambayo ulinganisho wa laptop hauonyeshi kamwe. Hapo ndipo kiolesura cha chat kinachotumia megabytes mia chache huamua kama modeli itaendesha. Ikiwa unapanga ukubwa wa mashine kwa kitu kikubwa zaidi kuliko tags hizi, hesabu za modeli ya 27B kwenye VPS inayotumia CPU pekee zinaonyesha jinsi kiolesura kinavyoacha haraka kuwa namba inayoamua chochote.
Pima badala ya kuamini namba yoyote iliyo kwenye ulinganisho, ikiwemo hii. Endesha docker stats --no-stream baada ya saa moja ya matumizi halisi, si dakika moja baada ya container kuanza, kwa sababu memory muhimu hutengewa nafasi wakati wa matumizi ya kwanza. Ollama pia huachilia weights baada ya dakika tano za kutotumika. Kwa hiyo, kipimo kinachochukuliwa kati ya mazungumzo huonyesha matumizi ya juu kwa kiwango cha chini kuliko hali halisi. Ujumbe unaofuata hupakia kila kitu tena isipokuwa uache modeli ikiwa resident kwa kutumia keep_alive.
Open WebUI: bado ndiyo chaguo-msingi kwa watumiaji zaidi ya mmoja
Open WebUI huendeshwa kutoka image moja na kuhifadhi data zake kwenye volume moja.
docker run -d -p 127.0.0.1:3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:mainAmri iliyo kwenye README ya mradi huu huchapisha -p 3000:8080, ambayo husikiliza kwenye kila interface. Prefix ya 127.0.0.1: huiweka kwenye loopback pekee. Docker huonya kwamba katika releases zilizo kabla ya 28.0.0, hosts zilizopo kwenye L2 segment moja zinaweza kufikia ports zilizochapishwa kwenye localhost, kwa hivyo tumia Docker Engine 28.0.0 au toleo jipya zaidi kabla ya kutegemea binding hiyo kwa ajili ya isolation. Kwenye VPS, prefix hiyo ni muhimu zaidi kuliko kitu kingine chochote kwenye mstari huo, kwa sababu Docker huandika sheria zake za iptables na port iliyochapishwa hupuuza sheria zako za ufw deny.
Fikia ukurasa huo kupitia tunnel au proxy, zote zimeelezwa hapa chini, kisha tengeneza akaunti ya kwanza. Akaunti hiyo huwa ya msimamizi (administrator). Usajili (sign-up) hujizima wenyewe hadi msimamizi awashe tena New Sign Ups, na watumiaji watakaosajiliwa baadaye hupewa role ya pending, ambayo ni default iliyoandikwa ya DEFAULT_USER_ROLE, kwa hivyo mgeni anayefika kwenye ukurasa huo bado hawezi kutumia model yako hadi msimamizi amuidhinishe.
Open WebUI hutumia kumbukumbu (memory) nyingi zaidi kuliko miradi iliyo hapa chini kwa sababu hufanya kazi nyingi zaidi, na ukurasa wake wa performance hutaja sehemu zinazotumia rasilimali hizo. Embedding engine ya default hupakia model ya sentence-transformers ndani ya container. Kuweka RAG_EMBEDDING_ENGINE=ollama hukabidhi kazi hiyo kwa model server unayoendesha tayari. AUDIO_STT_ENGINE=web huepuka kupakia model ya ndani ya speech-to-text. Kwenye SQLite ikiwa DATABASE_POOL_SIZE haijawekwa, pool hurudi kwenye ukubwa mkubwa wa ndani na kila muunganisho (connection) hukua na page cache na memory map yake, kwa hivyo kwenye seva ndogo weka DATABASE_POOL_SIZE=8 na DATABASE_SQLITE_PRAGMA_MMAP_SIZE=0. Autocomplete, ambayo huuliza model kukamilisha maandishi wakati mtumiaji bado anaandika, sasa huja ikiwa imezimwa (ENABLE_AUTOCOMPLETE_GENERATION default yake ni False), kwa hivyo iache hivyo kwenye seva ndogo.
LibreChat: watumiaji wengi, ikiwa na stack nyuma yake
git clone https://github.com/danny-avila/LibreChat.git
cd LibreChat
cp .env.example .env
docker compose up -dKiolesura hujibu kwenye port 3080. LibreChat ndiyo chaguo la kuzingatia unapohitaji mfumo wa utambulisho badala ya kisanduku cha kuingia tu: ina nyaraka za LDAP na OAuth2, na faili yake ya msingi ya compose pia inafafanua paneli ya admin kwa ajili ya watumiaji, vikundi na majukumu. Paneli hiyo haifanyi kazi mara tu baada ya usakinishaji. Inakataa kuanza hadi ADMIN_PANEL_SESSION_SECRET itakapowekwa katika .env, thamani inayohitajika ya angalau vibambo 32 ambayo haina thamani chaguo-msingi, kwa hivyo tengeneza moja ukitumia openssl rand -hex 32 ikiwa unaihitaji. Paneli hiyo huendeshwa kama huduma yake yenyewe, si ndani ya mchakato wa LibreChat, na inahitaji LibreChat v0.8.5 au toleo jipya zaidi. Uwezo huo huja na stack.
Data iliyo nyuma ya chati hii
[
{
"label": "OrionChat",
"containers": 0,
"notes": "static files, served by a web server you already run"
},
{
"label": "Hollama",
"containers": 1,
"notes": "one container serving a browser app"
},
{
"label": "Open WebUI",
"containers": 1,
"notes": "application and SQLite in one image"
},
{
"label": "LibreChat",
"containers": 5,
"notes": "api, MongoDB, Meilisearch, pgvector, RAG API"
}
]Faili ya msingi ya compose huanzisha 5 huduma: api, MongoDB, Meilisearch, pgvector, RAG API. Huduma ya sita, paneli ya admin, iko kwenye faili hiyo hiyo na hujiunga nazo mara tu siri yake inapowekwa. Hakuna hata moja kati yao iliyo model. MongoDB na pgvector kila moja inahitaji kumbukumbu yake, na kwenye seva ya 4 GB hiyo ni kumbukumbu ambayo model ilihitaji.
Huduma mbili kwenye faili huchapisha ports, na hakuna ramani inayotaja bind address: API kwenye 3080 na paneli ya admin kwenye host port 3000, ambayo ni chaguo-msingi la ADMIN_PANEL_PORT. Kwa hivyo zote mbili husikiliza kwenye kila interface mara tu zinapoanza. Port 3000 pia ndiyo inayotumiwa na Open WebUI hapo juu, kwa hivyo zote mbili hugongana kwenye seva moja mara tu paneli inapowezeshwa. Badilisha bind ya zote mbili hadi 127.0.0.1 katika docker-compose.override.yml kabla ya stack kukabili mtandao wa Internet.
Uboreshaji ni operesheni ya git, ambayo ndiyo sehemu ambayo watu hukosea.
docker compose down
git pull
docker compose pull
docker compose up -dgit pull husimama na mgogoro ikiwa umehariri docker-compose.yml inayofuatiliwa, na kisha uboreshaji hutumika nusu. Weka mabadiliko yako katika docker-compose.override.yml, ambayo mradi hutoa kwa ajili hii, na weka siri katika .env. Faili zote mbili hazifuatiliwi, kwa hivyo git pull haizigusi.
Elekeza LibreChat kwenye seva yako ya model ukitumia endpoint maalum katika librechat.yaml.
endpoints:
custom:
- name: "Ollama"
apiKey: "ollama"
baseURL: "http://model-host:11434/v1/"
models:
default: ["llama3.2"]
fetch: true
titleConvo: true
titleModel: "current_model"
modelDisplayLabel: "Ollama"Badilisha model-host na anwani ya seva inayoendesha Ollama. Sehemu ya apiKey lazima iwepo ingawa Ollama hupuuza thamani yake, kwa hivyo placeholder inafaa. Ikiwa LibreChat inaendeshwa kwenye Docker na Ollama inaendeshwa kwenye mashine hiyo hiyo, localhost ndani ya container inamaanisha container yenyewe, kwa hivyo tumia host.docker.internal hapo badala yake.
Hollama na OrionChat: kivinjari ndicho kinachofanya kazi
Hollama huhudumia programu ya kivinjari kutoka kwenye container moja ndogo. Mazungumzo huhifadhiwa kwenye storage ya kivinjari chako, si kwenye seva.
docker run -d --restart unless-stopped -p 127.0.0.1:4173:4173 --name hollama ghcr.io/fmaclen/hollama:latestToleo la mwongozo wa self-hosting la command hii hutumia --rm, ambayo hufuta container inapositishwa. Kwa hiyo, interface hairudi baada ya reboot.
OrionChat huenda zaidi na haina server component kabisa. Clone repository kisha uhudumie folder hilo kwa web server unayoendesha tayari, au fungua index.html kutoka kwenye disk. API keys huhifadhiwa kwenye localStorage ya kivinjari, historia ya mazungumzo hubaki kwenye kivinjari, na app hufuta mazungumzo ya zamani zaidi idadi inapozidi 512. Anwani ya Ollama ya OrionChat imewekwa moja kwa moja kwenye source yake (js/script.js) kuwa http://localhost:11434, na settings zake hazina field ya kuibadilisha.
Hakuna mradi wowote kati ya hii miwili wenye login. Kwenye laptop hilo si tatizo. Kwenye VPS, maana yake ni kwamba ukurasa haupaswi kamwe kuchapishwa kwenye 0.0.0.0. Pia kuna jambo ambalo ni rahisi kulikosa: kivinjari ndicho kinachowasiliana na model, si seva.
Jambo hilo moja huamua mahali ambapo miradi hii miwili inaweza kutumika. Kivinjari chako lazima kiweze kufikia Ollama moja kwa moja. Kwa OrionChat, hilo humaanisha localhost:11434 kila wakati kwenye mashine inayoendesha kivinjari. Kwa hiyo, model ya mbali inahitaji tunnel au local TCP proxy inayosikiliza hapo. Windows netsh interface portproxy, kwa mfano, inaweza kupeleka port hiyo ya ndani kwenye Ollama ya mbali inayoweza kufikiwa bila kubadilisha OrionChat. Hollama hukubali anwani yoyote unayoingiza kama base URL ya connection, na mwongozo wake wa self-hosting unaeleza kuhusu Ollama server iliyo kwenye kifaa kingine: ongeza origin ya Hollama kwenye OLLAMA_ORIGINS upande wa Ollama. Kwa hiyo, usipofikia Ollama kupitia tunnel au proxy, Ollama lazima isikilize zaidi ya loopback. API ya Ollama haihitaji login wala key. Kutokana na hilo, kanuni mbili za kivinjari zinafuata. Ukurasa unaohudumiwa kupitia HTTPS hauwezi kuita endpoint ya HTTP isiyo na encryption kwenye public IP address, na console huonyesha Mixed Content: The page at 'https://chat.example.com/' was loaded over HTTPS, but requested an insecure resource 'http://203.0.113.10:11434/api/tags'. This request has been blocked.. Loopback ina msamaha tofauti: Mixed Content spec huzuia tu URL ambazo si potentially trustworthy, na Secure Contexts spec huhesabu localhost, 127.0.0.0/8 na ::1 kuwa potentially trustworthy. Kwa hiyo, ukurasa huohuo wa HTTPS unaweza kuita http://localhost:11434 au http://127.0.0.1:11434. Msamaha huo ndio unaotumiwa na SSH tunnel iliyo hapa chini. Tangu version 142, Chrome huongeza hatua moja ukurasa unapotoka kwenye public site kama https://chat.example.com: request kutoka hapo kwenda kwenye loopback au local network address husubiri hadi mtumiaji aruhusu local network access kwenye permission prompt. Chrome pia huondoa kwenye mixed-content checks HTTP requests zinazoomba permission kwenda kwenye local-network endpoints wakati hostname ni private IP literal kama 192.168.0.1, jina la .local, au fetch inapotaja targetAddressSpace: "local". Ukurasa unaofungua kwenye http://localhost kupitia tunnel tayari uko kwenye loopback, kwa hiyo prompt hiyo haitumiki kwake. Call kwenda kwenye origin nyingine yoyote hukataliwa kwa has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource hadi uruhusu origin hiyo.
Njia iliyowekwa kwenye nyaraka za Ollama ya kubadilisha setting yoyote kati ya hizo ni systemd override.
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=https://chat.example.com"sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo ss -lntp | grep 11434ss sasa inapaswa kuchapisha 0.0.0.0:11434 mahali ambapo hapo awali ilichapisha 127.0.0.1:11434. Fanya mabadiliko hayo tu wakati firewall au authenticating proxy tayari inadhibiti nani anayeweza kufikia port. Port ya 11434 iliyo wazi ni model server iliyo wazi, na mass scanners hufikia public port mpya haraka. SSH tunnel iliyo hapa chini huepuka suala hilo lote: ukurasa huendesha kwenye localhost origin, ambayo Ollama inaruhusu kwa default, na port haiondoki kwenye mashine hiyo.
Je, kila mojawapo inaweza kutumia endpoint ya mbali ya Ollama au vLLM
Open WebUI inaweza, na muunganisho huo huanzishwa upande wa seva. OLLAMA_BASE_URL=http://model-host:11434 huielekeza kwenye Ollama. Kwa vLLM, weka OPENAI_API_BASE_URL=http://model-host:8000/v1, huku ukiweka /v1 ambayo vLLM hutumia kutoa API yake. Weka OPENAI_API_KEY tu ikiwa seva ilianzishwa kwa key, kwa sababu mwongozo wa Open WebUI wa vLLM hautumii authentication vinginevyo. Seva nyingine zinazooana na OpenAI hutumia base path iliyoainishwa kwenye nyaraka zake, ambayo si lazima iwe /v1. OPENAI_API_BASE_URLS inakubali backends kadhaa zilizotenganishwa kwa semicolon.
LibreChat inaweza, kupitia baseURL ya custom endpoint iliyoonyeshwa hapo juu. Ombi hilo pia huondoka kwenye seva, kwa hiyo sheria za browser hazitumiki. Base URL hiyo hiyo na placeholder key hiyo hiyo vinafanya kazi nje ya chat window pia. Hilo ndilo pekee linalohitajika ili kuelekeza coding agent kwenye model unayo-host tayari.
Hollama inaweza kuelekezwa kwenye endpoint yoyote unayoandika kwenye settings zake. Muunganisho wake wa Ollama una base URL inayoweza kuhaririwa, ambayo kwa chaguo-msingi ni http://localhost:11434. Zaidi ya hayo, Hollama inatoa muunganisho unaooana na OpenAI, http://localhost:8080/v1 kwa chaguo-msingi, ambao ndiyo njia ya kufikia vLLM. Ombi huondoka kwenye browser yako, kwa hiyo kila kitu katika sehemu iliyo hapo juu kinatumika pia hapa. OrionChat haina setting ya endpoint ya mbali. Endpoints zake zimewekwa moja kwa moja kwenye programu, huku Ollama ikiwa imewekwa kwenye http://localhost:11434/v1/chat/completions. README yake inasema maombi huenda moja kwa moja kwenye API rasmi ya kila provider. Ollama ya mbali inaweza kufikiwa kupitia SSH tunnel au local TCP proxy inayofanya ijibu kwenye port hiyo ya ndani. Hakuna setting ya seva ya vLLM kabisa.
Kutenganisha interface na model ndilo faida muhimu zaidi ya endpoint ya mbali. Weka interface kwenye box ndogo, na model mahali penye memory inayohitajika. Hapo ndipo pia unapopaswa kuamua ikiwa Ollama au vLLM inapaswa kuhudumia maombi, kwa sababu mifumo hiyo miwili hufanya kazi kwa njia tofauti sana watu kadhaa wanapozungumza na model kwa wakati mmoja. Ikiwa seva ya model bado haipo, anza kwa kuendesha Ollama kwenye VPS. Kwenye box inayotumia CPU pekee, soma jinsi Ollama inavyolinganishwa na llama.cpp kabla ya kuchagua runner.
Usiwahi kuchapisha UI ya gumzo bila login kwenye 0.0.0.0
Ukurasa wa kuimarisha usalama (hardening) wa Open WebUI unasema mradi huu "umejengwa kwa ajili ya mitandao ya kibinafsi na inayoaminika, sawa na miundombinu mingine ya self-hosted kama database, container registries, na CI servers", na unakushauri kuiweka nyuma ya VPN au nyuma ya reverse proxy yenye uthibitishaji (authentication). Mradi usio na login hata kidogo unastahili matibabu hayo hayo.
Kagua kinachosikiliza (listening) kabla ya kukiamini.
sudo ss -lntp | grep -E ':(3000|3080|4173|11434)'Mstari unaosomeka 127.0.0.1:3000 ndio unaotaka. Mstari unaosomeka 0.0.0.0:3000 unamaanisha huduma inasikiliza kwenye anwani zote, na Docker inaruhusu kila IP ya nje kufikia port iliyochapishwa kwa chaguo-msingi. Isipokuwa kama sheria katika chain ya DOCKER-USER ya Docker au firewall ya mtoa huduma wako imezuia, interface yako ya gumzo iko kwenye Internet ya umma. Kutoka kwenye mashine yako mwenyewe, curl -sI http://YOUR.VPS.IP:3000 inayojibu HTTP/1.1 200 OK inamaliza swali hilo kwa uwazi zaidi.
Kuzima login ya Open WebUI kwa WEBUI_AUTH=False ni mpangilio wa mtumiaji mmoja kwa mashine ambayo hakuna mtu mwingine anayeweza kuifikia. Nyaraka zake pia zinasema inafanya kazi tu kwenye usakinishaji usio na watumiaji waliosajiliwa, kwa hivyo huwezi kuitumia kwenye mfumo ambao tayari una akaunti.
Muundo wa kwanza: funga kwenye loopback na uifikie kupitia SSH. Chapisha kila port kwenye 127.0.0.1, kisha fanya forward unachohitaji: ssh -N -L 3000:127.0.0.1:3000 you@vps.example.com, na ufungue http://localhost:3000 kwenye laptop yako. Tumia Docker Engine 28.0.0 au toleo jipya zaidi kwa muundo huu; matoleo ya zamani huruhusu hosts kwenye segment moja ya L2 kufikia ports zilizochapishwa kwenye localhost. Kwa OrionChat, fanya forward ya port ya model kwa amri hiyo hiyo na -L 11434:127.0.0.1:11434 na uache Ollama kwenye loopback. Hollama inaweza kufikia Ollama moja kwa moja, lakini forward hiyo hiyo inaiweka Ollama mbali na Internet ya umma, kwa hivyo ni njia salama zaidi kwa Hollama pia. Muundo huu una nguvu kama ilivyo usanidi wako wa SSH, kwa hivyo iunganishe na SSH ya ufunguo pekee na sshd iliyoimarishwa.
Muundo wa pili: reverse proxy inayothibitisha kabla ya programu kuona ombi. Iweke programu kwenye loopback, acha proxy imiliki port 443, na uweke single sign-on mbele. Traefik inayoendeshwa na Docker Compose labels pamoja na Authentik kama mtoa utambulisho huipa kila programu kwenye seva login moja na cheti kimoja. Ukiwa na Open WebUI nyuma ya TLS (transport layer security), weka WEBUI_SESSION_COOKIE_SECURE=true na WEBUI_SESSION_COOKIE_SAME_SITE=strict. Fupisha JWT_EXPIRES_IN kutoka muda wake wa chaguo-msingi wa wiki nne pia, kwa sababu Open WebUI inaeleza kuwa bila Redis, kutoka (sign-out) hakufuti uhalali wa token: inabaki kutumika hadi itakapomaliza muda wake yenyewe.
Muundo wa pili hausaidii miradi ya kivinjari pekee. Proxy iliyo mbele ya ukurasa haikulindi endpoint ya model, na ombi (fetch) kutoka ukurasa huo kwenda hostname nyingine halibebi cookie yako ya session, kwa hivyo proxy inayothibitisha iliyo mbele ya Ollama itajibu kwa kuelekeza kwenye fomu ya login na gumzo litafeli. Aidha elekeza endpoint ya model chini ya hostname moja na ukurasa, au tumia muundo wa kwanza.
Cha kuchagua
Ikiwa mtu mwingine yeyote ataitumia, endesha Open WebUI. Ina akaunti halisi, watumiaji wapya huwekwa kwenye foleni ya kuidhinishwa, na watunzaji wake huchapisha mwongozo wa hardening unaoweza kufuata. Ikiwa unahitaji LDAP au admin panel, endesha LibreChat, weka ADMIN_PANEL_SESSION_SECRET ikiwa unataka paneli hiyo, na uthibitishe kwa docker stats kwamba services zake tano, au sita ukiwa na paneli, pamoja na model yako vina nafasi ya kutosha kabla hujaitegemea. Ikiwa ni mtu mmoja kwenye mashine ndogo ambako model tayari imetumia sehemu kubwa ya RAM, toa Hollama au OrionChat kupitia SSH tunnel na uache browser ishikilie state. Jibu lisilofaa kwenye VPS ni kutumia mojawapo ikiwa imewekwa wazi kwenye 0.0.0.0 bila login mbele yake.
FAQ
Je, Open WebUI ni salama kufunguliwa moja kwa moja kwenye IP ya umma?
Ukurasa wake wa hardening unakieleza kama programu ya mitandao ya faragha na inayoaminika, katika kundi moja na database au CI server. Ina accounts halisi, na account ya kwanza huwa administrator huku zinazofuata zikibaki pending hadi ziidhinishwe. Kwa hiyo ni salama zaidi kuliko UI isiyo na login. Hata hivyo, iweke nyuma ya reverse proxy yenye TLS na, inapowezekana, single sign-on. Publish port ya container kama 127.0.0.1:3000:8080 na utumie Docker Engine 28.0.0 au toleo la baadaye kabla ya kutegemea loopback publishing kwa ajili ya isolation. Docker inaonya kuwa kwenye releases za zamani, hosts zilizo kwenye L2 segment moja zinaweza kufikia ports zilizopublishiwa kwenye localhost.
Ni alternative gani ya Open WebUI inayotumia RAM kidogo zaidi kwenye VPS?
Ni zile zinazotumia browser, Hollama na OrionChat, kwa sababu application huendeshwa kwenye client. Server hutuma static files pekee, na OrionChat haihitaji application container kabisa. Open WebUI huweka Python process, database na, kwa default, local embedding model kwenye memory. Thibitisha numbers kwenye box yako kwa docker stats --no-stream, kwa sababu hubadilika kulingana na features unazowasha.
Je, chat UIs hizi zinaweza kutumia Ollama server iliyo kwenye host nyingine?
Open WebUI na LibreChat zinaweza, na server zao ndizo huanzisha connection, kwa hiyo hakuna browser rule inayotumika. Weka OLLAMA_BASE_URL kwa Open WebUI, au baseURL kwenye custom endpoint ya LibreChat. Kwa vLLM au server nyingine inayooana na OpenAI, tumia OPENAI_API_BASE_URL pamoja na base path iliyoelezwa na server hiyo, ambayo ni /v1 kwa vLLM, kisha ongeza API key ikiwa server inahitaji. Hollama inaweza pia kuelekezwa popote, lakini request hutoka kwenye browser yako. Kwa hiyo endpoint lazima ifikike kutoka kwenye browser yako pia. Anwani ya Ollama ya OrionChat imewekwa moja kwa moja kuwa http://localhost:11434, kwa hiyo Ollama ya mbali inahitaji SSH tunnel au local TCP proxy inayoforward port hiyo kwenda kwenye server ya mbali inayofikika.
Kwa nini browser chat UI yangu haiwezi kufikia Ollama?
Sababu mbili zinahusisha karibu kila hali. Ollama hufunga bind kwenye 127.0.0.1:11434 kwa default, kwa hiyo browser iliyo kwenye mashine nyingine haiwezi kuifikia moja kwa moja hadi OLLAMA_HOST ibadilishwe au tunnel au proxy itoe access. Pia, kwa default Ollama inakubali cross-origin requests kutoka localhost, 127.0.0.1 na 0.0.0.0 pekee. Kwa hiyo page inayotolewa kutoka kwenye domain yako inakataliwa kwa No 'Access-Control-Allow-Origin' header is present on the requested resource hadi origin hiyo iwekwe kwenye OLLAMA_ORIGINS. Ikiwa page ni HTTPS na endpoint ni plain HTTP kwenye public IP address, browser huzuia call kama mixed content kabla Ollama haijaiona. Loopback addresses (localhost, address yoyote iliyo kwenye 127.0.0.0/8 kama vile 127.0.0.2, au [::1]) hazihusiki na kizuizi hicho. Chrome pia haizuii local-network HTTP requests zinazotumia private IP literals kama 192.168.0.1, hostnames za .local, au targetAddressSpace: "local" baada ya ruhusa ya local-network kutolewa. Masharti ya CORS ya Ollama bado yanatumika. Weka variables zote mbili kwenye override ya systemctl edit ollama.service, au forward port kupitia SSH na tatizo litaondoka.