VPS కోసం ఉత్తమ Open WebUI ప్రత్యామ్నాయాలు
VPSలో Open WebUI, LibreChat, Hollama మరియు OrionChat పనితీరును పోల్చండి. పబ్లిక్ IP ఉన్నప్పుడు RAM వినియోగం, యూజర్ లాగిన్ భద్రత మరియు రిమోట్ Ollama సెటప్ గురించి తెలుసుకోండి.
VPSలో ఏ Open WebUI ప్రత్యామ్నాయం సరిపోతుంది
Open WebUI ప్రత్యామ్నాయాలను దాదాపు ఎల్లప్పుడూ laptopపై పోల్చుతారు. అక్కడ RAM చవకగా ఉంటుంది. ఏ సేవా public addressపై listen చేయదు. VPSలో ఈ రెండు అంశాలు మారతాయి. అందువల్ల ప్రాధాన్యత క్రమం కూడా మారుతుంది. రెండో వ్యక్తి login చేసిన వెంటనే Open WebUI సరైన defaultగా ఉంటుంది. ఎందుకంటే ఇందులో నిజమైన user accounts మరియు admin panel ఉన్నాయి. చివరి gigabyte RAM కోసం interface modelతో వనరులను పంచుకోవాల్సి వచ్చినప్పుడు తేలికైన projects మెరుగ్గా ఉంటాయి. అయితే దీనికి authentication ఉండదు.
క్రింద ఉన్న సమాచారం ప్రతి project's స్వంత documentation నుంచి తీసుకున్నది. దీనిని August 2026లో చదివి, 20 October 2026న మళ్లీ పరిశీలించాం. Open WebUI, LibreChat, Hollama మరియు OrionChat కోసం 25 October 2026న మరోసారి తనిఖీ చేశాం. Ollama documentation మరియు browser security rules ను 29 October 2026న మళ్లీ తనిఖీ చేశాం. ఈ నాలుగు ప్రమాణాలు server internet నుంచి అందుబాటులోకి వచ్చిన తర్వాత మాత్రమే ముఖ్యంగా కనిపిస్తాయి.
పబ్లిక్ IPపై మాత్రమే పరిగణించవలసిన నాలుగు అంశాలు
- మోడల్కు సమీపంలో మెమరీ. సర్వర్లోని ఖరీదైన ప్రక్రియ మోడల్ సర్వర్. ఇంటర్ఫేస్ ఉపయోగించే ప్రతి మెగాబైట్ మెమరీ, మోడల్కు అందుబాటులో ఉండదు.
- అథెంటికేషన్ (Authentication). కొన్ని ప్రాజెక్ట్లలో యూజర్ అకౌంట్లు మరియు రోల్స్ ఉంటాయి. మరికొన్ని ప్రాజెక్ట్లు, మీ ల్యాప్టాప్లో అవే మాత్రమే నడుస్తున్నాయని భావించి, ఎటువంటి లాగిన్ సౌకర్యం లేకుండా ఉంటాయి.
- రిమోట్ ఇన్ఫరెన్స్ (Remote inference). కేవలం
127.0.0.1:11434కి మాత్రమే పాయింట్ చేయబడిన UI, మోడల్ కూడా అదే బాక్సులో ఉంటుందని ఆశిస్తుంది. మోడల్ను వేరే చోట ఉంచినప్పుడు, ఆ లోకల్ పోర్ట్ను మోడల్ హోస్ట్కు ఫార్వర్డ్ చేయడానికి టన్నెల్ లేదా లోకల్ ప్రాక్సీ అవసరం. - నిర్వహణ (Upkeep). SQLite ఫైల్తో ఉన్న ఒక కంటైనర్ను నిర్వహించడం, MongoDB మరియు వెక్టర్ డేటాబేస్తో కూడిన ఆరు కంటైనర్లను నిర్వహించడం కంటే భిన్నమైన పని.
ఇంటర్ఫేస్ కోసం మోడల్ ఎంత RAM మిగులుస్తుంది
ఈ సర్వర్లో ఇంటర్ఫేస్ అతిపెద్ద భాగం కాదు. మోడలే ప్రధాన భాగం. ప్రచురించిన download పరిమాణాలు కనీస అంచనాను చూపిస్తాయి. మోడల్ సమాధానం ఇస్తున్నప్పుడు weights మెమరీలో ఉండాలి. context cache కేటాయించిన తర్వాత వాస్తవ మెమరీ వినియోగం download పరిమాణం కంటే ఎక్కువగా ఉంటుంది.
ఈ చార్ట్ వెనుక ఉన్న డేటా
[
{
"label": "llama3.2:3b",
"download_gb": "2.0"
},
{
"label": "qwen3:4b",
"download_gb": "2.5"
},
{
"label": "gemma3:4b",
"download_gb": "3.4"
},
{
"label": "qwen3:8b",
"download_gb": "5.2"
}
]ఇవి 25 October 2026న Ollama library పేజీలలో చూపించిన గణాంకాలు. ఇవి ప్రచురించిన పరిమాణాలు మాత్రమే, కొలతలు కావు. 4 GB VPSలో qwen3:4b కు 2.5 GB అవసరం. దాంతో operating system మరియు మిగతా అన్ని భాగాలకు 1.5 GB కంటే తక్కువ మెమరీ మిగులుతుంది. సంభాషణ పెరుగుతున్న కొద్దీ context cache ఆ మిగిలిన మెమరీని కూడా ఉపయోగిస్తుంది. అందుకే మీరు సెట్ చేసే num_ctx memory నిర్ణయం మాత్రమే కాదు, నాణ్యతకు సంబంధించిన నిర్ణయం కూడా. qwen3:8b కు 5.2 GB అవసరం. కాబట్టి అది ఆ సర్వర్లో అసలు సరిపోదు. Laptop roundupలు సాధారణంగా ఈ పరిస్థితిని పరిగణనలోకి తీసుకోవు. అయితే కొన్ని వందల megabytes మెమరీ ఉపయోగించే chat interface మోడల్ నడుస్తుందా లేదా అన్నది నిర్ణయించవచ్చు. ఈ tags కంటే చాలా పెద్ద మోడల్ కోసం సర్వర్ పరిమాణాన్ని నిర్ణయిస్తుంటే, CPU-only VPSలో 27B మోడల్కు సంబంధించిన లెక్కలు interface ఇక నిర్ణయాత్మక సంఖ్యగా ఎందుకు ఉండదో వేగంగా చూపిస్తాయి.
ఏ roundupలోని సంఖ్యనైనా, ఇందులో ఉన్నదానినీ, నమ్మకుండా కొలవండి. docker stats --no-stream ను వాస్తవ వినియోగం ప్రారంభమైన ఒక గంట తర్వాత అమలు చేయండి. Container ప్రారంభమైన ఒక నిమిషం తర్వాత కొలవకండి. ఎందుకంటే ముఖ్యమైన మెమరీ మొదటిసారి ఉపయోగించినప్పుడు మాత్రమే కేటాయించబడుతుంది. Ollama ఐదు నిమిషాలపాటు idleగా ఉన్న తర్వాత weightsను కూడా విడుదల చేస్తుంది. అందువల్ల సంభాషణల మధ్య తీసుకున్న reading గరిష్ఠ వినియోగాన్ని తక్కువగా చూపిస్తుంది. keep_aliveతో మోడల్ను residentగా ఉంచకపోతే, తదుపరి message పంపినప్పుడు మొత్తం model load మళ్లీ అవసరమవుతుంది.
Open WebUI: ఒకరి కంటే ఎక్కువ మంది వినియోగదారుల కోసం ఇప్పటికీ డిఫాల్ట్ ఎంపిక
Open WebUI ఒక image నుంచి నడుస్తుంది. ఇది తన data ను ఒక volume లో నిల్వ చేస్తుంది.
docker run -d -p 127.0.0.1:3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:mainప్రాజెక్ట్ README లోని command -p 3000:8080 ను publish చేస్తుంది. ఇది ప్రతి interface పై listen చేస్తుంది. 127.0.0.1: prefix ద్వారా ఇది loopback interface కు మాత్రమే పరిమితం అవుతుంది. 28.0.0 కంటే పాత releases లో, అదే L2 segment లోని hosts localhost కు publish చేసిన ports ను చేరుకోగలవని Docker హెచ్చరిస్తుంది. అందువల్ల isolation కోసం ఆ binding పై ఆధారపడే ముందు Docker Engine 28.0.0 లేదా తరువాతి version ను ఉపయోగించండి. VPS పై ఆ prefix line లోని మిగతా భాగాలన్నింటికంటే ముఖ్యమైనది. కారణం Docker తన స్వంత iptables rules ను రాస్తుంది. publish చేసిన port మీ ufw deny rules ను పట్టించుకోదు.
కింద వివరించిన tunnel లేదా proxy ద్వారా page ను తెరవండి. తరువాత మొదటి account ను సృష్టించండి. ఆ account administrator అవుతుంది. ఆ తరువాత sign-up స్వయంచాలకంగా నిలిపివేయబడుతుంది. Admin New Sign Ups ను మళ్లీ on చేసే వరకు అది నిలిచే ఉంటుంది. తరువాత సృష్టించే signups కు pending role కేటాయించబడుతుంది. ఇది documentation లో పేర్కొన్న DEFAULT_USER_ROLE default. అందువల్ల page ను చేరుకున్న అపరిచితుడు admin అనుమతించే వరకు మీ model ను ఉపయోగించలేడు.
కింద ఉన్న projects కంటే Open WebUI ఎక్కువ memory ను ఉపయోగిస్తుంది. కారణం, ఇది ఎక్కువ పనులు చేస్తుంది. దాని performance page memory ఖర్చు చేసే భాగాలను పేర్కొంటుంది. Default embedding engine container లో sentence-transformers model ను load చేస్తుంది. RAG_EMBEDDING_ENGINE=ollama ను set చేస్తే ఆ పనిని మీరు ఇప్పటికే నడుపుతున్న model server కు అప్పగిస్తుంది. AUDIO_STT_ENGINE=web ను set చేస్తే local speech-to-text model load కాదు. DATABASE_POOL_SIZE unset గా ఉన్న SQLite లో pool పెద్ద internal size కు fallback అవుతుంది. ప్రతి connection తనకు ప్రత్యేకమైన page cache మరియు memory map ను పెంచుకుంటుంది. అందువల్ల చిన్న box పై DATABASE_POOL_SIZE=8 మరియు DATABASE_SQLITE_PRAGMA_MMAP_SIZE=0 ను set చేయండి. User ఇంకా type చేస్తుండగానే completion కోసం model ను అడిగే Autocomplete ఇప్పుడు default గా off లో ship అవుతుంది (ENABLE_AUTOCOMPLETE_GENERATION కు False default). కాబట్టి చిన్న box పై దానిని off లోనే ఉంచండి.
LibreChat: వెనుక stack తో బహుళ-వినియోగదారు వ్యవస్థ
git clone https://github.com/danny-avila/LibreChat.git
cd LibreChat
cp .env.example .env
docker compose up -dఇంటర్ఫేస్ port 3080 పై అభ్యర్థనలకు స్పందిస్తుంది. login box కంటే identity system అవసరమైనప్పుడు పరిశీలించాల్సినది LibreChat. ఇది LDAP మరియు OAuth2 logins ను document చేస్తుంది. దీని default compose file users, groups మరియు roles కోసం admin panel ను కూడా నిర్వచిస్తుంది. ఈ panel out of the box గా నడవదు. .env లో ADMIN_PANEL_SESSION_SECRET సెట్ చేసే వరకు ఇది ప్రారంభం కావడానికి నిరాకరిస్తుంది. ఇది default లేని, కనీసం 32 characters అవసరమైన విలువ. కావాలంటే openssl rand -hex 32 తో ఒకదాన్ని generate చేయండి. ఈ panel LibreChat process లో కాకుండా ప్రత్యేక service గా నడుస్తుంది. దీనికి LibreChat v0.8.5 లేదా తరువాతి version అవసరం. ఈ సామర్థ్యం stack తో వస్తుంది.
ఈ చార్ట్ వెనుక ఉన్న డేటా
[
{
"label": "OrionChat",
"containers": 0,
"notes": "static files, served by a web server you already run"
},
{
"label": "Hollama",
"containers": 1,
"notes": "one container serving a browser app"
},
{
"label": "Open WebUI",
"containers": 1,
"notes": "application and SQLite in one image"
},
{
"label": "LibreChat",
"containers": 5,
"notes": "api, MongoDB, Meilisearch, pgvector, RAG API"
}
]default compose file 5 services ను ప్రారంభిస్తుంది: api, MongoDB, Meilisearch, pgvector, RAG API. ఆరవ service అయిన admin panel అదే file లో ఉంటుంది. దాని secret సెట్ చేసిన తర్వాత అది కూడా ఈ services లో చేరుతుంది. వీటిలో ఏదీ model కాదు. MongoDB మరియు pgvector కు ఒక్కొక్కదానికి ప్రత్యేక memory అవసరం. 4 GB box లో ఆ memory model కు అవసరమైన memory నుంచే తగ్గుతుంది.
ఈ file లోని రెండు services ports ను publish చేస్తాయి. ఏ mapping లోనూ bind address పేర్కొనలేదు. API 3080 పై, admin panel host port 3000 పై నడుస్తాయి. 3000 అనేది ADMIN_PANEL_PORT యొక్క default. అందువల్ల రెండూ నడిచిన తర్వాత ప్రతి interface పై listen చేస్తాయి. పైన Open WebUI కూడా port 3000 ను ఉపయోగిస్తుంది. కాబట్టి panel enable చేసిన వెంటనే shared box పై రెండూ పరస్పరం collide అవుతాయి. stack ను internet కు expose చేసే ముందు docker-compose.override.yml లో రెండింటినీ 127.0.0.1 కు rebind చేయండి.
Upgrades ఒక git operation ద్వారా జరుగుతాయి. సాధారణంగా తప్పు జరిగేది ఇదే భాగంలో.
docker compose down
git pull
docker compose pull
docker compose up -dమీరు tracked docker-compose.yml ను edit చేసి ఉంటే git pull conflict తో ఆగిపోతుంది. దాంతో upgrade సగం మాత్రమే apply అవుతుంది. మీ మార్పులను దీని కోసం project అందించే docker-compose.override.yml లో ఉంచండి. Secrets ను .env లో ఉంచండి. రెండు files untracked కావడంతో git pull వాటిని మార్చదు.
librechat.yaml లో custom endpoint ను ఉపయోగించి LibreChat ను మీ స్వంత model server కు point చేయండి.
endpoints:
custom:
- name: "Ollama"
apiKey: "ollama"
baseURL: "http://model-host:11434/v1/"
models:
default: ["llama3.2"]
fetch: true
titleConvo: true
titleModel: "current_model"
modelDisplayLabel: "Ollama"Ollama నడుస్తున్న box యొక్క address తో model-host ను replace చేయండి. Ollama దాని value ను పట్టించుకోకపోయినా apiKey field ఉండాలి. అందువల్ల placeholder సరిపోతుంది. LibreChat Docker లో, Ollama అదే machine పై నడుస్తుంటే, container లోని localhost అంటే container తానే. కాబట్టి అక్కడ host.docker.internal ను ఉపయోగించండి.
Hollama మరియు OrionChat: బ్రౌజర్యే పని పూర్తి చేస్తుంది
Hollama ఒక చిన్న కంటైనర్ నుండి బ్రౌజర్ అప్లికేషన్ను అందిస్తుంది. చాట్లు సర్వర్లో కాకుండా, మీ బ్రౌజర్ స్టోరేజ్లోనే ఉంటాయి.
docker run -d --restart unless-stopped -p 127.0.0.1:4173:4173 --name hollama ghcr.io/fmaclen/hollama:latestఈ సెల్ఫ్-హోస్టింగ్ గైడ్లోని కమాండ్ వెర్షన్ --rmని ఉపయోగిస్తుంది, ఇది కంటైనర్ ఆగిపోయినప్పుడు దానిని తొలగిస్తుంది, కాబట్టి రీబూట్ తర్వాత ఇంటర్ఫేస్ తిరిగి రాదు.
OrionChat ఇంకా ముందుకెళ్లి, ఎటువంటి సర్వర్ భాగం లేకుండా పనిచేస్తుంది. రిపోజిటరీని క్లోన్ చేసి, మీరు ఇప్పటికే రన్ చేస్తున్న వెబ్ సర్వర్తో ఆ ఫోల్డర్ను సర్వ్ చేయండి, లేదా డిస్క్ నుండి index.htmlని ఓపెన్ చేయండి. API కీలు బ్రౌజర్ యొక్క localStorageలో నిల్వ చేయబడతాయి, చాట్ హిస్టరీ బ్రౌజర్లోనే ఉంటుంది, మరియు చాట్ల సంఖ్య 512 దాటినప్పుడు యాప్ పాత చాట్లను తొలగిస్తుంది. OrionChat యొక్క Ollama అడ్రస్ దాని సోర్స్ కోడ్ (js/script.js)లో http://localhost:11434 వద్ద స్థిరంగా ఉంటుంది, దాని సెట్టింగ్స్లో దీన్ని మార్చడానికి ఎటువంటి ఫీల్డ్ ఉండదు.
ఈ రెండు ప్రాజెక్టులలో లాగిన్ సౌకర్యం లేదు. ల్యాప్టాప్లో అయితే ఇది పర్వాలేదు. VPSలో అయితే, ఈ పేజీని ఎప్పుడూ 0.0.0.0లో పబ్లిష్ చేయకూడదు, మరియు గమనించాల్సిన మరో ముఖ్యమైన విషయం ఏమిటంటే: బ్రౌజర్ మోడల్ను పిలుస్తుంది, సర్వర్ కాదు.
ఈ ఒక్క అంశమే ఈ రెండింటిని ఎక్కడ ఉపయోగించవచ్చో నిర్ణయిస్తుంది. మీ బ్రౌజర్ నేరుగా Ollamaను చేరుకోగలగాలి. OrionChat విషయంలో, దీని అర్థం బ్రౌజర్ రన్ అవుతున్న మెషీన్ మీద localhost:11434 అని, కాబట్టి రిమోట్ మోడల్ కోసం అక్కడ టన్నెల్ లేదా లోకల్ TCP ప్రాక్సీ అవసరం. ఉదాహరణకు, Windows netsh interface portproxy, OrionChatలో ఎటువంటి మార్పులు చేయకుండానే ఆ లోకల్ పోర్ట్ను అందుబాటులో ఉన్న రిమోట్ Ollamaకు ఫార్వర్డ్ చేయగలదు. Hollama మీరు ఎంటర్ చేసే ఏ అడ్రస్నైనా కనెక్షన్ బేస్ URLగా తీసుకుంటుంది, మరియు దాని సెల్ఫ్-హోస్టింగ్ గైడ్ మరొక పరికరంలోని Ollama సర్వర్ను కవర్ చేస్తుంది: Ollama వైపు OLLAMA_ORIGINSకి Hollama యొక్క ఆరిజిన్ను జోడించండి. కాబట్టి, మీరు టన్నెల్ లేదా ప్రాక్సీ ద్వారా Ollamaను చేరుకోకపోతే, Ollama లూప్బ్యాక్ కంటే ఎక్కువ వాటిపై వినాల్సి ఉంటుంది, మరియు Ollama API ఎటువంటి లాగిన్ లేదా కీని అడగదు. దీని నుండి రెండు బ్రౌజర్ నియమాలు వస్తాయి. HTTPS ద్వారా సర్వ్ చేయబడిన పేజీ పబ్లిక్ IP అడ్రస్లోని సాధారణ HTTP ఎండ్పాయింట్ను పిలవలేదు, మరియు కన్సోల్ Mixed Content: The page at 'https://chat.example.com/' was loaded over HTTPS, but requested an insecure resource 'http://203.0.113.10:11434/api/tags'. This request has been blocked.ని ప్రింట్ చేస్తుంది. లూప్బ్యాక్కు ప్రత్యేక మినహాయింపు ఉంది: మిక్స్డ్ కంటెంట్ స్పెసిఫికేషన్ నమ్మదగినవి కాని URLలను మాత్రమే బ్లాక్ చేస్తుంది, మరియు సెక్యూర్ కాంటెక్స్ట్స్ స్పెసిఫికేషన్ localhost, 127.0.0.0/8 మరియు ::1లను నమ్మదగినవిగా పరిగణిస్తుంది, కాబట్టి అదే HTTPS పేజీ http://localhost:11434 లేదా http://127.0.0.1:11434ని పిలవవచ్చు. ఈ మినహాయింపుపైనే కింద ఉన్న SSH టన్నెల్ ఆధారపడి ఉంటుంది. వెర్షన్ 142 నుండి, పేజీ https://chat.example.com వంటి పబ్లిక్ సైట్ నుండి వచ్చినప్పుడు Chrome ఒక అదనపు దశను జోడిస్తుంది: లూప్బ్యాక్ లేదా లోకల్ నెట్వర్క్ అడ్రస్కు వెళ్లే అభ్యర్థన, వినియోగదారు పర్మిషన్ ప్రాంప్ట్లో లోకల్ నెట్వర్క్ యాక్సెస్ను అనుమతించే వరకు వేచి ఉంటుంది. హోస్ట్ నేమ్ 192.168.0.1 వంటి ప్రైవేట్ IP లిటరల్, .local నేమ్, లేదా ఫెచ్ targetAddressSpace: "local"ని పేర్కొన్నప్పుడు, లోకల్-నెట్వర్క్ ఎండ్పాయింట్లకు పర్మిషన్-గేటెడ్ HTTP అభ్యర్థనలను మిక్స్డ్-కంటెంట్ చెక్స్ నుండి Chrome మినహాయిస్తుంది. మీరు టన్నెల్ ద్వారా http://localhost వద్ద ఓపెన్ చేసే పేజీ ఇప్పటికే లూప్బ్యాక్లో ఉంటుంది, కాబట్టి ఆ ప్రాంప్ట్ దానికి వర్తించదు. మీరు ఆ ఆరిజిన్ను అనుమతించే వరకు, ఇతర ఆరిజిన్కు చేసే కాల్ has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resourceతో తిరస్కరించబడుతుంది.
Ollamaలో ఈ సెట్టింగ్లను మార్చడానికి డాక్యుమెంట్ చేయబడిన మార్గం systemd ఓవర్రైడ్.
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=https://chat.example.com"sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo ss -lntp | grep 11434ss ఇప్పుడు 0.0.0.0:11434ని ప్రింట్ చేయాలి, ఇది అంతకుముందు 127.0.0.1:11434ని ప్రింట్ చేసేది. ఫైర్వాల్ లేదా అథెంటికేటింగ్ ప్రాక్సీ ద్వారా పోర్ట్ను ఎవరు చేరుకోగలరో నియంత్రణ ఉన్నప్పుడు మాత్రమే ఈ మార్పు చేయండి, ఎందుకంటే ఓపెన్ 11434 అనేది ఓపెన్ మోడల్ సర్వర్, మరియు మాస్ స్కానర్లు కొత్త పబ్లిక్ పోర్ట్ను త్వరగా చేరుకుంటాయి. కింద ఉన్న SSH టన్నెల్ ఈ సమస్యను పూర్తిగా నివారిస్తుంది: అప్పుడు పేజీ localhost ఆరిజిన్లో రన్ అవుతుంది, దీన్ని Ollama డిఫాల్ట్గా అనుమతిస్తుంది, మరియు పోర్ట్ ఎప్పుడూ బాక్స్ బయటకు వెళ్లదు.
ప్రతి ఒక్కటి రిమోట్ Ollama లేదా vLLM ఎండ్పాయింట్ను ఉపయోగించగలదా
Open WebUI ఉపయోగించగలదు, మరియు కనెక్షన్ సర్వర్ వైపు జరుగుతుంది. OLLAMA_BASE_URL=http://model-host:11434 దీనిని Ollama వైపు మళ్లిస్తుంది. vLLM కోసం, OPENAI_API_BASE_URL=http://model-host:8000/v1 సెట్ చేయండి, vLLM తన APIని అందించే /v1 ను అలాగే ఉంచండి. సర్వర్ కీతో ప్రారంభించబడితేనే OPENAI_API_KEY సెట్ చేయండి, ఎందుకంటే Open WebUI యొక్క vLLM గైడ్ లేకపోతే ఎటువంటి ప్రమాణీకరణను (auth) ఉపయోగించదు. ఇతర OpenAI-అనుకూల సర్వర్లు వాటి స్వంత డాక్యుమెంటేషన్ ఇచ్చే బేస్ పాత్ను తీసుకుంటాయి, ఇది ఎల్లప్పుడూ /v1 గా ఉండదు. OPENAI_API_BASE_URLS సెమికోలన్లతో వేరు చేయబడిన అనేక బ్యాకెండ్లను అంగీకరిస్తుంది.
LibreChat పైన చూపిన కస్టమ్ ఎండ్పాయింట్ యొక్క baseURL ద్వారా దీనిని చేయగలదు. ఆ అభ్యర్థన కూడా సర్వర్ నుండి బయటకు వెళ్తుంది, కాబట్టి బ్రౌజర్ నియమం ఏదీ వర్తించదు. అదే బేస్ URL మరియు అదే ప్లేస్హోల్డర్ కీ చాట్ విండో వెలుపల కూడా పనిచేస్తాయి, మీరు ఇప్పటికే హోస్ట్ చేసిన మోడల్కు కోడింగ్ ఏజెంట్ను పాయింట్ చేయడానికి ఇది సరిపోతుంది.
Hollama దాని సెట్టింగ్లలో మీరు టైప్ చేసే ఏదైనా ఎండ్పాయింట్ను పాయింట్ చేయగలదు. దీని Ollama కనెక్షన్ సవరించదగిన బేస్ URLను కలిగి ఉంటుంది, ఇది డిఫాల్ట్గా http://localhost:11434 వద్ద ఉంటుంది, మరియు దానితో పాటు Hollama ఒక OpenAI-అనుకూల కనెక్షన్ను అందిస్తుంది, ఇది డిఫాల్ట్గా http://localhost:8080/v1, ఇదే vLLM కి మార్గం. అభ్యర్థన మీ బ్రౌజర్ నుండి బయటకు వెళ్తుంది, కాబట్టి పైన ఉన్న విభాగంలోని ప్రతిదీ దీనికి వర్తిస్తుంది. OrionChat కు రిమోట్ ఎండ్పాయింట్ కోసం సెట్టింగ్ లేదు. దీని ఎండ్పాయింట్లు హార్డ్కోడ్ చేయబడ్డాయి, Ollama http://localhost:11434/v1/chat/completions వద్ద స్థిరంగా ఉంటుంది, మరియు అభ్యర్థనలు నేరుగా ప్రతి ప్రొవైడర్ యొక్క అధికారిక APIకి వెళ్తాయని దాని README చెబుతోంది. రిమోట్ Ollama ను SSH టన్నెల్ లేదా లోకల్ TCP ప్రాక్సీ ద్వారా చేరుకోవచ్చు, ఇది ఆ లోకల్ పోర్ట్ వద్ద స్పందించేలా చేస్తుంది, మరియు vLLM సర్వర్ కోసం ఎటువంటి సెట్టింగ్ లేదు.
ఇంటర్ఫేస్ను మోడల్ నుండి వేరు చేయడం అనేది రిమోట్ ఎండ్పాయింట్ మీకు అందించే అత్యంత ఉపయోగకరమైన విషయం. ఇంటర్ఫేస్ను చిన్న బాక్స్లో మరియు మోడల్ను మెమరీ ఉన్న చోట ఉంచండి. Ollama లేదా vLLM అభ్యర్థనలను అందించాలా అని నిర్ణయించుకోవడానికి కూడా ఇదే సరైన సమయం, ఎందుకంటే ఒకే సమయంలో పలువురు వ్యక్తులు మోడల్తో మాట్లాడినప్పుడు ఈ రెండూ చాలా భిన్నంగా ప్రవర్తిస్తాయి. మోడల్ సర్వర్ ఇంకా లేకపోతే, VPSలో Ollamaను రన్ చేయడం ద్వారా ప్రారంభించండి, మరియు కేవలం CPU ఉన్న బాక్స్లో రన్నర్ను ఎంచుకునే ముందు Ollama మరియు llama.cpp ఎలా పోల్చబడతాయో చదవండి.
0.0.0.0 పై login లేకుండా chat UI ను ఎప్పుడూ public చేయవద్దు
Open WebUI hardening పేజీలో ఈ ప్రాజెక్ట్ “databases, container registries, CI servers వంటి ఇతర self-hosted infrastructure మాదిరిగానే private, trusted networks కోసం రూపొందించబడింది” అని పేర్కొంది. దీన్ని VPN వెనుక లేదా authentication కలిగిన reverse proxy వెనుక ఉంచాలని కూడా సూచించింది. Login పూర్తిగా లేని ప్రాజెక్ట్కు కనీసం ఇదే స్థాయి రక్షణ అవసరం.
ఏదైనా నమ్మే ముందు ఏది listening లో ఉందో పరిశీలించండి.
sudo ss -lntp | grep -E ':(3000|3080|4173|11434)'127.0.0.1:3000 తో ఉన్న line మీకు కావలసినది. 0.0.0.0:3000 తో ఉన్న line అంటే service అన్ని addresses పై listening చేస్తోందని అర్థం. Docker default గా ప్రతి external source IP కు published port ను చేరుకునే అవకాశం ఇస్తుంది. Docker యొక్క DOCKER-USER chain లోని rule లేదా మీ provider firewall దీన్ని block చేయకపోతే, మీ chat interface public internet లో అందుబాటులో ఉంటుంది. మీ స్వంత machine నుంచి curl -sI http://YOUR.VPS.IP:3000, HTTP/1.1 200 OK కు స్పందిస్తే విషయం స్పష్టమవుతుంది.
WEBUI_AUTH=False తో Open WebUI login ను off చేయడం, మరెవరూ చేరుకోలేని machine కోసం single-user setting మాత్రమే. Registered users లేని installation లోనే ఇది పనిచేస్తుందని documentation చెబుతోంది. అందువల్ల accounts ఇప్పటికే ఉన్న installation పై దీన్ని వర్తింపజేయలేరు.
పద్ధతి ఒకటి: loopback కు bind చేసి SSH ద్వారా చేరుకోండి. ప్రతి port ను 127.0.0.1 పై publish చేయండి. తరువాత అవసరమైనదాన్ని forward చేయండి: ssh -N -L 3000:127.0.0.1:3000 you@vps.example.com, మరియు మీ laptop లో http://localhost:3000 ను open చేయండి. ఈ పద్ధతికి Docker Engine 28.0.0 లేదా తరువాతి version ఉపయోగించండి. పాత releases లో అదే L2 segment పై ఉన్న hosts, localhost కు published చేసిన ports ను చేరుకోగలవు. OrionChat కోసం -L 11434:127.0.0.1:11434 తో అదే command లో model port ను కూడా forward చేయండి. Ollama ను loopback పై ఉంచండి. Hollama నేరుగా Ollama కు చేరుకోగలదు. అయితే ఇదే forward Ollama ను public internet నుంచి దూరంగా ఉంచుతుంది. అందువల్ల Hollama కోసం కూడా ఇది సురక్షితమైన మార్గం. ఈ పద్ధతి మీ SSH setup ఎంత బలంగా ఉందో అంతవరకే రక్షణ ఇస్తుంది. కాబట్టి దీన్ని key-only SSH మరియు hardened sshd తో కలిపి ఉపయోగించండి.
పద్ధతి రెండు: app request ను చూడకముందే authentication చేసే reverse proxy. App ను loopback పై ఉంచండి. Port 443 ను proxy నిర్వహించనివ్వండి. దాని ముందు single sign-on ను ఉంచండి. Docker Compose labels ద్వారా నిర్వహించే Traefik ను identity provider గా Authentik తో కలిపితే, ఈ machine లోని ప్రతి app కు ఒకే login మరియు ఒకే certificate లభిస్తాయి. Open WebUI ను TLS (transport layer security) వెనుక ఉంచినప్పుడు WEBUI_SESSION_COOKIE_SECURE=true మరియు WEBUI_SESSION_COOKIE_SAME_SITE=strict ను set చేయండి. JWT_EXPIRES_IN ను కూడా దాని default నాలుగు వారాల వ్యవధికన్నా తక్కువగా ఉంచండి. Redis లేకపోతే sign-out token ను invalidate చేయదని Open WebUI documentation చెబుతోంది. Token స్వయంగా expire అయ్యే వరకు ఉపయోగించవచ్చు.
పద్ధతి రెండు browser-only projects ను రక్షించదు. Page ముందు proxy ఉంచడం model endpoint ను రక్షించదు. ఆ page నుంచి వేరే hostname కు చేసే fetch మీ session cookie ను పంపదు. అందువల్ల Ollama ముందు ఉన్న authenticating proxy login form కు redirect తో స్పందిస్తుంది, chat విఫలమవుతుంది. Model endpoint ను page ఉన్న అదే hostname కింద route చేయండి లేదా పద్ధతి ఒకటిని ఉపయోగించండి.
ఏది ఎంచుకోవాలి
దీనిని మీతో పాటు మరెవరైనా ఉపయోగిస్తే Open WebUI నడపండి. ఇందులో నిజమైన user accounts ఉంటాయి. కొత్త users approval queue లోకి వెళ్తారు. దీని maintainers అందించే hardening మార్గదర్శకాలను అనుసరించవచ్చు. మీకు LDAP లేదా admin panel అవసరమైతే LibreChat నడపండి. Panel కావాలంటే ADMIN_PANEL_SESSION_SECRET సెట్ చేయండి. దీనిపై ఆధారపడే ముందు, దీని ఐదు services, panel తో కలిపి ఆరు services, అలాగే మీ model వాస్తవంగా సరిపోతున్నాయో docker stats తో నిర్ధారించండి. Model ఇప్పటికే RAM లో ఎక్కువ భాగాన్ని ఉపయోగిస్తున్న చిన్న box పై ఒకరే ఉపయోగిస్తే, Hollama లేదా OrionChat ను SSH tunnel ద్వారా అందించండి. State ను browser నిర్వహించనివ్వండి. VPS పై login లేకుండా వాటిలో ఏదైనా 0.0.0.0 లో public గా ఉంచడం తప్పు.
FAQ
Open WebUI ను నేరుగా public IP లో ఉంచడం సురక్షితమేనా?
దీని స్వంత hardening పేజీలో దీనిని డేటాబేస్ లేదా CI సర్వర్ వంటి ప్రైవేట్, నమ్మకమైన నెట్వర్క్ల కోసం రూపొందించిన సాఫ్ట్వేర్గా పేర్కొన్నారు. ఇందులో నిజమైన ఖాతాలు ఉంటాయి, మొదటి ఖాతా అడ్మినిస్ట్రేటర్గా మారుతుంది, తర్వాతివి ఆమోదం పొందే వరకు pending గానే ఉంటాయి, కాబట్టి లాగిన్ లేని UI కంటే ఇది చాలా సురక్షితం. అయినప్పటికీ, దీనిని TLS కలిగిన reverse proxy వెనుక ఉంచండి మరియు వీలైనప్పుడు single sign-on ను ఉపయోగించండి. కంటైనర్ పోర్ట్ను 127.0.0.1:3000:8080 గా ప్రచురించండి మరియు ఐసోలేషన్ కోసం loopback publishing పై ఆధారపడే ముందు Docker Engine 28.0.0 లేదా అంతకంటే కొత్త వెర్షన్ను ఉపయోగించండి. పాత వెర్షన్లలో, ఒకే L2 సెగ్మెంట్లోని హోస్ట్లు localhost కు ప్రచురించిన పోర్ట్లను చేరుకోగలవని Docker హెచ్చరిస్తుంది.
VPS లో తక్కువ RAM వినియోగించే Open WebUI ప్రత్యామ్నాయం ఏది?
Hollama మరియు OrionChat వంటి బ్రౌజర్ ఆధారిత అప్లికేషన్లు తక్కువ RAM తీసుకుంటాయి, ఎందుకంటే అప్లికేషన్ క్లయింట్ వైపు నడుస్తుంది. సర్వర్ కేవలం static ఫైళ్లను మాత్రమే పంపుతుంది, మరియు OrionChat కు అప్లికేషన్ కంటైనర్ అవసరం లేదు. Open WebUI ఒక Python ప్రాసెస్, డేటాబేస్ మరియు డిఫాల్ట్గా ఒక local embedding మోడల్ను మెమరీలో ఉంచుతుంది. మీరు ఆన్ చేసే ఫీచర్లను బట్టి RAM వినియోగం మారుతుంది కాబట్టి, మీ సర్వర్లో docker stats --no-stream తో ఖచ్చితమైన గణాంకాలను నిర్ధారించుకోండి.
ఈ చాట్ UIలు వేరే హోస్ట్లోని Ollama సర్వర్ను ఉపయోగించగలవా?
Open WebUI మరియు LibreChat ఉపయోగించగలవు, వీటి సర్వర్ కనెక్షన్ను ఏర్పాటు చేస్తుంది కాబట్టి బ్రౌజర్ నియమాలు వర్తించవు. Open WebUI కోసం OLLAMA_BASE_URL ను సెట్ చేయండి, లేదా LibreChat లోని custom endpoint లో baseURL ను ఉపయోగించండి. vLLM లేదా ఇతర OpenAI-compatible సర్వర్ల కోసం, ఆ సర్వర్ డాక్యుమెంట్ చేసిన base path తో OPENAI_API_BASE_URL ను ఉపయోగించండి (vLLM కోసం ఇది /v1), మరియు సర్వర్కు అవసరమైతే మాత్రమే API key ని జోడించండి. Hollama కూడా ఎక్కడికైనా కనెక్ట్ అవ్వగలదు, కానీ అభ్యర్థన మీ బ్రౌజర్ నుండి వస్తుంది కాబట్టి, ఆ endpoint మీ బ్రౌజర్కు అందుబాటులో ఉండాలి. OrionChat యొక్క Ollama అడ్రస్ http://localhost:11434 కి హార్డ్కోడ్ చేయబడింది, కాబట్టి రిమోట్ Ollama కోసం SSH tunnel లేదా ఆ పోర్ట్ను రిమోట్ సర్వర్కు ఫార్వర్డ్ చేసే local TCP proxy అవసరం.
నా బ్రౌజర్ చాట్ UI ఎందుకు Ollama ను చేరుకోలేకపోతోంది?
దాదాపు అన్ని సందర్భాల్లో రెండు కారణాలు ఉంటాయి. Ollama డిఫాల్ట్గా 127.0.0.1:11434 లో వింటుంది, కాబట్టి OLLAMA_HOST మారే వరకు లేదా tunnel/proxy ద్వారా యాక్సెస్ లభించే వరకు వేరే మెషీన్లోని బ్రౌజర్ దానిని నేరుగా చేరుకోలేదు. అలాగే Ollama డిఫాల్ట్గా localhost, 127.0.0.1 మరియు 0.0.0.0 నుండి వచ్చే cross-origin అభ్యర్థనలను మాత్రమే అంగీకరిస్తుంది, కాబట్టి మీ డొమైన్ నుండి వచ్చే పేజీని No 'Access-Control-Allow-Origin' header is present on the requested resource తో తిరస్కరిస్తుంది (ఆ origin ను OLLAMA_ORIGINS లో చేర్చే వరకు). ఒకవేళ పేజీ HTTPS లో ఉండి, endpoint పబ్లిక్ IP అడ్రస్లో plain HTTP లో ఉంటే, Ollama కు చేరకముందే బ్రౌజర్ దానిని mixed content గా భావించి బ్లాక్ చేస్తుంది. Loopback అడ్రస్లు (localhost, 127.0.0.0/8 లోని ఏదైనా అడ్రస్, ఉదాహరణకు 127.0.0.2, లేదా [::1]) దీని నుండి మినహాయింపు పొందుతాయి. Chrome కూడా 192.168.0.1, .local హోస్ట్నేమ్లు లేదా targetAddressSpace: "local" వంటి ప్రైవేట్ IP లిటరల్స్ ఉపయోగించే local-network HTTP అభ్యర్థనలను అనుమతిస్తుంది (local-network అనుమతి ఇచ్చిన తర్వాత); అయితే Ollama యొక్క CORS నిబంధనలు ఇప్పటికీ వర్తిస్తాయి. ఈ రెండు వేరియబుల్స్ను systemctl edit ollama.service ఓవర్రైడ్లో సెట్ చేయండి, లేదా SSH ద్వారా పోర్ట్ను ఫార్వర్డ్ చేయండి, అప్పుడు సమస్య పరిష్కారమవుతుంది.