SSD Nodes Learn Hosting plans →
मार्गदर्शक Matt Connorद्वारे Matt Connor

VPS साठी Open WebUI चे योग्य पर्याय कोणते?

सार्वजनिक IP असलेल्या VPS वर Open WebUI, LibreChat, Hollama आणि OrionChat ची तुलना करा: model साठी उरलेली RAM, login, remote Ollama आणि देखभाल.

VPS वर कोणता Open WebUI पर्याय योग्य आहे

Open WebUI च्या पर्यायांची तुलना जवळजवळ नेहमी laptop वर केली जाते. तेथे RAM स्वस्त असतो आणि कोणतीही सेवा सार्वजनिक address वर listen करत नसते. VPS मध्ये ही दोन्ही परिस्थिती बदलतात. त्यामुळे क्रमवारीही बदलते. दुसरी व्यक्ती login करते त्या क्षणी Open WebUI हा योग्य default पर्याय राहतो. कारण त्यामध्ये प्रत्यक्ष user accounts आणि admin panel उपलब्ध असतात. Interface आणि model यांच्यात RAM मधील शेवटच्या gigabyte साठी स्पर्धा असेल, तेव्हा कमी resource वापरणारे projects पुढे येतात. मात्र त्यासाठी authentication सोडावे लागते. त्यांच्यामध्ये authentication नसते.

खालील सर्व माहिती प्रत्येक project च्या स्वतःच्या documentation मधून घेतली आहे. ती August 2026 मध्ये वाचली, 20 October 2026 रोजी पुन्हा तपासली आणि Open WebUI, LibreChat, Hollama आणि OrionChat साठी 25 October 2026 रोजी पुन्हा पडताळली. Ollama चे documentation आणि browser security rules 29 October 2026 रोजी पुन्हा तपासले. इंटरनेटवरून box उपलब्ध झाल्यानंतरच महत्त्वाचे ठरणारे चार निकष येथे वापरले आहेत.

सार्वजनिक IP वरच महत्त्वाचे ठरणारे चार निकष

  • मॉडेलच्या शेजारील memory. त्या मशीनवरील सर्वाधिक संसाधने वापरणारी process म्हणजे model server. Interface ने वापरलेला प्रत्येक megabyte म्हणजे model साठी उपलब्ध नसलेला एक megabyte.
  • Authentication. यापैकी काही projects मध्ये user accounts आणि roles असतात. इतर projects असे गृहीत धरतात की तुमच्या laptop वर चालणारी तीच एकमेव सेवा आहे; त्यामुळे त्यांमध्ये login ची कोणतीही व्यवस्था नसते.
  • Remote inference. केवळ 127.0.0.1:11434 कडे निर्देशित केलेला UI model त्याच मशीनवर आहे असे गृहीत धरतो. Model दुसरीकडे ठेवल्यास local port ला model host कडे forward करणारा tunnel किंवा local proxy आवश्यक असतो.
  • Upkeep. SQLite file असलेला एक container सांभाळणे आणि त्यामागे MongoDB व vector database असलेले सहा containers सांभाळणे ही वेगवेगळी कामे आहेत.

मॉडेल इंटरफेससाठी किती RAM शिल्लक ठेवते

सर्व्हरवर इंटरफेस ही सर्वात मोठी गोष्ट नसते, तर मॉडेल असते. प्रकाशित डाउनलोड आकार तुम्हाला किमान मर्यादा सांगतात, कारण मॉडेल उत्तर देत असताना weights मेमरीमध्ये असणे आवश्यक असते. एकदा कॉन्टेक्स्ट कॅशे (context cache) अलोकेट झाला की, प्रत्यक्ष मेमरीचा वापर डाउनलोड आकारापेक्षा जास्त होतो.

तक्ताPublished download size of common Ollama models, October 2026
या तक्त्यामागील डेटा
[
  {
    "label": "llama3.2:3b",
    "download_gb": "2.0"
  },
  {
    "label": "qwen3:4b",
    "download_gb": "2.5"
  },
  {
    "label": "gemma3:4b",
    "download_gb": "3.4"
  },
  {
    "label": "qwen3:8b",
    "download_gb": "5.2"
  }
]

ही आकडेवारी 25 ऑक्टोबर 2026 रोजी Ollama लायब्ररीच्या पानांवर छापलेली होती. हे प्रकाशित आकार आहेत, मोजमापे नाहीत. 4 GB च्या VPS वर, qwen3:4b हे 2.5 GB सह ऑपरेटिंग सिस्टम आणि इतर गोष्टींसाठी 1.5 GB पेक्षा कमी जागा शिल्लक ठेवते. जसा संवाद वाढतो, तसा कॉन्टेक्स्ट कॅशे त्यातील जागा व्यापतो. म्हणूनच तुम्ही सेट केलेला num_ctx हा मेमरीचा निर्णय असतो, केवळ गुणवत्तेचा नाही. qwen3:8b हे 5.2 GB सह त्या सर्व्हरवर अजिबात बसत नाही. लॅपटॉपच्या रिव्ह्यूमध्ये ही परिस्थिती कधीच सांगितली जात नाही, आणि इथेच काहीशे MB वापरणारा चॅट इंटरफेस मॉडेल चालणार की नाही हे ठरवतो. जर तुम्ही या टॅग्सपेक्षा मोठ्या मॉडेलसाठी सर्व्हर निवडत असाल, तर CPU-only VPS वर 27B मॉडेलसाठी लागणारे गणित हे दर्शवते की इंटरफेसची मेमरी किती लवकर गौण ठरते.

कोणत्याही रिव्ह्यूमधील आकड्यांवर विश्वास ठेवण्यापेक्षा स्वतः मोजमाप करा. कंटेनर सुरू झाल्यानंतर एक मिनिटाने नाही, तर प्रत्यक्ष वापराच्या एक तासानंतर docker stats --no-stream चालवा, कारण महत्त्वाची मेमरी पहिल्या वापराच्या वेळी अलोकेट केली जाते. तसेच, पाच मिनिटे निष्क्रिय राहिल्यानंतर Ollama weights मोकळे करते. त्यामुळे संवादांच्या दरम्यान घेतलेले रीडिंग पीक मेमरी दर्शवत नाही आणि पुढच्या मेसेजच्या वेळी पुन्हा पूर्ण लोड येतो, जोपर्यंत तुम्ही keep_alive वापरून मॉडेल मेमरीमध्ये कायम ठेवत नाही.

Open WebUI: एकापेक्षा जास्त वापरकर्त्यांसाठी अजूनही default

Open WebUI एका image मधून चालते आणि त्याचा data एका volume मध्ये ठेवते.

docker run -d -p 127.0.0.1:3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

प्रकल्पाच्या README मधील command -p 3000:8080 publish करते; ते प्रत्येक interface वर listen करते. 127.0.0.1: prefix मुळे ते loopback वरच उपलब्ध राहते. Docker नुसार 28.0.0 पेक्षा जुन्या releases मध्ये त्याच L2 segment वरील hosts localhost वर publish केलेल्या ports पर्यंत पोहोचू शकतात. त्यामुळे isolation साठी त्या binding वर अवलंबून राहण्यापूर्वी Docker Engine 28.0.0 किंवा त्यानंतरची आवृत्ती वापरा. VPS वर त्या ओळीतील इतर कोणत्याही भागापेक्षा हा prefix अधिक महत्त्वाचा आहे, कारण Docker स्वतःची iptables rules लिहिते आणि published port तुमच्या ufw deny rules कडे दुर्लक्ष करते.

खाली वर्णन केलेल्या tunnel किंवा proxy द्वारे page उघडा आणि पहिला account तयार करा. हा account administrator बनतो. त्यानंतर sign-up आपोआप बंद होते, जोपर्यंत admin New Sign Ups पुन्हा सुरू करत नाही. नंतर तयार होणाऱ्या signups ना pending ही role मिळते; DEFAULT_USER_ROLE हे documented default आहे. त्यामुळे एखादा अनोळखी वापरकर्ता page पर्यंत पोहोचला तरी admin ने मंजुरी देईपर्यंत तो तुमचे model वापरू शकत नाही.

Open WebUI खालील projects पेक्षा अधिक memory वापरते, कारण ते अधिक काम करते. त्याच्या performance page वर memory खर्च करणारे भाग नमूद केले आहेत. Default embedding engine container मध्ये sentence-transformers model load करते. RAG_EMBEDDING_ENGINE=ollama सेट केल्यास हे काम तुम्ही आधीपासून चालवत असलेल्या model server कडे सोपवले जाते. AUDIO_STT_ENGINE=web मुळे स्थानिक speech-to-text model load होत नाही. SQLite वापरताना DATABASE_POOL_SIZE unset असल्यास pool मोठ्या internal size वर fallback होते आणि प्रत्येक connection स्वतःचा page cache आणि memory map वाढवतो. त्यामुळे छोट्या मशीनवर DATABASE_POOL_SIZE=8 आणि DATABASE_SQLITE_PRAGMA_MMAP_SIZE=0 सेट करा. वापरकर्ता अजून typing करत असताना model कडून completion मागणारे Autocomplete आता default ने बंद असते (ENABLE_AUTOCOMPLETE_GENERATION चे default False आहे). त्यामुळे छोट्या मशीनवर ते तसेच बंद ठेवा.

LibreChat: अनेक वापरकर्त्यांसाठी, त्यामागे stack

git clone https://github.com/danny-avila/LibreChat.git
cd LibreChat
cp .env.example .env
docker compose up -d

Interface port 3080 वर प्रतिसाद देते. Login box ऐवजी identity system आवश्यक असेल, तेव्हा LibreChat विचारात घ्या. त्याच्या दस्तऐवजीकरणात LDAP आणि OAuth2 logins दिले आहेत. त्याच्या default compose file मध्ये users, groups आणि roles व्यवस्थापित करण्यासाठी admin panel देखील परिभाषित केले आहे. हे panel out of the box सुरू होत नाही. .env मध्ये ADMIN_PANEL_SESSION_SECRET सेट केल्याशिवाय ते सुरू होण्यास नकार देते. या आवश्यक value ची लांबी किमान 32 characters असावी आणि तिचे default value नसते. ते हवे असल्यास openssl rand -hex 32 वापरून value generate करा. हे panel LibreChat process च्या आत नसून स्वतंत्र service म्हणून चालते. त्यासाठी LibreChat v0.8.5 किंवा त्यानंतरची आवृत्ती आवश्यक आहे. ही क्षमता stack सोबत उपलब्ध होते.

तक्ताContainers a default install adds, not counting the model server
या तक्त्यामागील डेटा
[
  {
    "label": "OrionChat",
    "containers": 0,
    "notes": "static files, served by a web server you already run"
  },
  {
    "label": "Hollama",
    "containers": 1,
    "notes": "one container serving a browser app"
  },
  {
    "label": "Open WebUI",
    "containers": 1,
    "notes": "application and SQLite in one image"
  },
  {
    "label": "LibreChat",
    "containers": 5,
    "notes": "api, MongoDB, Meilisearch, pgvector, RAG API"
  }
]

Default compose file 5 services सुरू करते: api, MongoDB, Meilisearch, pgvector, RAG API. सहावे service, म्हणजे admin panel, याच file मध्ये असते. त्याचे secret सेट केल्यानंतर ते या services मध्ये सामील होते. यापैकी कोणतीही service model नाही. MongoDB आणि pgvector या दोघांनाही स्वतंत्र memory आवश्यक असते. त्यामुळे 4 GB च्या machine वर model साठी आवश्यक असलेली memory कमी होते.

या file मधील दोन services ports publish करतात. त्यांच्या कोणत्याही mapping मध्ये bind address दिलेला नाही: API साठी 3080 आणि admin panel साठी host port 3000, जो ADMIN_PANEL_PORT चा default आहे. त्यामुळे दोन्ही services सुरू झाल्यावर प्रत्येक interface वर listen करतात. Open WebUI देखील port 3000 वापरते. त्यामुळे panel enable केल्यावर shared machine वर या दोन्ही services मध्ये port conflict होतो. Stack इंटरनेटसमोर आणण्यापूर्वी docker-compose.override.yml मध्ये दोन्ही services साठी 127.0.0.1 ला rebind करा.

Upgrades ही git operation आहे. याच भागात लोकांकडून बहुतेक चुका होतात.

docker compose down
git pull
docker compose pull
docker compose up -d

Tracked docker-compose.yml मध्ये तुम्ही बदल केले असतील, तर git pull conflict सह थांबते. त्यानंतर upgrade अर्धवट लागू होते. तुमचे बदल docker-compose.override.yml मध्ये ठेवा. या उद्देशासाठी project हे file उपलब्ध करून देते. Secrets .env मध्ये ठेवा. दोन्ही files untracked आहेत. त्यामुळे git pull त्यांना बदलत नाही.

Custom endpoint वापरून LibreChat ला तुमच्या model server कडे निर्देशित करा. हे librechat.yaml मध्ये करा.

endpoints:
  custom:
    - name: "Ollama"
      apiKey: "ollama"
      baseURL: "http://model-host:11434/v1/"
      models:
        default: ["llama3.2"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      modelDisplayLabel: "Ollama"

model-host च्या जागी Ollama चालू असलेल्या machine चा address द्या. Ollama त्याची value दुर्लक्षित करत असले, तरी apiKey field असणे आवश्यक आहे. त्यामुळे placeholder वापरू शकता. LibreChat Docker मध्ये आणि Ollama त्याच machine वर चालत असल्यास, container मधील localhost म्हणजे container स्वतः असतो. त्यामुळे तेथे त्याऐवजी host.docker.internal वापरा.

Hollama आणि OrionChat: काम browser करतो

Hollama एका छोट्या container मधून browser application उपलब्ध करून देतो. Chats server वर नाही, तर तुमच्या browser च्या storage मध्ये साठतात.

docker run -d --restart unless-stopped -p 127.0.0.1:4173:4173 --name hollama ghcr.io/fmaclen/hollama:latest

self-hosting guide मधील या command च्या आवृत्तीत --rm वापरले आहे. Container बंद झाल्यावर ते container delete करते. त्यामुळे reboot नंतर interface पुन्हा उपलब्ध होत नाही.

OrionChat यापेक्षा पुढे जाते आणि त्यात server component मुळीच नाही. Repository clone करा आणि तुम्ही आधीच चालवत असलेल्या web server द्वारे तो folder उपलब्ध करून द्या, किंवा disk वरील index.html उघडा. API keys browser च्या localStorage मध्ये साठवल्या जातात, chat history browser मध्येच राहते आणि chats ची संख्या 512 पेक्षा जास्त झाल्यावर app जुन्यातील chats delete करते. OrionChat चा Ollama address त्याच्या source मध्ये js/script.js येथे http://localhost:11434 वर निश्चित केलेला आहे. तो बदलण्यासाठी settings मध्ये कोणतेही field नाही.

यापैकी कोणत्याही project मध्ये login नाही. Laptop वर हे ठीक आहे. VPS वर page 0.0.0.0 वर कधीही प्रकाशित करू नये. आणखी एक गोष्ट सहज लक्षात येत नाही: model ला call browser करतो, server नाही.

या दोन project चा वापर कुठे करता येईल हे याच एका तथ्यावर ठरते. तुमच्या browser ला Ollama पर्यंत थेट पोहोचता आले पाहिजे. OrionChat साठी याचा अर्थ browser चालवणाऱ्या machine वरील localhost:11434 असा होतो. त्यामुळे remote model साठी तिथे tunnel किंवा local TCP proxy listening असणे आवश्यक आहे. उदाहरणार्थ, Windows netsh interface portproxy हा local port पोहोचता येणाऱ्या remote Ollama कडे forward करू शकतो. त्यासाठी OrionChat मध्ये कोणताही बदल करावा लागत नाही. Hollama मध्ये connection चा base URL म्हणून तुम्ही कोणताही address देऊ शकता. त्याच्या self-hosting guide मध्ये दुसऱ्या device वरील Ollama server ची पद्धत दिली आहे: Ollama च्या बाजूला OLLAMA_ORIGINS मध्ये Hollama चे origin जोडा. त्यामुळे tunnel किंवा proxy द्वारे Ollama पर्यंत पोहोचत नसल्यास Ollama ने loopback व्यतिरिक्त इतर interface वरही listening केले पाहिजे. Ollama च्या API ला login किंवा key आवश्यक नाही.

यातून browser संदर्भातील दोन नियम लागू होतात. HTTPS वरून उपलब्ध केलेले page public IP address वरील plain HTTP endpoint ला call करू शकत नाही. Console मध्ये Mixed Content: The page at 'https://chat.example.com/' was loaded over HTTPS, but requested an insecure resource 'http://203.0.113.10:11434/api/tags'. This request has been blocked. असे छापले जाते. Loopback साठी स्वतंत्र सूट आहे: Mixed Content spec केवळ potentially trustworthy नसलेले URLs block करते. Secure Contexts spec मध्ये localhost, 127.0.0.0/8 आणि ::1 यांना potentially trustworthy मानले जाते. त्यामुळे तेच HTTPS page http://localhost:11434 किंवा http://127.0.0.1:11434 ला call करू शकते. खालील SSH tunnel याच सूटीवर अवलंबून आहे.

Version 142 पासून, page https://chat.example.com सारख्या public site वरून येत असल्यास Chrome एक अतिरिक्त पायरी लागू करतो. त्यावरून loopback किंवा local network address कडे केलेली request, user ने permission prompt मध्ये local network access ला अनुमती देईपर्यंत थांबते. Hostname private IP literal, जसे 192.168.0.1, .local name, किंवा fetch मध्ये targetAddressSpace: "local" निर्दिष्ट केलेले असल्यास, Chrome permission-gated HTTP requests to local-network endpoints यांना mixed-content checks मधूनही वगळतो. Tunnel द्वारे http://localhost येथे उघडलेले page आधीपासून loopback वर असते. त्यामुळे त्याला हा prompt लागू होत नाही. इतर कोणत्याही origin ला केलेला call has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource सह नाकारला जातो, जोपर्यंत तुम्ही त्या origin ला अनुमती देत नाही.

यापैकी कोणतीही setting बदलण्यासाठी Ollama ने systemd override ही documented पद्धत दिली आहे.

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=https://chat.example.com"
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo ss -lntp | grep 11434

आता ss ने आधी 127.0.0.1:11434 छापले होते, त्याऐवजी 0.0.0.0:11434 छापले पाहिजे. Firewall किंवा authentication करणारा proxy port पर्यंत कोण पोहोचू शकते हे आधीच नियंत्रित करत असेल, तेव्हाच हा बदल करा. कारण उघडा 11434 म्हणजे उघडा model server होय आणि mass scanners नवीन public port पर्यंत लवकर पोहोचतात. खालील SSH tunnel मुळे हा संपूर्ण प्रश्न टाळता येतो. त्यानंतर page localhost origin वर चालते, ज्याला Ollama default ने परवानगी देतो, आणि port machine च्या बाहेर कधीही उपलब्ध होत नाही.

प्रत्येकजण remote Ollama किंवा vLLM endpoint वापरू शकतो का

Open WebUI हे करू शकते आणि connection server side वरून केले जाते. OLLAMA_BASE_URL=http://model-host:11434 द्वारे ते Ollama कडे निर्देशित करा. vLLM साठी OPENAI_API_BASE_URL=http://model-host:8000/v1 सेट करा आणि vLLM ज्या /v1 अंतर्गत API उपलब्ध करून देते ते कायम ठेवा. Server key सह सुरू केला असल्यासच OPENAI_API_KEY सेट करा, कारण Open WebUI च्या vLLM मार्गदर्शकात अन्यथा authentication वापरलेले नाही. इतर OpenAI-compatible servers साठी त्यांच्या documentation मध्ये दिलेला base path वापरा; तो नेहमी /v1 असेलच असे नाही. OPENAI_API_BASE_URLS मध्ये semicolon ने विभक्त केलेले अनेक backends स्वीकारले जातात.

LibreChat वर दाखवलेल्या custom endpoint च्या baseURL द्वारे हे करू शकते. ही विनंती देखील सर्व्हरच्या बाहेर जाते, त्यामुळे browser चे कोणतेही नियम लागू होत नाहीत. तोच base URL आणि तोच placeholder key chat window च्या बाहेरही कार्य करतात. त्यामुळे तुम्ही आधीपासून host केलेल्या model कडे coding agent निर्देशित करणे एवढेच आवश्यक आहे.

Hollama च्या settings मध्ये तुम्ही टाइप केलेल्या कोणत्याही endpoint कडे ते निर्देशित करता येते. त्याच्या Ollama connection मध्ये संपादन करता येणारा base URL आहे. त्याची default किंमत http://localhost:11434 आहे. याशिवाय Hollama OpenAI-compatible connection देते. त्याची default किंमत http://localhost:8080/v1 आहे. हाच vLLM कडे जाणारा मार्ग आहे. Request तुमच्या browser मधून बाहेर जाते. त्यामुळे वरील section मधील सर्व बाबी त्याला लागू होतात.

OrionChat मध्ये remote endpoint साठी कोणतीही setting नाही. त्याचे endpoints hardcoded आहेत. Ollama साठी endpoint http://localhost:11434/v1/chat/completions वर निश्चित केलेले आहे. त्याच्या README नुसार requests प्रत्येक provider च्या अधिकृत API कडे थेट पाठवल्या जातात. Remote Ollama पर्यंत SSH tunnel किंवा local TCP proxy वापरून पोहोचता येते. हा proxy त्या local port वर Ollama च्या requests स्वीकारतो. vLLM server साठी मात्र कोणतीही setting उपलब्ध नाही.

इंटरफेस आणि मॉडेल वेगळे करणे हा remote endpoint मुळे मिळणारा सर्वात उपयुक्त फायदा आहे. इंटरफेस एका छोट्या मशीनवर ठेवा आणि मॉडेल अधिक मेमरी असलेल्या मशीनवर ठेवा. एकाच वेळी अनेक लोक मॉडेलशी संवाद साधतात तेव्हा Ollama आणि vLLM यांचे कार्य खूप वेगळे असते. त्यामुळे requests कोणत्या साधनाने serve करायच्या हे याच टप्प्यावर ठरवा: Ollama किंवा vLLM ने requests serve कराव्यात का हे ठरवण्यासाठी हा योग्य टप्पा आहे. Model server अद्याप उपलब्ध नसेल, तर सुरुवात VPS वर Ollama चालवण्यापासून करा. CPU-only मशीनवर runner निवडण्यापूर्वी Ollama ची llama.cpp शी तुलना कशी होते ते वाचा.

0.0.0.0 वर login शिवाय chat UI कधीही सार्वजनिक करू नका

Open WebUI च्या hardening पृष्ठावर हा प्रकल्प “databases, container registries आणि CI servers सारख्या इतर self-hosted infrastructure प्रमाणे private, trusted networks साठी तयार केलेला” असल्याचे नमूद केले आहे. तसेच तो VPN मागे किंवा authentication असलेल्या reverse proxy मागे ठेवण्याची सूचना दिली आहे. पूर्णपणे login नसलेल्या प्रकल्पाला किमान एवढेच संरक्षण द्यावे.

त्यावर विश्वास ठेवण्यापूर्वी काय listening आहे ते तपासा.

sudo ss -lntp | grep -E ':(3000|3080|4173|11434)'

127.0.0.1:3000 असलेली ओळ अपेक्षित आहे. 0.0.0.0:3000 असलेली ओळ म्हणजे सेवा सर्व addresses वर listening आहे. Docker default पद्धतीने प्रत्येक external source IP ला published port पर्यंत पोहोचू देतो. Docker च्या DOCKER-USER chain मधील एखादा rule किंवा तुमच्या provider चा firewall हा प्रवेश रोखत नसेल, तर तुमचा chat interface public internet वर उपलब्ध आहे. तुमच्या स्वतःच्या machine वरून curl -sI http://YOUR.VPS.IP:3000 ने HTTP/1.1 200 OK ला उत्तर मिळणे हा प्रश्न अधिक स्पष्टपणे निकाली काढतो.

WEBUI_AUTH=False वापरून Open WebUI चे login बंद करणे ही अशा machine साठीची single-user setting आहे, जिथे इतर कोणीही पोहोचू शकत नाही. ही setting registered users नसलेल्या installation वरच कार्य करते, असे documentation मध्येही नमूद आहे. त्यामुळे accounts आधीच असलेल्या installation वर ती लागू करता येत नाही.

पद्धत एक: loopback वर bind करा आणि SSH द्वारे प्रवेश करा. प्रत्येक port 127.0.0.1 वर publish करा. त्यानंतर आवश्यक port forward करा: ssh -N -L 3000:127.0.0.1:3000 you@vps.example.com, आणि तुमच्या laptop वर http://localhost:3000 उघडा. या पद्धतीसाठी Docker Engine 28.0.0 किंवा त्यानंतरची आवृत्ती वापरा. जुन्या releases मध्ये त्याच L2 segment वरील hosts ना localhost वर published ports पर्यंत पोहोचता येत होते. OrionChat साठी -L 11434:127.0.0.1:11434 वापरून त्याच command मध्ये model port forward करा आणि Ollama ला loopback वरच ठेवा. Hollama थेट Ollama पर्यंत पोहोचू शकते. तरीही या forward मुळे Ollama public internet पासून दूर राहते. त्यामुळे Hollama साठीही हा अधिक सुरक्षित मार्ग आहे. ही पद्धत तुमच्या SSH setup इतकीच सुरक्षित आहे. म्हणून key-only SSH आणि hardened sshd यांच्यासोबत ती वापरा.

पद्धत दोन: app ला request दिसण्यापूर्वी authentication करणारा reverse proxy. App loopback वर ठेवा, proxy कडे port 443 सोपवा आणि त्याच्या पुढे single sign-on ठेवा. Docker Compose labels द्वारे चालवलेला Traefik आणि identity provider म्हणून Authentik वापरल्यास machine वरील प्रत्येक app साठी एक login आणि एक certificate मिळते. Open WebUI TLS (transport layer security) मागे असल्यास WEBUI_SESSION_COOKIE_SECURE=true आणि WEBUI_SESSION_COOKIE_SAME_SITE=strict सेट करा. JWT_EXPIRES_IN चे मूल्यही चार आठवड्यांच्या default पेक्षा कमी ठेवा. Open WebUI च्या documentation नुसार Redis नसताना sign-out केल्यावर token invalid होत नाही. तो स्वतः expire होईपर्यंत वापरता येतो.

पद्धत दोन browser-only projects चे संरक्षण करत नाही. Page च्या पुढे ठेवलेला proxy model endpoint चे संरक्षण करत नाही. तसेच त्या page वरून वेगळ्या hostname कडे केलेल्या fetch मध्ये तुमचा session cookie पाठवला जात नाही. त्यामुळे Ollama च्या पुढे असलेला authenticating proxy login form कडे redirect पाठवतो आणि chat fail होते. Model endpoint त्याच hostname अंतर्गत route करा, किंवा पद्धत एक वापरा.

कोणता पर्याय निवडावा

जर तुमच्याव्यतिरिक्त इतर कोणीही याचा वापर करणार असेल, तर Open WebUI चालवा. यामध्ये प्रत्यक्ष खाती (accounts) असतात, नवीन वापरकर्ते मंजुरी रांगेत (approval queue) येतात आणि त्याचे मेंटेनर्स सुरक्षिततेसाठी मार्गदर्शक तत्त्वे प्रकाशित करतात, ज्यांचे तुम्ही पालन करू शकता. जर तुम्हाला LDAP किंवा ॲडमिन पॅनेलची गरज असेल, तर LibreChat चालवा, जर तुम्हाला पॅनेल हवे असेल तर ADMIN_PANEL_SESSION_SECRET सेट करा आणि ते वापरण्यापूर्वी तुमच्या सिस्टमवर त्याचे पाच सर्व्हिसेस, पॅनेलसह सहा, आणि तुमचे मॉडेल प्रत्यक्षात मावतील का याची docker stats द्वारे खात्री करा. जर तुम्ही एका लहान सर्व्हरवर (box) एकटेच वापरकर्ते असाल आणि मॉडेलने आधीच बहुतेक RAM व्यापली असेल, तर SSH टनेलद्वारे Hollama किंवा OrionChat सर्व्ह करा आणि ब्राउझरला स्टेट (state) सांभाळू द्या. VPS वर कोणताही पर्याय समोर लॉगिन न ठेवता 0.0.0.0 वर उघडा (publish) ठेवणे ही चुकीची पद्धत आहे.

FAQ

सार्वजनिक IP वर Open WebUI थेट उघड करणे सुरक्षित आहे का?

त्याच्या hardening पृष्ठावर Open WebUI चे वर्णन private, trusted networks साठीचे software असे केले आहे. ते database किंवा CI server सारख्याच श्रेणीत येते. यात प्रत्यक्ष user accounts असतात. पहिला account administrator बनतो, तर नंतरचे accounts मंजुरी मिळेपर्यंत pending राहतात. त्यामुळे login नसलेल्या UI पेक्षा ते अधिक सुरक्षित आहे. तरीही ते TLS असलेल्या reverse proxy च्या मागे ठेवा. शक्य असल्यास single sign-on वापरा. Container port 127.0.0.1:3000:8080 म्हणून publish करा. Isolation साठी loopback publishing वर अवलंबून राहण्यापूर्वी Docker Engine 28.0.0 किंवा त्यानंतरची आवृत्ती वापरा. जुन्या releases मध्ये त्याच L2 segment वरील hosts localhost वर publish केलेल्या ports पर्यंत पोहोचू शकतात, असा Docker चा इशारा आहे.

VPS वर सर्वात कमी RAM वापरणारा Open WebUI पर्याय कोणता आहे?

Browser-based पर्याय, Hollama आणि OrionChat, कारण application client वर चालते. Server फक्त static files पाठवतो. OrionChat ला application container चीही गरज नसते. Open WebUI एक Python process, एक database आणि default ने local embedding model memory मध्ये ठेवतो. तुमच्या स्वतःच्या box वर docker stats --no-stream वापरून आकडे पडताळा, कारण तुम्ही सुरू केलेल्या features नुसार ते बदलतात.

हे chat UIs दुसऱ्या host वरील Ollama server वापरू शकतात का?

Open WebUI आणि LibreChat हे करू शकतात. त्यांचा server connection तयार करतो, त्यामुळे browser-संबंधित कोणताही नियम लागू होत नाही. Open WebUI साठी OLLAMA_BASE_URL सेट करा. LibreChat साठी custom endpoint मध्ये baseURL सेट करा. vLLM किंवा अन्य OpenAI-compatible server साठी त्या server ने documented केलेल्या base path सह OPENAI_API_BASE_URL वापरा. vLLM साठी तो path /v1 आहे. Server ला आवश्यक असल्यासच API key जोडा. Hollama कुठेही point करता येतो. परंतु request तुमच्या browser कडून येते. त्यामुळे endpoint तुमच्या browser मधूनही reachable असणे आवश्यक आहे. OrionChat चा Ollama address http://localhost:11434 वर hardcoded आहे. त्यामुळे remote Ollama साठी SSH tunnel किंवा local TCP proxy वापरून तो port reachable remote server कडे forward करावा लागतो.

माझा browser chat UI Ollama पर्यंत का पोहोचू शकत नाही?

जवळजवळ प्रत्येक प्रकरणाचे स्पष्टीकरण दोन कारणांनी देता येते. Ollama default ने 127.0.0.1:11434 वर bind होते. त्यामुळे OLLAMA_HOST बदलल्याशिवाय किंवा tunnel किंवा proxy ने access उपलब्ध करून दिल्याशिवाय दुसऱ्या machine वरील browser थेट त्याच्यापर्यंत पोहोचू शकत नाही. Ollama default ने localhost, 127.0.0.1 आणि 0.0.0.0 कडून येणाऱ्या cross-origin requests स्वीकारते. त्यामुळे तुमच्या स्वतःच्या domain वरून serve केलेले page OLLAMA_ORIGINS मध्ये तो origin सूचीबद्ध करेपर्यंत No 'Access-Control-Allow-Origin' header is present on the requested resource सह नाकारले जाते. Page HTTPS वर आणि endpoint public IP address वरील plain HTTP वर असल्यास, Ollama ला request मिळण्यापूर्वीच browser ती mixed content म्हणून block करतो. Loopback addresses (localhost, 127.0.0.0/8 मधील कोणताही address, जसे 127.0.0.2, किंवा [::1]) याला अपवाद आहेत. Local-network permission दिल्यानंतर Chrome private IP literals, जसे 192.168.0.1, .local hostnames किंवा targetAddressSpace: "local" वापरणाऱ्या local-network HTTP requests ना देखील अपवाद देतो. तरीही Ollama च्या CORS requirements लागू राहतात. systemctl edit ollama.service override मध्ये दोन्ही variables सेट करा. किंवा port SSH द्वारे forward करा. त्यामुळे ही समस्या दूर होते.

हा लेख उपयुक्त होता का?