VPS-এ Open WebUI-এর বিকল্প কোনটি ভালো?
public IP-সহ VPS-এ Open WebUI, LibreChat, Hollama ও OrionChat তুলনা করুন: মডেলের জন্য RAM, login, remote Ollama এবং upkeep-এর বাস্তব পার্থক্য জানুন।
VPS-এ কোন Open WebUI বিকল্প উপযুক্ত
Open WebUI-এর বিকল্পগুলোর তুলনা প্রায় সবসময় laptop-এ করা হয়। সেখানে RAM সস্তা, এবং কোনো service public address-এ listen করে না। VPS এই দুটি বিষয়ই পরিবর্তন করে। ফলে তুলনার ক্রমও বদলে যায়। দ্বিতীয় কোনো ব্যক্তি login করলেই Open WebUI উপযুক্ত default হিসেবে থাকে। কারণ এতে প্রকৃত user account এবং admin panel রয়েছে। Interface যখন model-এর সঙ্গে শেষ gigabyte RAM-এর জন্য প্রতিযোগিতা করে, তখন হালকা project-গুলো এগিয়ে থাকে। এই সুবিধার মূল্য হলো authentication। এগুলোতে authentication নেই।
নিচের সব তথ্য প্রতিটি project-এর নিজস্ব documentation থেকে নেওয়া। এগুলো August 2026-এ পড়া হয়েছে, 20 October 2026-এ পুনরায় যাচাই করা হয়েছে, এবং Open WebUI, LibreChat, Hollama ও OrionChat-এর ক্ষেত্রে 25 October 2026-এ আবার যাচাই করা হয়েছে। Ollama-এর documentation এবং browser security rules 29 October 2026-এ আবার পরীক্ষা করা হয়েছে। চারটি axis এমন বিষয় নিয়ে তৈরি, যেগুলো box-টি Internet থেকে reachable হলেই গুরুত্বপূর্ণ হয়ে ওঠে।
কেবল public IP-তে গুরুত্বপূর্ণ চারটি দিক
- মডেলের সঙ্গে মেমরি ভাগ হয়। model server-ই মেশিনের সবচেয়ে বেশি resource ব্যবহার করা process। interface যত megabyte ধরে রাখে, model তত কম megabyte ব্যবহার করতে পারে।
- Authentication। কিছু project-এ user account ও role থাকে। অন্যগুলো ধরে নেয় যে আপনার laptop-এ শুধু সেগুলোই চলছে, তাই সেগুলোতে কোনো login নেই।
- Remote inference। যে UI-কে সব সময়
127.0.0.1:11434-এর দিকে নির্দেশ করা হয়, সেটি ধরে নেয় যে model এবং interface একই মেশিনে আছে। model অন্য কোথাও রাখলে সেই local port থেকে model host-এ অনুরোধ পাঠানোর জন্য tunnel বা local proxy প্রয়োজন। - রক্ষণাবেক্ষণ। SQLite file-সহ একটি container পরিচালনা করা এবং তার পেছনে MongoDB ও vector database-সহ ছয়টি container পরিচালনা করা এক কাজ নয়।
মডেল ইন্টারফেসের জন্য কত RAM অবশিষ্ট রাখে
সার্ভারে সবচেয়ে বড় অংশটি ইন্টারফেস নয়। সেটি হলো মডেল। প্রকাশিত download size আপনাকে ন্যূনতম সীমা জানায়, কারণ মডেল উত্তর দেওয়ার সময় weights-গুলো memory-তে resident থাকতে হয়। Context cache বরাদ্দ হওয়ার পরে প্রকৃত memory ব্যবহার download size-এর চেয়ে বেশি হয়।
এই চার্টের পেছনের ডেটা
[
{
"label": "llama3.2:3b",
"download_gb": "2.0"
},
{
"label": "qwen3:4b",
"download_gb": "2.5"
},
{
"label": "gemma3:4b",
"download_gb": "3.4"
},
{
"label": "qwen3:8b",
"download_gb": "5.2"
}
]এগুলো 25 October 2026 তারিখে Ollama library page-এ প্রদর্শিত সংখ্যা। এগুলো প্রকাশিত size, কোনো পরিমাপ নয়। 4 GB VPS-এ qwen3:4b-এর 2.5 GB download size operating system এবং অন্যান্য সব কিছুর জন্য 1.5 GB-এর কম memory অবশিষ্ট রাখে। Conversation বড় হওয়ার সঙ্গে context cache সেই memory-ও ব্যবহার করে। তাই আপনি যে num_ctx সেট করেন সেটি quality-এর পাশাপাশি memory-সংক্রান্ত সিদ্ধান্তও। qwen3:8b-এর 5.2 GB download size ওই সার্ভারে একেবারেই fit করে না। Laptop roundup-গুলো সাধারণত এই পরিস্থিতি দেখায় না। অথচ কয়েকশো megabyte memory ব্যবহার করা chat interface-ই নির্ধারণ করতে পারে মডেল চলবে কি না। এই tag-গুলোর তুলনায় অনেক বড় মডেলের জন্য সার্ভারের ক্ষমতা নির্ধারণ করলে CPU-only VPS-এ 27B model-এর হিসাব দেখায় interface কত দ্রুত আর সিদ্ধান্ত নির্ধারণকারী সংখ্যা থাকে না।
কোনো roundup-এর সংখ্যাকে, এমনকি এই লেখার সংখ্যাকেও, যাচাই না করে বিশ্বাস করবেন না। বাস্তব ব্যবহারের এক ঘণ্টা পরে docker stats --no-stream চালান। Container start হওয়ার এক মিনিট পর চালাবেন না, কারণ গুরুত্বপূর্ণ memory প্রথম ব্যবহারের সময় বরাদ্দ হয়। Ollama পাঁচ মিনিট idle থাকার পরে weights-ও release করে। তাই দুইটি conversation-এর মাঝখানে নেওয়া reading peak memory কম দেখায়। keep_alive দিয়ে model resident না রাখলে পরের message-এ পুরো load আবার করতে হয়।
Open WebUI: একাধিক ব্যবহারকারীর জন্যও এখনও default
Open WebUI একটি image থেকে চলে এবং একটি volume-এ তার data সংরক্ষণ করে।
docker run -d -p 127.0.0.1:3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:mainপ্রকল্পের README-তে থাকা command-টি -p 3000:8080 publish করে, যা প্রতিটি interface-এ listen করে। 127.0.0.1: prefix এটি loopback-এ সীমাবদ্ধ রাখে। Docker সতর্ক করে যে 28.0.0-এর আগের release-গুলোতে একই L2 segment-এর host-গুলো localhost-এ publish করা port-এ পৌঁছাতে পারে। তাই isolation-এর জন্য এই binding-এর ওপর নির্ভর করার আগে Docker Engine 28.0.0 বা পরবর্তী version ব্যবহার করুন। VPS-এ ওই prefix-টির গুরুত্ব command-এর অন্য যেকোনো অংশের চেয়ে বেশি, কারণ Docker নিজস্ব iptables rule লেখে এবং published port আপনার ufw deny rule উপেক্ষা করে।
নিচে বর্ণিত tunnel বা proxy ব্যবহার করে page-এ পৌঁছান। এরপর প্রথম account তৈরি করুন। ওই account-টি administrator হয়ে যাবে। তারপর sign-up স্বয়ংক্রিয়ভাবে বন্ধ হয়ে যায়, যতক্ষণ না কোনো admin New Sign Ups আবার চালু করেন। পরবর্তী signup-গুলো pending role-এ তৈরি হয়, যা নথিভুক্ত default DEFAULT_USER_ROLE। তাই কোনো অপরিচিত ব্যক্তি page-এ পৌঁছালেও admin অনুমোদন না করা পর্যন্ত আপনার model ব্যবহার করতে পারবে না।
নিচের project-গুলোর তুলনায় Open WebUI বেশি memory ব্যবহার করে, কারণ এটি বেশি কাজ করে। এর performance page-এ memory খরচের অংশগুলো উল্লেখ করা আছে। Default embedding engine container-এর ভিতরে একটি sentence-transformers model load করে। RAG_EMBEDDING_ENGINE=ollama সেট করলে এই কাজটি ইতিমধ্যে চালু থাকা model server-কে দেওয়া হয়। AUDIO_STT_ENGINE=web সেট করলে স্থানীয় speech-to-text model load করা হয় না। DATABASE_POOL_SIZE unset থাকা SQLite-এ pool একটি বড় internal size-এ fallback করে। প্রতিটি connection নিজের page cache এবং memory map তৈরি করে। তাই ছোট box-এ DATABASE_POOL_SIZE=8 এবং DATABASE_SQLITE_PRAGMA_MMAP_SIZE=0 সেট করুন। Autocomplete ব্যবহারকারী এখনও টাইপ করার সময় model-এর কাছে completion চায়। এখন এটি বন্ধ অবস্থায় ship করে (ENABLE_AUTOCOMPLETE_GENERATION-এর default False)। তাই ছোট box-এ এটিই বজায় রাখুন।
LibreChat: multi-user, এর পেছনে একটি stack
git clone https://github.com/danny-avila/LibreChat.git
cd LibreChat
cp .env.example .env
docker compose up -dInterface-টি port 3080-এ সাড়া দেয়। Login box-এর বদলে identity system প্রয়োজন হলে LibreChat বিবেচনা করুন: এর documentation-এ LDAP এবং OAuth2 login-এর কথা আছে, এবং default compose file-এ user, group ও role পরিচালনার জন্য একটি admin panel-ও সংজ্ঞায়িত করা আছে। Panel-টি সরাসরি চালু হয় না। .env-এ ADMIN_PANEL_SESSION_SECRET সেট না করা পর্যন্ত এটি start হতে অস্বীকার করে। ADMIN_PANEL_SESSION_SECRET-এর কোনো default নেই এবং এর দৈর্ঘ্য অন্তত 32 characters হতে হবে, তাই প্রয়োজন হলে openssl rand -hex 32 দিয়ে একটি value তৈরি করুন। Panel-টি LibreChat process-এর ভিতরে নয়, আলাদা service হিসেবে চলে এবং এর জন্য LibreChat v0.8.5 বা পরবর্তী version প্রয়োজন। এই capability একটি stack-এর সঙ্গে আসে।
এই চার্টের পেছনের ডেটা
[
{
"label": "OrionChat",
"containers": 0,
"notes": "static files, served by a web server you already run"
},
{
"label": "Hollama",
"containers": 1,
"notes": "one container serving a browser app"
},
{
"label": "Open WebUI",
"containers": 1,
"notes": "application and SQLite in one image"
},
{
"label": "LibreChat",
"containers": 5,
"notes": "api, MongoDB, Meilisearch, pgvector, RAG API"
}
]Default compose file 5টি service start করে: api, MongoDB, Meilisearch, pgvector, RAG API। ষষ্ঠ service, অর্থাৎ admin panel, একই file-এ আছে এবং secret সেট করার পর এই service-গুলোর সঙ্গে যুক্ত হয়। এগুলোর কোনোটিই model নয়। MongoDB এবং pgvector—দুটিরই নিজেদের memory প্রয়োজন, আর 4 GB-এর server-এ সেই memory model-এর জন্য প্রয়োজনীয় memory থেকে কমে যায়।
File-এ দুটি service port publish করে, এবং কোনো mapping-এই bind address নির্দিষ্ট করা নেই: API-এর জন্য 3080 এবং admin panel-এর জন্য host port 3000, যা ADMIN_PANEL_PORT-এর default। তাই দুটিই চালু হলে প্রতিটি interface-এ listen করে। Open WebUI-ও উপরের অংশে port 3000 ব্যবহার করে, তাই panel enable করলেই shared server-এ দুটির port conflict হয়। Stack-টি Internet-facing করার আগে docker-compose.override.yml-এ দুটিকেই 127.0.0.1-এ rebind করুন।
Upgrade একটি git operation, এবং এখানেই সাধারণত ভুল হয়।
docker compose down
git pull
docker compose pull
docker compose up -dTracked docker-compose.yml edit করলে git pull conflict দেখিয়ে থেমে যায়, ফলে upgrade আংশিকভাবে প্রয়োগ হয়। পরিবর্তনগুলো docker-compose.override.yml-এ রাখুন; project এই উদ্দেশ্যেই file-টি দেয়। Secret-গুলো .env-এ রাখুন। দুটি file-ই untracked, তাই git pull এগুলো পরিবর্তন করে না।
librechat.yaml-এ custom endpoint ব্যবহার করে LibreChat-কে নিজের model server-এর দিকে নির্দেশ করুন।
endpoints:
custom:
- name: "Ollama"
apiKey: "ollama"
baseURL: "http://model-host:11434/v1/"
models:
default: ["llama3.2"]
fetch: true
titleConvo: true
titleModel: "current_model"
modelDisplayLabel: "Ollama"model-host-এর জায়গায় Ollama চালানো server-এর address বসান। Ollama এই value উপেক্ষা করলেও apiKey field উপস্থিত থাকতে হবে, তাই placeholder ব্যবহার করা যায়। LibreChat Docker-এ এবং Ollama একই machine-এ চললে container-এর ভিতরে localhost বলতে container-টিকেই বোঝায়। তাই সেখানে host.docker.internal ব্যবহার করুন।
Hollama এবং OrionChat: কাজটি ব্রাউজারেই হয়
Hollama একটি ছোট container থেকে browser application চালায়। Chat-এর ডেটা server-এ নয়, আপনার browser-এর storage-এ থাকে।
docker run -d --restart unless-stopped -p 127.0.0.1:4173:4173 --name hollama ghcr.io/fmaclen/hollama:latestself-hosting guide-এ এই কমান্ডের যে সংস্করণটি ব্যবহার করা হয়েছে, সেটিতে --rm আছে। এটি container বন্ধ হলে সেটি মুছে দেয়। তাই reboot-এর পরে interface আর ফিরে আসে না।
OrionChat আরও এক ধাপ এগিয়ে গেছে এবং এতে কোনো server component-ই নেই। repository clone করুন এবং আপনি ইতিমধ্যে চালু রাখা web server দিয়ে folder-টি serve করুন, অথবা disk থেকে index.html খুলুন। API key browser-এর localStorage-এ সংরক্ষিত থাকে, chat history browser-এই থাকে, এবং chat-এর সংখ্যা 512 ছাড়িয়ে গেলে app সবচেয়ে পুরোনো chat মুছে দেয়। OrionChat-এর Ollama address source-এ (js/script.js) http://localhost:11434 হিসেবে নির্দিষ্ট করা আছে, এবং এর settings-এ সেটি পরিবর্তনের কোনো field নেই।
কোনো project-এই login নেই। laptop-এ এটি সমস্যা নয়। কিন্তু VPS-এ এর অর্থ হলো, পেজটি কখনোই 0.0.0.0-এ প্রকাশ করা যাবে না। এর আরও একটি বিষয় সহজেই চোখ এড়িয়ে যায়: browser model-কে call করে, server-কে নয়।
এই একটি তথ্যই নির্ধারণ করে, কোন ক্ষেত্রে এই দুটির ব্যবহার সম্ভব। আপনার browser-কে সরাসরি Ollama-তে পৌঁছাতে হবে। OrionChat-এর ক্ষেত্রে এর অর্থ হলো browser চালানো machine-এ সব সময় localhost:11434; তাই remote model ব্যবহার করতে হলে সেখানে একটি tunnel বা local TCP proxy-কে listen করতে হবে। উদাহরণস্বরূপ, Windows netsh interface portproxy OrionChat পরিবর্তন না করেই ওই local port-কে পৌঁছানো যায় এমন remote Ollama-তে forward করতে পারে। Hollama আপনি প্রবেশ করানো যেকোনো address-কে connection-এর base URL হিসেবে গ্রহণ করে, এবং এর self-hosting guide অন্য device-এ থাকা Ollama server-এর পদ্ধতি বর্ণনা করে: Ollama পাশে Hollama-এর origin-কে OLLAMA_ORIGINS-এ যোগ করুন। তাই tunnel বা proxy-এর মাধ্যমে Ollama-তে পৌঁছাতে না পারলে, Ollama-কে শুধু loopback নয়, আরও একটি interface-এ listen করতে হবে; আর Ollama-এর API কোনো login বা key চায় না।
এ থেকে browser-এর জন্য দুটি নিয়ম প্রযোজ্য। HTTPS-এর মাধ্যমে পরিবেশিত কোনো page public IP address-এ থাকা plain HTTP endpoint-এ call করতে পারে না, এবং console-এ Mixed Content: The page at 'https://chat.example.com/' was loaded over HTTPS, but requested an insecure resource 'http://203.0.113.10:11434/api/tags'. This request has been blocked. দেখায়। Loopback-এর জন্য আলাদা exemption আছে: Mixed Content specification শুধু এমন URL block করে যেগুলো potentially trustworthy নয়। Secure Contexts specification localhost, 127.0.0.0/8 এবং ::1-কে potentially trustworthy হিসেবে গণ্য করে। তাই একই HTTPS page http://localhost:11434 বা http://127.0.0.1:11434-এ call করতে পারে। নিচের SSH tunnel এই exemption-এর ওপর নির্ভর করে।
Version 142 থেকে page-টি https://chat.example.com-এর মতো কোনো public site থেকে এলে Chrome আরও একটি ধাপ যোগ করে। ওই page থেকে loopback বা local network address-এ পাঠানো request তখন পর্যন্ত অপেক্ষা করে, যতক্ষণ না user permission prompt-এ local network access অনুমোদন করেন। private IP literal, যেমন 192.168.0.1, কোনো .local name, অথবা fetch-এ targetAddressSpace: "local" নির্দিষ্ট করা থাকলে Chrome permission-gated HTTP request-কে local-network endpoint-এর ক্ষেত্রে mixed-content check থেকেও exempt করে। Tunnel-এর মাধ্যমে http://localhost-এ খোলা page ইতিমধ্যেই loopback-এ থাকে, তাই তার ক্ষেত্রে ওই prompt প্রযোজ্য হয় না। অন্য যেকোনো origin-এ call has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource দিয়ে প্রত্যাখ্যাত হবে, যতক্ষণ না আপনি ওই origin অনুমোদন করেন।
যেকোনো একটি setting পরিবর্তনের জন্য Ollama-এর নথিভুক্ত পদ্ধতি হলো systemd override ব্যবহার করা।
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=https://chat.example.com"sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo ss -lntp | grep 11434ss এখন যেখানে আগে 127.0.0.1:11434 দেখাত, সেখানে 0.0.0.0:11434 দেখানোর কথা। এই পরিবর্তনটি শুধু তখনই করুন, যখন কোনো firewall বা authentication করা proxy ইতিমধ্যে port-এ কারা পৌঁছাতে পারবে তা নিয়ন্ত্রণ করছে। কারণ উন্মুক্ত 11434 একটি উন্মুক্ত model server, এবং mass scanner দ্রুত নতুন public port-এ পৌঁছে যায়। নিচের SSH tunnel পুরো বিষয়টি এড়িয়ে যায়: তখন page-টি localhost origin থেকে চলে, যেটি Ollama ডিফল্টভাবে অনুমোদন করে, এবং port কখনোই সার্ভারের বাইরে প্রকাশিত হয় না।
প্রতিটি কি remote Ollama বা vLLM endpoint ব্যবহার করতে পারে
Open WebUI পারে, এবং সংযোগটি server side-এ তৈরি হয়। OLLAMA_BASE_URL=http://model-host:11434 এটিকে Ollama-এর দিকে নির্দেশ করে। vLLM-এর জন্য OPENAI_API_BASE_URL=http://model-host:8000/v1 সেট করুন এবং /v1 অপরিবর্তিত রাখুন, কারণ vLLM এই path-এর অধীনেই API পরিবেশন করে। সার্ভারটি key দিয়ে চালু করা হলে তবেই OPENAI_API_KEY সেট করুন, কারণ Open WebUI-এর vLLM নির্দেশিকায় অন্যথায় কোনো authentication ব্যবহার করা হয় না। অন্যান্য OpenAI-compatible server-এর ক্ষেত্রে তাদের নিজস্ব documentation-এ দেওয়া base path ব্যবহার করুন; সেটি সব সময় /v1 নাও হতে পারে। OPENAI_API_BASE_URLS semicolon দিয়ে আলাদা করা একাধিক backend গ্রহণ করে।
LibreChat পারে, উপরে দেখানো custom endpoint-এর baseURL ব্যবহার করে। সেই request-ও server থেকে বাইরে যায়, তাই browser-এর কোনো rule প্রযোজ্য নয়। একই base URL এবং একই placeholder key chat window-এর বাইরেও কাজ করে। তাই ইতিমধ্যে host করা model-এ একটি coding agent নির্দেশ করতে এটুকুই যথেষ্ট।
Hollama তার settings-এ টাইপ করা যেকোনো endpoint-এ নির্দেশ করা যায়। এর Ollama connection-এ পরিবর্তনযোগ্য base URL রয়েছে, যার default হলো http://localhost:11434। এছাড়া Hollama একটি OpenAI-compatible connection দেয়, যার default হলো http://localhost:8080/v1; vLLM-এ পৌঁছানোর পথ এটিই। request আপনার browser থেকে বাইরে যায়, তাই উপরের section-এর সবকিছু এর ক্ষেত্রেও প্রযোজ্য। OrionChat-এ remote endpoint-এর কোনো setting নেই। এর endpoint-গুলো hardcoded; Ollama নির্দিষ্টভাবে http://localhost:11434/v1/chat/completions-এ সেট করা, এবং এর README-তে বলা আছে যে request প্রতিটি provider-এর official API-তে সরাসরি যায়। SSH tunnel বা এমন একটি local TCP proxy ব্যবহার করে remote Ollama-এ পৌঁছানো যায়, যা ওই local port-এ request গ্রহণ করে। তবে vLLM server-এর জন্য কোনো setting একেবারেই নেই।
Remote endpoint ব্যবহারের সবচেয়ে বড় সুবিধা হলো interface এবং model আলাদা করা। Interface একটি ছোট box-এ রাখুন এবং memory যেখানে বেশি, সেখানে model রাখুন। একই সময়ে একাধিক ব্যক্তি model ব্যবহার করলে Ollama এবং vLLM-এর আচরণ খুব আলাদা হয়। তাই Ollama নাকি vLLM request পরিবেশন করবে তা নির্ধারণ করার এটিই উপযুক্ত সময়। model server এখনও না থাকলে প্রথমে VPS-এ Ollama চালান। CPU-only box হলে runner বেছে নেওয়ার আগে Ollama এবং llama.cpp-এর তুলনা পড়ুন।
0.0.0.0-এ login ছাড়া chat UI কখনো প্রকাশ করবেন না
Open WebUI-এর hardening page-এ বলা হয়েছে, প্রকল্পটি “databases, container registries এবং CI servers-এর মতো অন্যান্য self-hosted infrastructure-এর অনুরূপ private, trusted networks-এর জন্য তৈরি”। সেখানে এটিকে VPN-এর পেছনে অথবা authentication-সহ reverse proxy-এর পেছনে রাখার নির্দেশও দেওয়া হয়েছে। একেবারেই login না থাকা কোনো প্রকল্পের ক্ষেত্রেও অন্তত একই ব্যবস্থা নেওয়া উচিত।
কোনো কিছুকে বিশ্বাস করার আগে কী listen করছে তা পরীক্ষা করুন।
sudo ss -lntp | grep -E ':(3000|3080|4173|11434)'127.0.0.1:3000 লেখা একটি line-ই প্রত্যাশিত। 0.0.0.0:3000 লেখা line-এর অর্থ হলো service-টি সব address-এ listen করছে। Docker ডিফল্টভাবে প্রতিটি external source IP-কে published port-এ পৌঁছানোর সুযোগ দেয়। Docker-এর DOCKER-USER chain অথবা আপনার provider-এর firewall কোনো rule দিয়ে এটি block না করলে, আপনার chat interface public internet-এ উন্মুক্ত। নিজের machine থেকে curl -sI http://YOUR.VPS.IP:3000-এর উত্তর HTTP/1.1 200 OK হলে বিষয়টি আরও সরাসরি নিশ্চিত হয়।
WEBUI_AUTH=False ব্যবহার করে Open WebUI-এর login বন্ধ করা এমন একটি machine-এর জন্য single-user setting, যেখানে অন্য কেউ পৌঁছাতে পারে না। Documentation-এ আরও বলা হয়েছে, এটি কেবল এমন installation-এ কাজ করে যেখানে কোনো registered user নেই। তাই ইতিমধ্যে account তৈরি হয়েছে এমন installation-এ এটি প্রয়োগ করা যাবে না।
Pattern one: loopback-এ bind করে SSH-এর মাধ্যমে পৌঁছানো। প্রতিটি port 127.0.0.1-এ publish করুন। এরপর প্রয়োজনীয় port forward করুন: ssh -N -L 3000:127.0.0.1:3000 you@vps.example.com, এবং আপনার laptop-এ http://localhost:3000 খুলুন। এই pattern-এর জন্য Docker Engine 28.0.0 বা পরবর্তী version ব্যবহার করুন। পুরোনো release-এ একই L2 segment-এর host-গুলো localhost-এ published port-এ পৌঁছাতে পারে। OrionChat-এর ক্ষেত্রে একই command-এ -L 11434:127.0.0.1:11434 দিয়ে model port-ও forward করুন এবং Ollama-কে loopback-এ রাখুন। Hollama সরাসরি Ollama-এ পৌঁছাতে পারে। তবে একই forward ব্যবহার করলে Ollama public internet থেকে আড়ালে থাকে, তাই Hollama-এর জন্যও এটি নিরাপদ পথ। এই pattern-এর নিরাপত্তা আপনার SSH setup যতটা শক্তিশালী, ততটাই কার্যকর। তাই এটিকে key-only SSH এবং hardened sshd-এর সঙ্গে ব্যবহার করুন।
Pattern two: এমন reverse proxy, যা app request দেখার আগেই authentication সম্পন্ন করে। App-টিকে loopback-এ রাখুন। Proxy-কে port 443 পরিচালনা করতে দিন এবং সামনে single sign-on বসান। identity provider হিসেবে Authentik-সহ Docker Compose labels দ্বারা পরিচালিত Traefik এই machine-এর প্রতিটি app-এর জন্য একটি login এবং একটি certificate দেয়। Open WebUI-কে TLS (transport layer security)-এর পেছনে রাখলে WEBUI_SESSION_COOKIE_SECURE=true এবং WEBUI_SESSION_COOKIE_SAME_SITE=strict সেট করুন। JWT_EXPIRES_IN-এর চার সপ্তাহের default মানও কমিয়ে দিন। Open WebUI-এর documentation অনুযায়ী, Redis ছাড়া sign-out করলে token invalid হয় না। Token নিজে expire না হওয়া পর্যন্ত ব্যবহার করা যায়।
Pattern two browser-only প্রকল্পগুলোকে সুরক্ষিত করে না। Page-এর সামনে proxy থাকলেও model endpoint সুরক্ষিত হয় না। ওই page থেকে ভিন্ন hostname-এ fetch করলে আপনার session cookie পাঠানো হয় না। ফলে Ollama-এর সামনে থাকা authenticating proxy login form-এ redirect দিয়ে উত্তর দেয় এবং chat ব্যর্থ হয়। Model endpoint-কে page-এর একই hostname-এর অধীনে route করুন, অথবা pattern one ব্যবহার করুন।
কোনটি বেছে নেবেন
আপনি ছাড়া অন্য কেউ এটি ব্যবহার করলে Open WebUI চালান। এতে প্রকৃত user account রয়েছে, নতুন user-রা approval queue-তে যায়, এবং এর maintainer-রা অনুসরণযোগ্য hardening নির্দেশনা প্রকাশ করেন। LDAP বা admin panel প্রয়োজন হলে LibreChat চালান। panel চাইলে ADMIN_PANEL_SESSION_SECRET সেট করুন। নির্ভর করার আগে docker stats দিয়ে নিশ্চিত করুন যে এর পাঁচটি service, panel সহ ছয়টি service, এবং আপনার model—সব মিলিয়ে প্রয়োজনীয় resource-এর মধ্যে চলে। ছোট কোনো box-এ এক জন ব্যবহারকারী থাকলে, এবং model ইতিমধ্যে RAM-এর বেশিরভাগ দখল করে থাকলে, SSH tunnel-এর মাধ্যমে Hollama বা OrionChat পরিবেশন করুন এবং state browser-এর কাছে রাখতে দিন। VPS-এর ক্ষেত্রে ভুল সিদ্ধান্ত হলো login ছাড়াই যেকোনো একটি service-কে 0.0.0.0-এ প্রকাশ করা।
FAQ
পাবলিক IP-তে সরাসরি Open WebUI প্রকাশ করা কি নিরাপদ?
এর নিজস্ব hardening page-এ Open WebUI-কে private, trusted network-এর জন্য তৈরি software হিসেবে বর্ণনা করা হয়েছে। এটি database বা CI server-এর মতো একই শ্রেণির software। এতে প্রকৃত account থাকে। প্রথম account administrator হয়, আর পরের account-গুলো অনুমোদন না পাওয়া পর্যন্ত pending অবস্থায় থাকে। তাই login-হীন UI-এর তুলনায় এটি অনেক বেশি নিরাপদ। তবু এটিকে TLS-সহ reverse proxy-এর পেছনে রাখুন এবং সম্ভব হলে single sign-on ব্যবহার করুন। Container port হিসেবে 127.0.0.1:3000:8080 প্রকাশ করুন। Loopback publishing-এর ওপর isolation-এর জন্য নির্ভর করার আগে Docker Engine 28.0.0 বা পরবর্তী সংস্করণ ব্যবহার করুন। Docker সতর্ক করেছে যে পুরোনো release-এ একই L2 segment-এর host-গুলো localhost-এ প্রকাশিত port-এ পৌঁছাতে পারে।
VPS-এ কোন Open WebUI বিকল্পটি সবচেয়ে কম RAM ব্যবহার করে?
Browser-based বিকল্পগুলো, Hollama এবং OrionChat, কারণ application client-এ চলে। Server শুধু static file পাঠায়। OrionChat-এর কোনো application container-ও প্রয়োজন হয় না। Open WebUI একটি Python process, একটি database এবং default হিসেবে একটি local embedding model memory-তে রাখে। নিজের server-এ docker stats --no-stream ব্যবহার করে পরিমাণগুলো যাচাই করুন, কারণ চালু করা feature অনুযায়ী এগুলো পরিবর্তিত হয়।
এই chat UI-গুলো কি অন্য host-এ থাকা Ollama server ব্যবহার করতে পারে?
Open WebUI এবং LibreChat তা পারে। এদের server নিজেই connection তৈরি করে, তাই browser-এর কোনো rule প্রযোজ্য হয় না। Open WebUI-এর জন্য OLLAMA_BASE_URL সেট করুন। LibreChat-এর জন্য custom endpoint-এ baseURL সেট করুন। vLLM বা অন্য কোনো OpenAI-compatible server-এর ক্ষেত্রে server-এর documentation-এ দেওয়া base path-সহ OPENAI_API_BASE_URL ব্যবহার করুন। vLLM-এর জন্য সেই path হলো /v1। Server API key চাইলে তবেই একটি API key যোগ করুন। Hollama-ও যেকোনো স্থানে থাকা server-এ নির্দেশ করতে পারে। তবে request আপনার browser থেকে যায়, তাই endpoint-টি browser থেকেও reachable হতে হবে। OrionChat-এর Ollama address http://localhost:11434-এ hardcoded। তাই remote Ollama ব্যবহার করতে SSH tunnel অথবা একটি local TCP proxy প্রয়োজন, যা ওই port-এ আসা traffic reachable remote server-এ forward করবে।
আমার browser chat UI কেন Ollama-এ পৌঁছাতে পারছে না?
প্রায় সব ক্ষেত্রে 2টি কারণ দায়ী। Ollama default হিসেবে 127.0.0.1:11434-এ bind করে। তাই অন্য machine-এর browser সরাসরি এতে পৌঁছাতে পারে না, যতক্ষণ না OLLAMA_HOST পরিবর্তন করা হয় অথবা কোনো tunnel বা proxy access প্রদান করে। Ollama default হিসেবে localhost, 127.0.0.1 এবং 0.0.0.0 থেকে আসা cross-origin request গ্রহণ করে। তাই আপনার নিজের domain থেকে পরিবেশিত page-এর request No 'Access-Control-Allow-Origin' header is present on the requested resource দিয়ে প্রত্যাখ্যাত হয়, যতক্ষণ না সেই origin-কে OLLAMA_ORIGINS-এ তালিকাভুক্ত করা হয়। Page-টি HTTPS হলে এবং endpoint public IP address-এ plain HTTP ব্যবহার করলে Ollama request পাওয়ার আগেই browser সেটিকে mixed content হিসেবে block করে। Loopback address (localhost, 127.0.0.0/8-এর যেকোনো address, যেমন 127.0.0.2, অথবা [::1]) এই নিয়মের বাইরে। Local-network permission দেওয়ার পরে Chrome 192.168.0.1-এর মতো private IP literal, .local hostname, অথবা targetAddressSpace: "local" ব্যবহার করা local-network HTTP request-ও অনুমোদন করে। তবে Ollama-এর CORS requirement এখনও প্রযোজ্য। একটি systemctl edit ollama.service override-এ উভয় variable সেট করুন। অথবা SSH-এর মাধ্যমে port forward করুন, তাহলে সমস্যাটি থাকবে না।