SSD Nodes Learn Hosting plans →

VPS-ல் Open WebUI-க்கு சிறந்த மாற்றீடுகள் எவை?

VPS-ல் Open WebUI, LibreChat, Hollama மற்றும் OrionChat ஆகியவற்றை ஒப்பிடுகிறோம். RAM பயன்பாடு, பொது IP பாதுகாப்பு, பயனர் அங்கீகாரம் மற்றும் பராமரிப்பு குறித்த விரிவான ஒப்பீடு இங்கே.

VPS-ல் எந்த Open WebUI மாற்றீடு பொருத்தமானது

Open WebUI மாற்றீடுகள் பெரும்பாலும் மடிக்கணினிகளில் ஒப்பிடப்படுகின்றன; அங்கு RAM விலை குறைவு மற்றும் பொது முகவரியில் (public address) எந்தச் சேவையும் இயங்குவதில்லை. ஒரு VPS இந்த இரண்டு உண்மைகளையும் மாற்றுகிறது, அதுவே தரவரிசையையும் மாற்றுகிறது. இரண்டாவது நபர் உள்நுழையும் தருணத்திலேயே Open WebUI சரியான இயல்புநிலைத் தேர்வாகிறது, ஏனெனில் இது உண்மையான பயனர் கணக்குகள் மற்றும் நிர்வாகக் குழுவை (admin panel) உள்ளடக்கியது. RAM-ன் கடைசி ஒரு gigabyte-க்காக interface-ம் model-ம் போட்டியிடும்போது, இலகுவான திட்டங்கள் (lighter projects) முன்னிலை பெறுகின்றன. அந்த வெற்றியின் விலை அங்கீகாரம் (authentication): அவற்றில் அத்தகைய வசதி இல்லை.

கீழே உள்ள அனைத்தும் ஒவ்வொரு திட்டத்தின் சொந்த ஆவணங்களிலிருந்து பெறப்பட்டவை. இவை August 2026-ல் வாசிக்கப்பட்டு, 20 October 2026 அன்று மீண்டும் சரிபார்க்கப்பட்டன. Open WebUI, LibreChat, Hollama மற்றும் OrionChat ஆகியவற்றுக்காக 25 October 2026 அன்று மீண்டும் ஒருமுறை சரிபார்க்கப்பட்டன. Ollama-வின் ஆவணங்கள் மற்றும் உலாவி பாதுகாப்பு விதிகள் 29 October 2026 அன்று மீண்டும் சரிபார்க்கப்பட்டன. இணையத்திலிருந்து இந்த server-ஐ அணுகும்போது மட்டுமே வெளிப்படும் நான்கு காரணிகளே இவை.

Public IP-ல் மட்டும் கவனிக்க வேண்டிய நான்கு முக்கிய அம்சங்கள்

  • Model-க்கு அருகிலுள்ள Memory. இந்த box-ல் model server தான் அதிக வளங்களை எடுத்துக்கொள்ளும் process ஆகும். Interface பயன்படுத்தும் ஒவ்வொரு megabyte-ம் model-க்கு கிடைக்காமல் போகும் megabyte ஆகும்.
  • Authentication. இதில் சில திட்டங்கள் பயனர் கணக்குகள் மற்றும் பொறுப்புகளை (roles) கொண்டுள்ளன. மற்றவை, உங்கள் laptop-ல் அவை மட்டுமே இயங்குவதாகக் கருதி, எந்தவிதமான login வசதியையும் கொண்டிருக்கவில்லை.
  • Remote inference. 127.0.0.1:11434-ஐ மட்டுமே நோக்கியிருக்கும் ஒரு UI, model-ம் interface-ம் ஒரே box-ல் இருக்கும் என்று எதிர்பார்க்கிறது. Model-ஐ வேறொரு இடத்தில் வைக்கும்போது, அந்த local port-ஐ model host-க்கு அனுப்ப ஒரு tunnel அல்லது local proxy தேவைப்படும்.
  • Upkeep. SQLite கோப்பைக் கொண்ட ஒரு container-ஐ நிர்வகிப்பதற்கும், MongoDB மற்றும் vector database-உடன் இயங்கும் ஆறு container-களை நிர்வகிப்பதற்கும் பெரிய வித்தியாசம் உள்ளது.

இடைமுகத்திற்கு (interface) இந்த model எவ்வளவு RAM-ஐ விட்டுவைக்கிறது

இந்த பெட்டியில் (box) இடைமுகம் மிகப்பெரியது அல்ல. model-தான் மிகப்பெரியது. பதிவிறக்க அளவுகள் (download sizes) உங்களுக்கு ஒரு அடிப்படை அளவை மட்டுமே தருகின்றன. ஏனெனில், model பதிலளிக்கும்போது அதன் weights நினைவகத்தில் இருக்க வேண்டும். context cache ஒதுக்கப்பட்ட பிறகு, உண்மையான நினைவகப் பயன்பாடு பதிவிறக்க அளவை விட அதிகமாக இருக்கும்.

விளக்கப்படம்Published download size of common Ollama models, October 2026
இந்த விளக்கப்படத்தின் தரவு
[
  {
    "label": "llama3.2:3b",
    "download_gb": "2.0"
  },
  {
    "label": "qwen3:4b",
    "download_gb": "2.5"
  },
  {
    "label": "gemma3:4b",
    "download_gb": "3.4"
  },
  {
    "label": "qwen3:8b",
    "download_gb": "5.2"
  }
]

இவை 25 October 2026 அன்று Ollama library பக்கங்களில் அச்சிடப்பட்ட புள்ளிவிவரங்கள். இவை வெளியிடப்பட்ட அளவுகள், அளவீடுகள் அல்ல. 4 GB VPS-ல், qwen3:4b என்பது 2.5 GB அளவில் இருக்கும்போது, இயங்குதளத்திற்கும் (operating system) மற்றவற்றுக்கும் 1.5 GB-க்கும் குறைவான இடமே மிஞ்சுகிறது. உரையாடல் வளர வளர context cache இதிலிருந்து நினைவகத்தை எடுத்துக்கொள்ளும். இதனால்தான் நீங்கள் அமைக்கும் num_ctx என்பது தரத்தைப் பற்றிய முடிவாக மட்டுமல்லாமல், நினைவகத்தைப் பற்றிய முடிவாகவும் இருக்கிறது. qwen3:8b என்பது 5.2 GB அளவில் இருப்பதால், அது அந்த பெட்டியில் இயங்கவே இயங்காது. லேப்டாப் குறித்த கட்டுரைகளில் இந்த நிலைமை விவரிக்கப்படுவதில்லை. ஒரு சில நூறு மெகாபைட்களைக் கொண்ட chat interface, model இயங்குமா இல்லையா என்பதைத் தீர்மானிக்கும் இடமே இதுதான். இந்த அளவுகளை விட அதிகமான திறன் கொண்ட பெட்டியை நீங்கள் தேர்வு செய்கிறீர்கள் என்றால், CPU-மட்டும் கொண்ட VPS-ல் 27B model-க்கான கணக்கீடு இடைமுகம் எவ்வாறு முக்கியத்துவத்தை இழக்கிறது என்பதைக் காட்டுகிறது.

எந்தவொரு கட்டுரையில் உள்ள எண்களையும் நம்புவதை விட, நீங்களே அளவிடுங்கள். container தொடங்கிய ஒரு நிமிடம் கழித்து அல்லாமல், ஒரு மணிநேரம் உண்மையான பயன்பாட்டிற்குப் பிறகு docker stats --no-stream கட்டளையை இயக்கவும். ஏனெனில், முக்கியமான நினைவகம் முதல் பயன்பாட்டின் போதுதான் ஒதுக்கப்படுகிறது. Ollama ஐந்து நிமிடங்கள் செயலற்ற நிலையில் இருந்தால் weights-ஐ விடுவித்துவிடும். எனவே, உரையாடல்களுக்கு இடையில் எடுக்கப்படும் அளவீடு உச்ச பயன்பாட்டைக் காட்டாது. மேலும், keep_alive மூலம் model-ஐ நினைவகத்தில் வைத்திருக்கவில்லை என்றால், அடுத்த செய்தி வரும்போது மீண்டும் முழு சுமையையும் அது ஏற்கும்.

Open WebUI: ஒன்றுக்கும் மேற்பட்ட பயனர்களுக்கு இதுவே இயல்புநிலை

Open WebUI ஒரே image-லிருந்து இயங்குகிறது மற்றும் அதன் தரவுகளை ஒரே volume-ல் சேமிக்கிறது.

docker run -d -p 127.0.0.1:3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

திட்டத்தின் README-ல் உள்ள கட்டளை -p 3000:8080-ஐ வெளியிடுகிறது, இது அனைத்து interface-களிலும் கேட்கிறது (listen). 127.0.0.1: முன்னொட்டு அதை loopback-ல் மட்டுமே வைத்திருக்கும். 28.0.0-க்கு முந்தைய release-களில், ஒரே L2 segment-ல் உள்ள hosts, localhost-க்கு வெளியிடப்பட்ட ports-ஐ அணுக முடியும் என்று Docker எச்சரிக்கிறது. எனவே, அந்த binding-ஐ தனிமைப்படுத்தலுக்குப் பயன்படுத்துவதற்கு முன்பு Docker Engine 28.0.0 அல்லது அதற்குப் பிந்தைய பதிப்பைப் பயன்படுத்தவும். ஒரு VPS-ல், அந்த வரியில் உள்ள மற்ற அனைத்தையும் விட அந்த முன்னொட்டு முக்கியமானது, ஏனெனில் Docker அதன் சொந்த iptables விதிகளை எழுதுகிறது மற்றும் வெளியிடப்பட்ட port உங்கள் ufw deny விதிகளைப் புறக்கணிக்கிறது.

கீழே விவரிக்கப்பட்டுள்ள tunnel அல்லது proxy மூலம் பக்கத்தை அணுகி, முதல் கணக்கை உருவாக்கவும். அந்த கணக்கு நிர்வாகி (administrator) கணக்காக மாறும். நிர்வாகி New Sign Ups-ஐ மீண்டும் இயக்கும் வரை பதிவு செய்தல் (sign-up) தானாகவே அணைக்கப்படும். பின்னர் உருவாக்கப்படும் கணக்குகள் pending என்ற பாத்திரத்தைப் பெறும், இது DEFAULT_USER_ROLE-ன் ஆவணப்படுத்தப்பட்ட இயல்புநிலையாகும். எனவே, பக்கத்தை அணுகும் ஒரு அந்நியர், நிர்வாகி அனுமதிக்கும் வரை உங்கள் model-ஐப் பயன்படுத்த முடியாது.

Open WebUI கீழே உள்ள திட்டங்களை விட அதிக நினைவகத்தை (memory) பயன்படுத்துகிறது, ஏனெனில் இது அதிக வேலைகளைச் செய்கிறது. அதன் சொந்த performance பக்கம் அதிக நினைவகத்தை எடுத்துக்கொள்ளும் பகுதிகளைக் குறிப்பிடுகிறது. இயல்புநிலை embedding engine, container-க்குள் ஒரு sentence-transformers model-ஐ ஏற்றுகிறது. RAG_EMBEDDING_ENGINE=ollama-ஐ அமைப்பதன் மூலம் அந்த வேலையை நீங்கள் ஏற்கனவே இயக்கும் model server-க்கு மாற்றலாம். AUDIO_STT_ENGINE=web ஒரு உள்ளூர் speech-to-text model-ஐ ஏற்றுவதைத் தவிர்க்கிறது. DATABASE_POOL_SIZE அமைக்கப்படாத SQLite-ல், pool ஒரு பெரிய உள் அளவிற்குச் சென்று, ஒவ்வொரு இணைப்பும் அதன் சொந்த page cache மற்றும் memory map-ஐ உருவாக்குகிறது. எனவே, சிறிய கணினிகளில் DATABASE_POOL_SIZE=8 மற்றும் DATABASE_SQLITE_PRAGMA_MMAP_SIZE=0-ஐ அமைக்கவும். பயனர் தட்டச்சு செய்யும்போதே model-இடம் completion கேட்கும் Autocomplete அம்சம், இப்போது அணைக்கப்பட்டே வருகிறது (ENABLE_AUTOCOMPLETE_GENERATION இயல்புநிலையாக False என உள்ளது), எனவே சிறிய கணினிகளில் அதை அப்படியே விடவும்.

LibreChat: பல பயனர்களைக் கொண்ட, ஒரு stack-ஐப் பின்பற்றும் அமைப்பு

git clone https://github.com/danny-avila/LibreChat.git
cd LibreChat
cp .env.example .env
docker compose up -d

இதன் இடைமுகம் 3080 port-ல் இயங்குகிறது. ஒரு எளிய login பெட்டியை விட, identity system தேவைப்படும்போது LibreChat-ஐப் பரிசீலிக்கலாம்: இது LDAP மற்றும் OAuth2 login முறைகளை ஆவணப்படுத்துகிறது. இதன் default compose file, பயனர்கள், குழுக்கள் மற்றும் roles-க்கான admin panel-ஐயும் வரையறுக்கிறது. இந்த panel தானாகவே இயங்காது. ADMIN_PANEL_SESSION_SECRET என்பது .env-ல் அமைக்கப்படும் வரை இது தொடங்காது. இது குறைந்தது 32 characters கொண்ட கட்டாயமான மதிப்பு; இதற்கு default மதிப்பு கிடையாது. எனவே, உங்களுக்குத் தேவைப்பட்டால் openssl rand -hex 32 மூலம் ஒன்றை உருவாக்கவும். அந்த panel ஒரு தனி service-ஆக இயங்குகிறது, LibreChat process-க்குள் அல்ல. இதற்கு LibreChat v0.8.5 அல்லது அதற்குப் பிந்தைய பதிப்பு தேவை. அந்த வசதி ஒரு stack-உடன் கிடைக்கிறது.

விளக்கப்படம்Containers a default install adds, not counting the model server
இந்த விளக்கப்படத்தின் தரவு
[
  {
    "label": "OrionChat",
    "containers": 0,
    "notes": "static files, served by a web server you already run"
  },
  {
    "label": "Hollama",
    "containers": 1,
    "notes": "one container serving a browser app"
  },
  {
    "label": "Open WebUI",
    "containers": 1,
    "notes": "application and SQLite in one image"
  },
  {
    "label": "LibreChat",
    "containers": 5,
    "notes": "api, MongoDB, Meilisearch, pgvector, RAG API"
  }
]

இதன் default compose file 5 services-ஐத் தொடங்குகிறது: api, MongoDB, Meilisearch, pgvector, RAG API. ஆறாவது service-ஆன admin panel அதே file-ல் உள்ளது; அதன் secret அமைக்கப்பட்டவுடன் அது இணையும். இவற்றில் எதுவும் model கிடையாது. MongoDB மற்றும் pgvector ஆகிய இரண்டுக்கும் தனித்தனி memory தேவை. 4 GB அளவுள்ள box-ல், அந்த memory model-க்குத் தேவைப்படும்.

இந்த file-ல் உள்ள இரண்டு services ports-ஐ வெளியிடுகின்றன. எந்த mapping-ம் bind address-ஐக் குறிப்பிடவில்லை: API 3080-லும், admin panel host port 3000-லும் (இது ADMIN_PANEL_PORT-ன் default) இயங்குகின்றன. எனவே, இவை இயங்கத் தொடங்கியதும் அனைத்து interface-களிலும் listen செய்யும். Port 3000 என்பது மேலே குறிப்பிடப்பட்ட Open WebUI பயன்படுத்தும் port ஆகும். எனவே, panel-ஐ enable செய்தவுடன் இவை இரண்டும் ஒரே box-ல் மோதிக்கொள்ளும். Stack-ஐ இணையத்தில் வெளியிடும் முன், docker-compose.override.yml-ல் இரண்டையும் 127.0.0.1-க்கு rebind செய்யவும்.

Upgrades என்பது ஒரு git operation; இதைத்தான் பலரும் தவறாகச் செய்கிறார்கள்.

docker compose down
git pull
docker compose pull
docker compose up -d

நீங்கள் மாற்றியமைக்கப்பட்ட docker-compose.yml-ஐ வைத்திருந்தால், git pull ஒரு conflict-உடன் நின்றுவிடும்; அப்போது upgrade பாதியிலேயே நின்றுவிடும். உங்கள் மாற்றங்களை இதற்கென வழங்கப்பட்டுள்ள docker-compose.override.yml-ல் செய்யவும், secrets-ஐ .env-ல் வைக்கவும். இந்த இரண்டு file-களும் untracked என்பதால், git pull அவற்றை மாற்றாது.

LibreChat-ஐ உங்கள் சொந்த model server-உடன் இணைக்க, librechat.yaml-ல் custom endpoint-ஐக் குறிப்பிடவும்.

endpoints:
  custom:
    - name: "Ollama"
      apiKey: "ollama"
      baseURL: "http://model-host:11434/v1/"
      models:
        default: ["llama3.2"]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      modelDisplayLabel: "Ollama"

model-host-க்கு பதிலாக Ollama இயங்கும் box-ன் முகவரியைக் குறிப்பிடவும். Ollama அதன் மதிப்பை கவனிக்காது என்றாலும், apiKey field கட்டாயம் இருக்க வேண்டும், எனவே ஒரு placeholder-ஐப் பயன்படுத்தலாம். LibreChat Docker-லும், Ollama அதே machine-லும் இயங்கினால், container-க்குள் localhost என்பது அந்த container-ஐயே குறிக்கும். எனவே, அதற்குப் பதிலாக host.docker.internal-ஐப் பயன்படுத்தவும்.

Hollama மற்றும் OrionChat: உலாவியே பணியைச் செய்கிறது

Hollama ஒரு சிறிய container மூலம் browser application-ஐ வழங்குகிறது. உரையாடல்கள் server-ல் சேமிக்கப்படாமல், உங்கள் browser-ன் சேமிப்பகத்திலேயே (storage) இருக்கும்.

docker run -d --restart unless-stopped -p 127.0.0.1:4173:4173 --name hollama ghcr.io/fmaclen/hollama:latest

இந்த self-hosting வழிகாட்டியின் கட்டளை --rm-ஐப் பயன்படுத்துகிறது. இது container நிறுத்தப்படும்போது அதை நீக்கிவிடும், எனவே reboot செய்த பிறகு interface மீண்டும் வராது.

OrionChat இன்னும் ஒரு படி மேலே சென்று, எந்தவொரு server பகுதியையும் கொண்டிருக்கவில்லை. repository-ஐ clone செய்து, நீங்கள் ஏற்கனவே இயக்கும் web server மூலம் அந்த folder-ஐ வழங்கலாம் அல்லது disk-லிருந்து index.html-ஐத் திறக்கலாம். API keys browser-ன் localStorage-ல் சேமிக்கப்படும், உரையாடல் வரலாறு browser-லேயே இருக்கும், மேலும் உரையாடல்களின் எண்ணிக்கை 512-ஐத் தாண்டினால், பழமையான உரையாடல்களை app நீக்கிவிடும். OrionChat-ன் Ollama முகவரி அதன் source code-ல் (js/script.js) http://localhost:11434 என நிலையாக உள்ளது, அதை மாற்ற அதன் settings-ல் எந்த வசதியும் இல்லை.

இந்த இரண்டு திட்டங்களிலும் login வசதி இல்லை. laptop-ல் இது சிக்கலில்லை. ஆனால் VPS-ல் பயன்படுத்தும்போது, அந்தப் பக்கத்தை ஒருபோதும் 0.0.0.0-ல் வெளியிடக்கூடாது. மேலும் கவனிக்க வேண்டிய முக்கியமான விஷயம்: browser தான் model-ஐ அழைக்கிறது, server அல்ல.

இந்த ஒரு உண்மைதான் இவை இரண்டையும் எங்கு பயன்படுத்தலாம் என்பதைத் தீர்மானிக்கிறது. உங்கள் browser நேரடியாக Ollama-வை அணுக வேண்டும். OrionChat-ஐப் பொறுத்தவரை, இது எப்போதும் browser இயங்கும் கணினியில் localhost:11434 என்றே பொருள்படும். எனவே, தொலைதூரத்தில் உள்ள model-ஐ அணுக tunnel அல்லது local TCP proxy தேவை. உதாரணமாக, Windows netsh interface portproxy மூலம், OrionChat-ஐ மாற்றாமலேயே அந்த local port-ஐ அணுகக்கூடிய தொலைதூர Ollama-விற்கு forward செய்ய முடியும். Hollama நீங்கள் உள்ளிடும் எந்த முகவரியையும் connection-ன் base URL-ஆக எடுத்துக்கொள்ளும். அதன் self-hosting வழிகாட்டி மற்றொரு சாதனத்தில் உள்ள Ollama server-ஐக் கையாள்கிறது: Ollama பக்கத்தில் OLLAMA_ORIGINS-ல் Hollama-வின் origin-ஐச் சேர்க்கவும். எனவே, tunnel அல்லது proxy மூலம் Ollama-வை அணுகாவிட்டால், Ollama loopback-ஐத் தாண்டி மற்றவற்றையும் கவனிக்க (listen) வேண்டும். Ollama-வின் API எந்த login அல்லது key-யையும் கேட்பதில்லை. இதிலிருந்து இரண்டு browser விதிகள் உருவாகின்றன. HTTPS மூலம் வழங்கப்படும் ஒரு பக்கம், public IP முகவரியில் உள்ள plain HTTP endpoint-ஐ அழைக்க முடியாது, மேலும் console-ல் Mixed Content: The page at 'https://chat.example.com/' was loaded over HTTPS, but requested an insecure resource 'http://203.0.113.10:11434/api/tags'. This request has been blocked. என்று காட்டும். Loopback-க்குத் தனி விலக்கு உண்டு: Mixed Content spec, நம்பகத்தன்மை இல்லாத URL-களை மட்டுமே தடுக்கும். Secure Contexts spec, localhost, 127.0.0.0/8 மற்றும் ::1 ஆகியவற்றை நம்பகமானதாகக் கருதுகிறது. எனவே, அதே HTTPS பக்கம் http://localhost:11434 அல்லது http://127.0.0.1:11434-ஐ அழைக்கலாம். கீழே உள்ள SSH tunnel இந்த விலக்கையே நம்பியுள்ளது. பதிப்பு 142 முதல், https://chat.example.com போன்ற public தளத்திலிருந்து பக்கம் வரும்போது, Chrome ஒரு கூடுதல் படியைச் சேர்க்கிறது: loopback அல்லது local network முகவரிக்குச் செல்லும் கோரிக்கை, பயனர் local network அணுகலுக்கு அனுமதி அளிக்கும் வரை காத்திருக்கும். Chrome, local-network endpoint-களுக்கான HTTP கோரிக்கைகளை mixed-content சோதனைகளிலிருந்து விலக்குகிறது (hostname 192.168.0.1, .local பெயர் அல்லது fetch targetAddressSpace: "local" எனக் குறிப்பிடும்போது). Tunnel வழியாக http://localhost-ல் நீங்கள் திறக்கும் பக்கம் ஏற்கனவே loopback-ல் இருப்பதால், அந்த அனுமதி கோரல் அதற்குப் பொருந்தாது. வேறு எந்த origin-க்குச் செல்லும் அழைப்பும், நீங்கள் அனுமதிக்கும் வரை has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource என்று மறுக்கப்படும்.

Ollama-வின் இந்த அமைப்புகளை மாற்றுவதற்கு ஆவணப்படுத்தப்பட்ட வழி systemd override ஆகும்.

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=https://chat.example.com"
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo ss -lntp | grep 11434

ss இப்போது 0.0.0.0:11434 என்று காட்ட வேண்டும், முன்பு அது 127.0.0.1:11434 என்று காட்டியது. Firewall அல்லது authenticating proxy மூலம் அந்த port-ஐ யார் அணுகலாம் என்பது ஏற்கனவே கட்டுப்படுத்தப்பட்டிருந்தால் மட்டுமே இந்த மாற்றத்தைச் செய்யவும். ஏனெனில், திறந்திருக்கும் 11434 என்பது ஒரு திறந்த model server ஆகும், மேலும் mass scanners புதிய public port-களை விரைவாகக் கண்டறிந்துவிடும். கீழே உள்ள SSH tunnel இந்தச் சிக்கலைத் தவிர்க்கிறது: பக்கம் ஒரு localhost origin-ல் இயங்குகிறது, அதை Ollama இயல்பாகவே அனுமதிக்கிறது, மேலும் அந்த port கணினியை விட்டு வெளியே போகாது.

ஒவ்வொன்றும் தொலைதூர Ollama அல்லது vLLM endpoint-ஐப் பயன்படுத்த முடியுமா?

Open WebUI-ஆல் முடியும், மேலும் இந்த இணைப்பு server பக்கத்திலேயே ஏற்படுத்தப்படுகிறது. OLLAMA_BASE_URL=http://model-host:11434 அதை Ollama-வை நோக்கிச் சுட்டிக்காட்டுகிறது. vLLM-க்கு, OPENAI_API_BASE_URL=http://model-host:8000/v1-ஐ அமைக்கவும், vLLM அதன் API-ஐ வழங்கும் /v1-ஐ அப்படியே வைத்திருக்கவும். server ஒரு key-உடன் தொடங்கப்பட்டிருந்தால் மட்டுமே OPENAI_API_KEY-ஐ அமைக்கவும், ஏனெனில் Open WebUI-ன் vLLM வழிகாட்டி மற்றபடி எந்த அங்கீகாரத்தையும் (auth) பயன்படுத்துவதில்லை. OpenAI-உடன் இணக்கமான பிற server-கள் அவற்றின் சொந்த ஆவணங்கள் வழங்கும் எந்த base path-ஐயும் ஏற்கும், அது எப்போதும் /v1 ஆக இருக்காது. OPENAI_API_BASE_URLS அரைப்புள்ளிகளால் (semicolons) பிரிக்கப்பட்ட பல backends-களை ஏற்கும்.

LibreChat-ஆல் மேலே காட்டப்பட்டுள்ள custom endpoint-ன் baseURL வழியாக முடியும். அந்த கோரிக்கையும் server-லிருந்து வெளியேறுகிறது, எனவே எந்த browser விதியும் அதற்குப் பொருந்தாது. அதே base URL மற்றும் அதே placeholder key ஆகியவை chat window-க்கு வெளியேயும் வேலை செய்யும், நீங்கள் ஏற்கனவே host செய்துள்ள மாதிரியை ஒரு coding agent-க்கு சுட்டிக்காட்ட இதுவே போதுமானது.

Hollama அதன் அமைப்புகளில் நீங்கள் தட்டச்சு செய்யும் எந்த endpoint-ஐயும் சுட்டிக்காட்ட முடியும். அதன் Ollama இணைப்பு, இயல்பாக http://localhost:11434 ஆக இருக்கும் மாற்றக்கூடிய base URL-ஐக் கொண்டுள்ளது, மேலும் அதைத் தவிர Hollama ஒரு OpenAI-இணக்கமான இணைப்பை வழங்குகிறது, இது இயல்பாக http://localhost:8080/v1 ஆகும், இதுவே vLLM-க்கான வழியாகும். கோரிக்கை உங்கள் browser-லிருந்து வெளியேறுகிறது, எனவே மேலே உள்ள பகுதியில் உள்ள அனைத்தும் அதற்கும் பொருந்தும். OrionChat-ல் தொலைதூர endpoint-க்கான அமைப்பு எதுவும் இல்லை. அதன் endpoint-கள் hardcode செய்யப்பட்டுள்ளன, Ollama http://localhost:11434/v1/chat/completions-ல் நிலைநிறுத்தப்பட்டுள்ளது, மேலும் அதன் README கோரிக்கைகள் நேரடியாக ஒவ்வொரு provider-ன் அதிகாரப்பூர்வ API-க்கும் செல்கின்றன என்று கூறுகிறது. ஒரு தொலைதூர Ollama-வை SSH tunnel அல்லது அந்த local port-ல் பதிலளிக்கச் செய்யும் local TCP proxy வழியாக அணுகலாம், மேலும் vLLM server-க்கு எந்த அமைப்பும் இல்லை.

இடைமுகத்தை (interface) மாதிரியிலிருந்து பிரிப்பது, ஒரு தொலைதூர endpoint உங்களுக்கு வழங்கும் மிகவும் பயனுள்ள விஷயமாகும். இடைமுகத்தை ஒரு சிறிய பெட்டியிலும் (box), மாதிரியை நினைவகம் (memory) உள்ள இடத்திலும் வைக்கவும். Ollama அல்லது vLLM கோரிக்கைகளை வழங்க வேண்டுமா என்பதைத் தீர்மானிப்பதற்கான இடமும் இதுவே, ஏனெனில் பல நபர்கள் ஒரே நேரத்தில் மாதிரியுடன் பேசும்போது இவை இரண்டும் மிகவும் வித்தியாசமாகச் செயல்படுகின்றன. மாதிரி server இன்னும் இல்லை என்றால், VPS-ல் Ollama-வை இயக்குவதன் மூலம் தொடங்கவும், மேலும் CPU-மட்டும் கொண்ட பெட்டியில், நீங்கள் ஒரு runner-ஐத் தேர்ந்தெடுப்பதற்கு முன் Ollama மற்றும் llama.cpp எவ்வாறு ஒப்பிடப்படுகின்றன என்பதைப் படிக்கவும்.

Login இல்லாத chat UI-ஐ ஒருபோதும் 0.0.0.0-ல் வெளியிட வேண்டாம்

Open WebUI-ன் hardening பக்கம், இந்தத் திட்டம் "databases, container registries, மற்றும் CI servers போன்ற பிற self-hosted உள்கட்டமைப்புகளைப் போலவே, தனிப்பட்ட மற்றும் நம்பகமான நெட்வொர்க்குகளுக்காக உருவாக்கப்பட்டது" என்று கூறுகிறது. இதை ஒரு VPN-க்கு பின்னால் அல்லது authentication வசதி கொண்ட reverse proxy-க்கு பின்னால் வைக்க வேண்டும் என்று அது அறிவுறுத்துகிறது. Login வசதியே இல்லாத ஒரு திட்டத்திற்கு, குறைந்தபட்சம் இந்த அளவிலான பாதுகாப்பாவது அவசியம்.

எந்தவொரு சேவையையும் நம்புவதற்கு முன்பு, அது எதைக் கவனிக்கிறது (listening) என்பதைச் சரிபார்க்கவும்.

sudo ss -lntp | grep -E ':(3000|3080|4173|11434)'

127.0.0.1:3000 என்று காட்டும் வரிதான் உங்களுக்குத் தேவையானது. 0.0.0.0:3000 என்று காட்டும் வரி, அந்தச் சேவை அனைத்து முகவரிகளிலும் (all addresses) கவனிக்கிறது என்று பொருள். Docker இயல்பாகவே, வெளியிடப்பட்ட port-க்கு எந்தவொரு வெளிப்புற source IP-யும் அணுக அனுமதிக்கும். Docker-ன் DOCKER-USER chain-ல் உள்ள விதி அல்லது உங்கள் provider-ன் firewall அதைத் தடுக்கவில்லை என்றால், உங்கள் chat interface பொது இணையத்தில் (public internet) இருக்கும். உங்கள் சொந்த கணினியிலிருந்து, HTTP/1.1 200 OK என்று பதிலளிக்கும் curl -sI http://YOUR.VPS.IP:3000 கட்டளை இந்த விஷயத்தை இன்னும் தெளிவாக உறுதிப்படுத்தும்.

WEBUI_AUTH=False மூலம் Open WebUI-ன் login-ஐ முடக்குவது, வேறு யாரும் அணுக முடியாத கணினிக்கான single-user அமைப்பாகும். பதிவுசெய்யப்பட்ட பயனர்கள் இல்லாத installation-ல் மட்டுமே இது வேலை செய்யும் என்று அதன் ஆவணங்கள் கூறுகின்றன, எனவே ஏற்கனவே கணக்குகள் உள்ள ஒன்றிற்கு இதை நீங்கள் பயன்படுத்த முடியாது.

முறை ஒன்று: loopback-ல் bind செய்து SSH மூலம் அணுகுதல். ஒவ்வொரு port-ஐயும் 127.0.0.1-ல் வெளியிடவும், பிறகு உங்களுக்குத் தேவையானதை forward செய்யவும்: ssh -N -L 3000:127.0.0.1:3000 you@vps.example.com, மற்றும் உங்கள் laptop-ல் http://localhost:3000-ஐத் திறக்கவும். இந்த முறைக்கு Docker Engine 28.0.0 அல்லது அதற்குப் பிந்தைய பதிப்பைப் பயன்படுத்தவும்; பழைய பதிப்புகளில், ஒரே L2 segment-ல் உள்ள hosts, localhost-ல் வெளியிடப்பட்ட port-களை அணுக முடியும். OrionChat-க்கு, -L 11434:127.0.0.1:11434 கட்டளையுடன் model port-ஐயும் forward செய்யவும், Ollama-வை loopback-லேயே விடவும். Hollama நேரடியாக Ollama-வை அணுக முடியும், ஆனால் அதே forward முறை Ollama-வை பொது இணையத்திலிருந்து விலக்கி வைப்பதால், Hollama-விற்கும் அதுவே பாதுகாப்பான வழி. இந்த முறை உங்கள் SSH அமைப்பின் வலிமையைப் பொறுத்தது, எனவே இதை key-only SSH மற்றும் hardened sshd உடன் இணைக்கவும்.

முறை இரண்டு: பயன்பாடு கோரிக்கையைப் பெறுவதற்கு முன்பே அங்கீகரிக்கும் reverse proxy. பயன்பாட்டை loopback-ல் வைத்திருக்கவும், proxy-யை port 443-ல் இயங்க விடவும், அதன் முன்னால் single sign-on-ஐ வைக்கவும். Docker Compose labels மூலம் இயங்கும் Traefik மற்றும் identity provider-ஆக Authentik ஆகியவற்றைப் பயன்படுத்துவது, அந்த server-ல் உள்ள ஒவ்வொரு பயன்பாட்டிற்கும் ஒரு login மற்றும் ஒரு certificate-ஐ வழங்கும். Open WebUI-ஐ TLS (transport layer security)-க்கு பின்னால் வைக்கும்போது, WEBUI_SESSION_COOKIE_SECURE=true மற்றும் WEBUI_SESSION_COOKIE_SAME_SITE=strict ஆகியவற்றை அமைக்கவும். JWT_EXPIRES_IN-ன் இயல்புநிலை நான்கு வார கால அளவைக் குறைக்கவும், ஏனெனில் Redis இல்லாமல் sign-out செய்தால் token செல்லாததாகாது என்று Open WebUI ஆவணங்கள் கூறுகின்றன: அது தானாகவே காலாவதியாகும் வரை பயன்பாட்டில் இருக்கும்.

முறை இரண்டு browser-மட்டும் கொண்ட திட்டங்களைக் காப்பாற்றாது. பக்கத்திற்கு முன்னால் இருக்கும் proxy, model endpoint-ஐப் பாதுகாக்காது. அந்தப் பக்கத்திலிருந்து வேறொரு hostname-க்கு செய்யப்படும் fetch, உங்கள் session cookie-ஐக் கொண்டிருக்காது. எனவே, Ollama-விற்கு முன்னால் இருக்கும் authenticating proxy, login படிவத்திற்கு redirect செய்யும், இதனால் chat தோல்வியடையும். Model endpoint-ஐ அதே hostname-ன் கீழ் route செய்யவும் அல்லது முறை ஒன்றைப் பயன்படுத்தவும்.

எதைத் தேர்வு செய்வது

உங்களைத் தவிர வேறு யாராவது இதைப் பயன்படுத்தப் போகிறார்கள் என்றால், Open WebUI-ஐ இயக்கவும். இதில் முறையான கணக்குகள் (accounts) உள்ளன, புதிய பயனர்கள் ஒப்புதல் வரிசையில் (approval queue) சேர்வார்கள், மேலும் இதைப் பராமரிப்பவர்கள் நீங்கள் பின்பற்றக்கூடிய பாதுகாப்பு வழிகாட்டுதல்களை (hardening guidance) வழங்குகிறார்கள். உங்களுக்கு LDAP அல்லது நிர்வாகக் குழு (admin panel) தேவைப்பட்டால், LibreChat-ஐ இயக்கவும், பேனல் தேவைப்பட்டால் ADMIN_PANEL_SESSION_SECRET-ஐ அமைக்கவும், மேலும் அதன் ஐந்து சேவைகள் (பேனலுடன் சேர்த்து ஆறு) மற்றும் உங்கள் model ஆகியவை உங்கள் கணினியில் சரியாகப் பொருந்துகிறதா என்பதை docker stats மூலம் உறுதிப்படுத்திய பின் அதைப் பயன்படுத்தத் தொடங்கவும். இது ஒரு சிறிய கணினியில் ஒரு நபர் மட்டும் பயன்படுத்தும் சூழலாக இருந்து, model ஏற்கனவே பெரும்பாலான RAM-ஐ எடுத்துக்கொண்டிருந்தால், Hollama அல்லது OrionChat-ஐ SSH tunnel வழியாக வழங்கவும்; browser-ஐ அதன் நிலையை (state) பராமரிக்க அனுமதிக்கவும். ஒரு VPS-ல், முன்னால் எந்த login-உம் இல்லாமல் 0.0.0.0-ல் எதையாவது வெளியிடுவது தவறான அணுகுமுறையாகும்.

FAQ

Open WebUI-ஐ நேரடியாக public IP-ல் வெளியிடுவது பாதுகாப்பானதா?

இதன் hardening பக்கத்தில், இது database அல்லது CI server போன்றே, நம்பகமான private network-களுக்காக உருவாக்கப்பட்ட மென்பொருள் என்று குறிப்பிடப்பட்டுள்ளது. இதில் முறையான கணக்குகள் (accounts) உள்ளன; முதல் கணக்கு administrator-ஆக மாறும், மற்றவை அங்கீகரிக்கப்படும் வரை pending நிலையிலேயே இருக்கும். எனவே, login வசதி இல்லாத UI-களை விட இது பாதுகாப்பானது. இருப்பினும், இதை TLS வசதியுடன் கூடிய reverse proxy-க்கு பின்னால் வைத்து, முடிந்தவரை single sign-on முறையைப் பயன்படுத்தவும். Container port-ஐ 127.0.0.1:3000:8080 என publish செய்யவும். தனிமைப்படுத்தலுக்கு (isolation) loopback publishing-ஐ நம்புவதற்கு முன், Docker Engine 28.0.0 அல்லது அதற்குப் பிந்தைய பதிப்பைப் பயன்படுத்தவும். பழைய பதிப்புகளில், ஒரே L2 segment-ல் உள்ள hosts, localhost-க்கு publish செய்யப்பட்ட port-களை அணுக முடியும் என்று Docker எச்சரிக்கிறது.

VPS-ல் குறைந்த RAM பயன்படுத்தும் Open WebUI மாற்று எது?

Hollama மற்றும் OrionChat போன்ற browser-அடிப்படையிலான மென்பொருள்கள் குறைவான RAM-ஐப் பயன்படுத்துகின்றன, ஏனெனில் இவை client-ல் இயங்குகின்றன. Server வெறும் static கோப்புகளை மட்டுமே அனுப்புகிறது; OrionChat-க்கு எந்த application container-ம் தேவையில்லை. Open WebUI ஒரு Python process, database மற்றும் இயல்பாகவே local embedding model-ஐ நினைவகத்தில் (memory) வைத்திருக்கும். நீங்கள் இயக்கும் அம்சங்களுக்கு ஏற்ப RAM பயன்பாடு மாறுபடும் என்பதால், docker stats --no-stream மூலம் உங்கள் server-ல் உள்ள அளவுகளை உறுதிப்படுத்திக் கொள்ளுங்கள்.

இந்த chat UI-கள் வேறொரு host-ல் உள்ள Ollama server-ஐப் பயன்படுத்த முடியுமா?

Open WebUI மற்றும் LibreChat ஆகியவற்றை அவ்வாறு பயன்படுத்தலாம். இவற்றின் server-தான் இணைப்பை ஏற்படுத்துவதால், browser விதிகள் இதற்குப் பொருந்தாது. Open WebUI-க்கு OLLAMA_BASE_URL-ஐ அமைக்கவும், அல்லது LibreChat-ல் custom endpoint-ஆக baseURL-ஐ அமைக்கவும். vLLM அல்லது பிற OpenAI-இணக்கமான server-களுக்கு, அந்த server ஆவணப்படுத்தும் base path-உடன் OPENAI_API_BASE_URL-ஐப் பயன்படுத்தவும் (vLLM-க்கு இது /v1 ஆகும்). Server-க்கு தேவைப்பட்டால் மட்டுமே API key-ஐச் சேர்க்கவும். Hollama-வையும் எங்கும் இணைக்கலாம், ஆனால் கோரிக்கை உங்கள் browser-லிருந்து வருவதால், அந்த endpoint உங்கள் browser-க்கு அணுகக்கூடியதாக இருக்க வேண்டும். OrionChat-ன் Ollama முகவரி http://localhost:11434 என hardcode செய்யப்பட்டுள்ளது; எனவே, தொலைதூர Ollama-வை இணைக்க SSH tunnel அல்லது அந்த port-ஐ remote server-க்கு அனுப்பும் local TCP proxy தேவை.

எனது browser chat UI ஏன் Ollama-வை அணுக முடியவில்லை?

இதற்கு இரண்டு முக்கிய காரணங்கள் உள்ளன. Ollama இயல்பாகவே 127.0.0.1:11434-ல் இயங்குகிறது; எனவே, OLLAMA_HOST மாற்றப்படாவிட்டாலோ அல்லது tunnel/proxy மூலம் அணுகல் வழங்கப்படாவிட்டாலோ, வேறொரு கணினியில் உள்ள browser-ஆல் அதை நேரடியாக அணுக முடியாது. மேலும், Ollama இயல்பாகவே localhost, 127.0.0.1 மற்றும் 0.0.0.0 ஆகியவற்றிலிருந்து வரும் cross-origin கோரிக்கைகளை மட்டுமே ஏற்கும். எனவே, உங்கள் domain-லிருந்து வரும் பக்கம் No 'Access-Control-Allow-Origin' header is present on the requested resource பிழையுடன் நிராகரிக்கப்படும்; அந்த origin-ஐ OLLAMA_ORIGINS-ல் சேர்க்க வேண்டும். பக்கம் HTTPS-ஆக இருந்து, endpoint public IP-ல் plain HTTP-ஆக இருந்தால், Ollama-விடம் செல்வதற்கு முன்பே browser அதை mixed content எனக் கருதித் தடுக்கும். Loopback முகவரிகள் (localhost, 127.0.0.0/8-ல் உள்ள எந்த முகவரியும், உதாரணமாக 127.0.0.2 அல்லது [::1]) இதற்கு விதிவிலக்கு. Chrome, local-network அனுமதி வழங்கப்பட்ட பிறகு 192.168.0.1, .local hostnames அல்லது targetAddressSpace: "local" போன்ற private IP literals-ஐப் பயன்படுத்தும் local-network HTTP கோரிக்கைகளுக்கும் அனுமதி அளிக்கிறது; இருப்பினும் Ollama-வின் CORS விதிகள் இதற்கும் பொருந்தும். இந்த இரண்டு மாறிகளையும் (variables) ஒரு systemctl edit ollama.service override-ல் அமைக்கவும், அல்லது SSH மூலம் port-ஐ forward செய்யவும்; அப்போது இந்தப் பிரச்சனை நீங்கிவிடும்.

இந்தக் கட்டுரை பயனுள்ளதாக இருந்ததா?