SSD Nodes Learn Hosting plans →
मार्गदर्शक Matt Connorद्वारे Matt Connor · अपडेटेड 2026-10-30

Ollama API ला पासवर्ड नाही: port 11434 सुरक्षित करा

Ollama server मध्ये authentication नसल्याने port 11434 पर्यंत पोहोचणारा कोणीही models चालवू, download किंवा delete करू शकतो. उपाय क्रमाने जाणून घ्या.

Ollama API साठी पासवर्ड नाही

Ollama API मध्ये authentication नाही. येणाऱ्या client साठी user, password किंवा API key तपासली जात नाही. TCP connection port 11434 वर उघडता येणारा कोणताही client तुमचे models सूचीबद्ध करू शकतो, ते चालवू शकतो, नवीन models download करू शकतो आणि तुमच्याकडे असलेले models delete करू शकतो.

अधिकृत documentation मध्ये हे स्पष्टपणे नमूद केले आहे: "http://localhost:11434 वरील local API साठी authentication आवश्यक नाही." संपूर्ण security model local या शब्दावर अवलंबून आहे. Ollama default नुसार 127.0.0.1 वर bind होते. त्यामुळे laptop वर loopback interface हेच access control असते. हा listener public address वर हलवल्यास access control नाहीसे होते, कारण त्याची जागा घेणारी कोणतीही सुरक्षा व्यवस्था नसते.

म्हणूनच VPS (virtual private server) वर हा मुद्दा महत्त्वाचा ठरतो. Default configuration सुरक्षित असते. दुसरे machine model वापरू शकेल यासाठी listener उघडणे हा बहुतेक लोकांचा पहिला बदल असतो. याच बदलामुळे सर्व संरक्षण एकाच वेळी नाहीसे होते.

उघडा port 11434 काय उघड करतो

प्रत्येक endpoint उपलब्ध असतो. Read-only mode नाही आणि स्वतंत्र admin port नाही. या प्रत्यक्ष requests आहेत. त्या localhost ऐवजी server address कडे पाठवल्या जातात:

# List every model on the box
curl http://SERVER_IP:11434/api/tags

# See what is loaded into memory right now
curl http://SERVER_IP:11434/api/ps

# Run a prompt on your hardware
curl http://SERVER_IP:11434/api/generate -d '{"model":"llama3.2","prompt":"Why is the sky blue?"}'

# Write several gigabytes to your disk
curl http://SERVER_IP:11434/api/pull -d '{"model":"llama3.2"}'

# Remove a model
curl -X DELETE http://SERVER_IP:11434/api/delete -d '{"model":"llama3.2"}'

ऑपरेटरच्या दृष्टीने चार समस्या निर्माण होतात:

  • तुमचा CPU किंवा GPU दुसऱ्या व्यक्तीसाठी inference चालवतो. Fair-use CPU allowance असलेल्या plan मध्ये सततचा load म्हणजे तुमचा allowance अनोळखी व्यक्ती वापरत आहे. तुम्ही एकमेव caller नसल्यास VPS वरील AI workload चा खर्च नियंत्रणात ठेवणे अधिक कठीण होते.
  • /api/pull तुमच्या disk वर लिहिते. Model चा आकार वेगवेगळा असतो; अगदी llama3.2:1b देखील 1.3 GB आहे. Pulls ची loop volume भरून टाकते. Disk पूर्ण भरल्यास Ollama पुरते मर्यादित न राहता त्या मशीनवरील इतर प्रत्येक सेवा बंद पडते.
  • Requests तुमच्या process मध्ये येतात आणि log केल्या जातात. Default log level वर Ollama केवळ metadata नोंदवते. त्यामुळे prompt text नव्हे, तर endpoint, status, latency आणि client address नोंदवले जातात. तरीही तुमच्या box चा वापर कोणी आणि कशासाठी केला याची नोंद तुमच्या journal मध्ये राहते. ती गोळा करण्याचा निर्णय तुम्ही घेतलेला नसतो.
  • /api/delete models काढून टाकते. ते पुन्हा मिळवण्यासाठी तुमच्या bandwidth वरून ते पुन्हा download करावे लागतात.

यापैकी कशासाठीही exploit आवश्यक नाही. Documented API ज्या प्रकारे design केले आहे, त्याच प्रकारे ती अचूकपणे कार्य करत आहे.

Ed25519 key हे access control नाही

"Ollama API key" शोधल्यावर दोन वेगळ्या गोष्टी आढळतात. यापैकी कोणतीही तुमच्या server साठी password नाही. या दोन्ही वेगळ्या ओळखल्यास बहुतेक गोंधळ दूर होतो.

पहिली गोष्ट म्हणजे identity key pair. Ollama पहिल्यांदा सुरू झाल्यावर Ed25519 key pair तयार करते. Linux वर install script ollama नावाचा system user तयार करते आणि त्याचे home directory /usr/share/ollama येथे असते. त्यामुळे ही pair येथे साठवली जाते:

/usr/share/ollama/.ollama/id_ed25519
/usr/share/ollama/.ollama/id_ed25519.pub

ही key बाहेरच्या सेवांसाठी वापरली जाते. ollama signin public half तुमच्या ollama.com account शी नोंदवते. Registry वर model push करण्यासाठी किंवा private model pull करण्यासाठी हीच key तुम्हाला authorise करते. ती तुमच्या machine ची ओळख ollama.com कडे सिद्ध करते. तुमच्या machine शी जोडणाऱ्या clients कडून ती काहीही मागत नाही. ती delete करणे, rotate करणे किंवा कधीही तयार न करणे यामुळे तुमचा API कोण वापरू शकतो यावर काहीही परिणाम होत नाही.

दुसरी गोष्ट म्हणजे OLLAMA_API_KEY. या variable मध्ये https://ollama.com/settings/keys येथे तुम्ही तयार केलेली key असते. Hosted API ला https://ollama.com/api येथे call करताना तुमचा client ती Authorization: Bearer $OLLAMA_API_KEY म्हणून पाठवतो. हे त्यांच्या service साठीचे credential आहे आणि client म्हणून तुम्ही ते वापरता. तुमचा स्वतःचा ollama serve incoming requests authenticate करण्यासाठी ते वापरत नाही. तुमच्या VPS वर OLLAMA_API_KEY सेट केल्याने तुमच्या VPS वर password लागू होत नाही.

म्हणून सुरू करण्यासाठी कोणतीही setting नाही. खालील तीनही defences एकाच पद्धतीने कार्य करतात: port पर्यंत पोहोचता येणार नाही याची खात्री करा आणि त्यासमोर request तपासणारी एखादी व्यवस्था ठेवा.

तुमचा सर्व्हर सध्या कोणत्या पत्त्यांवर ऐकत आहे ते तपासा

sudo ss -tlnp | grep 11434

सुरक्षित निकालात loopback address दिसतो:

LISTEN 0  4096  127.0.0.1:11434  0.0.0.0:*  users:(("ollama",pid=812,fd=3))

उघड्या स्थितीच्या निकालात प्रत्येक interface दिसतो:

LISTEN 0  4096  0.0.0.0:11434  0.0.0.0:*  users:(("ollama",pid=812,fd=3))

0.0.0.0 म्हणजे या मशीनवरील सर्व IPv4 addresses, त्यात public address देखील समाविष्ट आहे. *:11434 आणि [::]:11434 हे प्रत्येक IPv6 address वरचे wildcard listeners आहेत. ते IPv4 connections देखील स्वीकारतील की नाही हे socket च्या IPV6_V6ONLY option वर अवलंबून असते. Linux मध्ये हे option default ने बंद असते (net.ipv6.bindv6only=0). त्यामुळे या तिन्हीपैकी कोणताही निकाल exposed मानावा.

आता बाहेरून पडताळणी करा. ही command सर्व्हरवर नव्हे, तर तुमच्या laptop वर चालवा:

curl -m 5 http://YOUR_SERVER_IP:11434/api/version

तुम्हाला curl: (28) Connection timed out after 5001 milliseconds अपेक्षित आहे आणि curl: (7) Failed to connect ... Connection refused देखील स्वीकारार्ह आहे. version field असलेला JSON object म्हणजे विनंती करणाऱ्या कोणालाही संपूर्ण API उपलब्ध आहे. सर्व्हरवरच curl वापरून केलेली चाचणी दुसऱ्या मशीनला तो सर्व्हर उपलब्ध आहे की नाही हे सिद्ध करत नाही. सर्व्हरकडे IPv6 address असल्यास curl -6 -m 5 http://[YOUR_SERVER_IPV6]:11434/api/version वापरून त्याचीही चाचणी करा. IPv4 port बंद आहे यावरून IPv6 listener बद्दल कोणताही निष्कर्ष काढता येत नाही.

Exposure साधारणपणे दोनपैकी एका मार्गाने येते. पहिला मार्ग म्हणजे जाणीवपूर्वक केलेला बदल, कारण दुसऱ्या मशीनला model पर्यंत पोहोचणे आवश्यक होते:

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

ही एक ओळच संपूर्ण exposure निर्माण करते. दुसरा मार्ग Docker आहे. त्यासाठी तुम्हाला कोणतीही configuration edit करण्याची गरज नसते. त्यासाठी खाली स्वतंत्र section आहे.

प्रतिबंध 1: ते localhost वरच ठेवा आणि tunnel द्वारे प्रवेश करा

सर्वप्रथम हा पर्याय वापरा. यासाठी नवीन software आवश्यक नाही आणि leak होऊ शकणारे कोणतेही credential तयार होत नाही. हा port public interface वर कधीच उपलब्ध नसतो, त्यामुळे scanning द्वारे तो शोधता येत नाही.

default वर अवलंबून न राहता bind address स्पष्टपणे सेट करा:

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_HOST=127.0.0.1:11434"

यामुळे /etc/systemd/system/ollama.service.d/override.conf लिहिले जाते. ते लागू करा आणि तपासा:

sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo ss -tlnp | grep 11434

ss मध्ये आता 127.0.0.1:11434 दिसायला हवे. त्याऐवजी अजूनही 0.0.0.0 दिसत असल्यास, दुसरी drop-in file प्राधान्याने लागू होत आहे. unit आणि त्यातील प्रत्येक drop-in चा path पाहण्यासाठी systemctl cat ollama.service चालवा, त्यानंतर जुनी file हटवा.

तुमच्या laptop वरून model वापरण्यासाठी port SSH द्वारे forward करा:

ssh -N -L 11434:127.0.0.1:11434 you@your-server

-L 11434:127.0.0.1:11434 तुमच्या laptop वर port 11434 उघडते आणि तेथे येणाऱ्या सर्व विनंत्या server च्या दृष्टीने 127.0.0.1:11434 कडे पाठवते. -N मुळे SSH remote command चालवत नाही; त्यामुळे process फक्त tunnel सुरू ठेवतो. तो चालू असताना तुमच्या laptop वर हे कार्य करते:

curl -s http://localhost:11434/api/tags

तुम्हाला दोन समस्या येऊ शकतात. bind [127.0.0.1]:11434: Address already in use याचा अर्थ local address आणि port आधीच वापरात आहेत. ते Ollama, दुसरा SSH tunnel किंवा दुसरा program वापरत असू शकतो. त्यामुळे -L 11500:127.0.0.1:11434 वापरून वेगळा local port निवडा आणि तुमच्या client ला 11500 कडे निर्देशित करा. tunnel द्वारे केलेल्या विनंतीला रिकामा प्रतिसाद मिळाल्यास, कोणती service अयशस्वी झाली हे ठरवण्यापूर्वी server वर ss आणि SSH चा error output तपासा.

अनेक client machines साठी प्रत्येक व्यक्तीसाठी स्वतंत्र tunnel करण्यापेक्षा private network अधिक योग्य आहे. machines WireGuard किंवा Tailscale वर जोडा. त्यानंतर Ollama ला 0.0.0.0 ऐवजी त्या network वरील address वर bind करा:

[Service]
Environment="OLLAMA_HOST=10.8.0.1:11434"

त्यानंतर हा port केवळ अशा interface वर उपलब्ध असेल, ज्यात प्रवेश करण्यासाठी key आवश्यक आहे. firewall मधील चुकीच्या नियमापासूनही ही रचना सुरक्षित राहते. एखादा rule चुकून सर्वांसाठी प्रवेश देत असला तरी public interface वर listener उपलब्ध नसल्यामुळे तो बाहेरून उघड करता येत नाही.

Defence 2: bearer token तपासणारा reverse proxy

सार्वजनिक इंटरनेटवरील एखाद्या सेवेला model ला कॉल करणे आवश्यक असेल, तर Ollama loopback वरच ठेवा आणि त्याच्या पुढे proxy ठेवा. Proxy TLS (transport layer security) termination करतो आणि योग्य header नसलेल्या विनंत्या नाकारतो. Ollama अजूनही फक्त 127.0.0.1 कडून येणारी connections स्वीकारतो, त्यामुळे proxy हाच एकमेव प्रवेशमार्ग राहतो.

प्रथम खरा token तयार करा. तो स्वतःहून बनवू नका:

openssl rand -base64 36

तो token तपासणारी nginx site:

map $http_authorization $ollama_ok {
    default                                   0;
    "Bearer PASTE_YOUR_GENERATED_TOKEN_HERE"  1;
}

server {
    listen 443 ssl;
    server_name llm.example.com;

    ssl_certificate     /etc/letsencrypt/live/llm.example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/llm.example.com/privkey.pem;

    location = /api/pull   { return 403; }
    location = /api/delete { return 403; }
    location = /api/push   { return 403; }

    location / {
        if ($ollama_ok = 0) { return 401; }

        proxy_pass http://127.0.0.1:11434;
        proxy_set_header Host 127.0.0.1:11434;
        proxy_buffering off;
        proxy_read_timeout 600s;
    }
}

या configuration मधील पाच ओळी प्रत्यक्ष काम करतात. त्या अन्यथा उद्भवणाऱ्या प्रत्येक failure ला प्रतिबंध करतात.

if चा location block मध्ये वापर करणे nginx मध्ये साधारणपणे चुकीचे असते. मात्र नेमका return असलेला body ही अंदाजे योग्यरीत्या काम करणाऱ्या दोन स्वरूपांपैकी एक आहे. त्यामुळे येथे हा वापर सुरक्षित आहे.

location = /api/pull हा exact match आहे. nginx, location / prefix पेक्षा exact matches ना अधिक प्राधान्य देतो. त्यामुळे token तपासण्यापूर्वीच हे तीन endpoints नाकारले जातात. वैध token मुळे /api/create आणि /api/blobs/:digest यांसह इतर model-management endpoints ला अजूनही प्रवेश मिळतो. त्यामुळे हे तीन blocks प्रत्येक disk write ला प्रतिबंध करत नाहीत.

proxy_set_header Host 127.0.0.1:11434; महत्त्वाचे आहे, कारण Ollama येणारे Host आणि Origin headers तपासतो. Proxy चे public hostname थेट पुढे पाठवल्यास 403 Forbidden तयार होऊ शकते. ते nginx ऐवजी Ollama कडून आलेले असते, त्यामुळे debugging गोंधळात टाकणारे ठरते. Browser client साठी विशिष्ट origin ला परवानगी देणे आवश्यक असल्यास OLLAMA_ORIGINS हा दुसरा नियंत्रणबिंदू आहे.

proxy_buffering off; महत्त्वाचे आहे, कारण Ollama response मधील token एकेक करून stream करतो. Buffering सुरू असल्यास nginx response पुढे पाठवण्यापूर्वी तो buffer मध्ये साठवतो. त्यामुळे streamed tokens मिळण्यास विलंब होतो.

proxy_read_timeout 600s; महत्त्वाचे आहे, कारण nginx चे default मूल्य 60 seconds आहे. हा timer संपूर्ण response साठी नाही, तर Ollama कडून होणाऱ्या सलग दोन reads मधील अंतरासाठी चालतो. Streaming reply मध्ये tokens सतत येत राहिल्यास प्रत्येक वेळी हा timer पुन्हा सुरू होतो. Ollama ने 60 seconds काहीही न पाठवल्यास request timeout होते. उदाहरणार्थ, "stream": false सोबत पाठवलेल्या request मध्ये संपूर्ण उत्तर शेवटी एकाच भागात मिळते, किंवा पहिला token येण्यापूर्वी बराच वेळ शांतता असते. Client ला 504 Gateway Time-out मिळते आणि /var/log/nginx/error.log मध्ये upstream timed out (110: Connection timed out) while reading response header from upstream नोंदवले जाते. Request प्रत्यक्षात सुरू होती. nginx ने तिचे काम थांबवले.

Reload करून दोन्ही मार्गांची चाचणी करा:

sudo nginx -t && sudo systemctl reload nginx
curl -s -o /dev/null -w '%{http_code}\n' https://llm.example.com/api/tags
curl -s -H "Authorization: Bearer YOUR_TOKEN" https://llm.example.com/api/tags

पहिल्या command ने 401 छापले पाहिजे. दुसऱ्या command ने तुमची model list छापली पाहिजे. पहिल्या command नेही model list परत केल्यास request कोणत्या server आणि location ने हाताळली, तसेच reload यशस्वी झाला का, हे तपासा. चुकीच्या scope मधील map block मुळे configuration invalid होते. तो http स्तरावर असणे आवश्यक आहे. त्यामुळे तो /etc/nginx/conf.d/ अंतर्गत असलेल्या file मध्ये किंवा server block च्या वर ठेवा; server च्या आत कधीही ठेवू नका.

Browser client साठी bearer token पेक्षा basic authentication अधिक योग्य ठरू शकते. Caddy हे काम चार ओळींमध्ये करते:

llm.example.com {
	basic_auth {
		apiuser PASTE_BCRYPT_HASH_HERE
	}
	reverse_proxy 127.0.0.1:11434
}

त्याला अपेक्षित असलेला bcrypt hash तयार करण्यासाठी caddy hash-password चालवा. Naming बाबत एक मुद्दा लक्षात घ्या: Caddy v2.8 पूर्वी directive basicauth होती आणि आता basic_auth आहे. Caddy अजूनही जुन्या spelling ला deprecated alias म्हणून स्वीकारते. त्यामुळे जुन्या guide मधून copy केलेली config load होते, पण Caddy basicauth deprecated असल्याचा इशारा देऊन त्याऐवजी basic_auth वापरण्यास सांगते. हा इशारा दिसल्यावर directive चे नाव बदला.

तुम्ही कोणताही proxy निवडला तरी हा सर्व clients साठी एकच shared secret असतो. तो धारण करणाऱ्या प्रत्येक client ला समान access मिळतो. तो रद्द करण्यासाठी config संपादित करून सर्व callers एकाच वेळी update करावे लागतात.

संरक्षण 3: प्रत्येक क्लायंटसाठी key जारी करणारा gateway

एकापेक्षा अधिक व्यक्ती किंवा अॅप्लिकेशनने model ला विनंत्या पाठवायला सुरुवात केली की shared token अपुरा ठरतो. लोड कोणत्या client मुळे निर्माण झाला हे कळत नाही. तसेच सर्व clients बंद केल्याशिवाय त्यांपैकी एकाला स्वतंत्रपणे थांबवता येत नाही. Proxy ज्या ठिकाणी होता, त्याच ठिकाणी gateway ठेवला जातो. तो त्याच OpenAI-compatible API द्वारे संवाद साधतो, प्रत्येक client साठी स्वतंत्र key जारी करतो आणि प्रत्येक key ने केलेल्या वापराची नोंद ठेवतो. Self-hosted LiteLLM gateway हा यासाठी नेहमीचा पर्याय आहे. Access control व्यतिरिक्त तो प्रत्येक key साठी budgets आणि request logs उपलब्ध करून देतो.

Defence 1 मधील नियम बदलत नाही. Ollama 127.0.0.1 ला bind होते, त्याच्याशी संवाद साधणारी एकमेव प्रक्रिया gateway असते आणि public listener असलेली एकमेव service gateway असते. ज्या मशीनवर port 11434 अजूनही जगासाठी खुला आहे, त्या मशीनवरील gateway केवळ दिखावा ठरतो, कारण callers त्याला सहज वळसा घालून थेट Ollama शी संवाद साधू शकतात.

फायरवॉलमधील अडचण: प्रकाशित container port UFW ला वगळतो

फायरवॉल योग्यरीत्या configure केलेल्या सर्व्हरवरही exposed instances का दिसतात, याचे हे कारण आहे.

UFW (uncomplicated firewall) आपले rules kernel च्या filter table मधील INPUT chain मध्ये लिहितो आणि INPUT host ला स्वतःला उद्देशून असलेले packets हाताळतो. Docker चा -p flag nat table मधील PREROUTING chain मध्ये destination NAT (network address translation) rule लिहितो. Packet कुठे जायचे हे kernel ठरवण्यापूर्वीच हा rule लागू होतो. Routing decision होईपर्यंत destination container च्या address वर बदललेले असते. त्यामुळे packet स्थानिकरित्या deliver न होता forward होतो आणि तो INPUT ऐवजी FORWARD मधून जातो. UFW चे INPUT rules तपासलेच जात नाहीत. त्यामुळे packet फायरवॉलमधून न जाता फायरवॉलला वळसा घालतो.

म्हणून खालील sequence मुळे port 11434 इंटरनेटसाठी खुला राहतो:

sudo ufw default deny incoming
sudo ufw enable
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

आणि sudo ufw status default deny सह firewall active असल्याचे दाखवते. दोन्ही निरीक्षणे एकाच वेळी योग्य असतात. लोक चुकीच्या निरीक्षणावर विश्वास ठेवतात, याचे हेच कारण आहे. हे करणारा rule तुम्ही पाहू शकता:

sudo iptables -t nat -L DOCKER -n

याचे निराकरण publish flag मध्ये एक address देऊन करता येते:

docker rm -f ollama
docker run -d -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 --name ollama ollama/ollama

-p 11434:11434 मध्ये कोणताही host address दिलेला नसतो. त्यामुळे Docker हा port प्रत्येक host address वर publish करतो, IPv4 (0.0.0.0) आणि IPv6 ([::]) दोन्हींवर. 127.0.0.1 दिल्यास mapping ची host बाजू loopback शी bind होते. त्यामुळे तुमचा SSH tunnel आणि reverse proxy त्याच्यापर्यंत पोहोचू शकतात, पण इंटरनेट पोहोचू शकत नाही. 28.0.0 पेक्षा जुन्या Docker releases मध्ये एक अपवाद आहे: त्याच network segment वरील machines localhost वर publish केलेल्या ports पर्यंत पोहोचू शकतात. त्यामुळे या संरक्षणावर अवलंबून राहण्यापूर्वी upgrade करा. येथे container पुन्हा तयार करणे सुरक्षित आहे, कारण models container मध्ये नसून named ollama volume मध्ये साठवलेले आहेत.

दोन्ही views एकमेकांशी जुळतात याची खात्री करा:

docker port ollama
sudo ss -tlnp | grep 11434

docker port ollama ने 11434/tcp -> 127.0.0.1:11434 print केले पाहिजे. 0.0.0.0:11434 किंवा [::]:11434 print झाल्यास तुम्ही अजूनही exposed आहात. ही यंत्रणा एकदा समजून घेतल्यावर तुम्ही पुढे publish केलेल्या प्रत्येक container वर ती लागू करता येते: Docker चे published ports UFW ला का वगळतात मध्ये DOCKER-USER chain आणि Docker restart नंतर टिकून राहणारे rules स्पष्ट केले आहेत. Host policy स्वतः अजून तयार करत असाल, तर नवीन VPS साठी आवश्यक UFW rules मध्ये त्याचा आधार दिला आहे. Rocky किंवा AlmaLinux वर configure करण्यासाठी UFW उपलब्ध नाही. त्यामुळे त्याच base policy ची firewalld मधील मांडणी असलेल्या firewalld मध्ये लिहिलेली तीच base policy पासून सुरुवात करा.

प्रक्रिया कोणत्या वापरकर्त्याच्या खात्याने चालू आहे

Linux install script एक स्वतंत्र account तयार करते आणि सेवा त्याच account अंतर्गत चालवते:

useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama

/etc/systemd/system/ollama.service मधील unit नंतर User=ollama आणि Group=ollama सेट करते. त्यात बदल करू नका. टर्मिनलमध्ये हाताने सुरू केलेले तात्पुरते ollama serve तुम्ही login केलेल्या account अंतर्गत चालते. ते account root असल्यास, authentication नसलेले API root म्हणून files लिहिते. ते कोणत्या account अंतर्गत चालू आहे ते तपासा:

ps -o user= -C ollama

उत्तर ollama असावे. यापेक्षा वेगळे काही आढळल्यास, unit सोबत किंवा त्याऐवजी हाताने सुरू केलेली प्रक्रिया चालू आहे. नंतर जोडलेल्या प्रत्येक daemon साठीही हाच विचार लागू होतो आणि किमान विशेषाधिकार असलेल्या वापरकर्त्यांखाली सेवा चालवणे ही बाब योग्य प्रकारे हाताळते.

Ollama API endpoint सुरक्षित आहे का हे कसे तपासावे

तुम्ही कोणतीही पद्धत निवडली असली तरी एक चाचणी निश्चित निष्कर्ष देते. ती दुसऱ्या मशीनवरून चालवली पाहिजे:

curl -m 5 http://YOUR_SERVER_IP:11434/api/version
curl -m 5 http://YOUR_SERVER_IP:11434/api/tags

दोन्ही विनंत्यांना timeout यायला हवा किंवा त्या नाकारल्या गेल्या पाहिजेत. तुम्ही proxy उभारला असल्यास, proxy hostname वरील त्याच दोन paths ने credentials शिवाय 401 परत केले पाहिजे आणि credentials दिल्यावर खरा JSON प्रतिसाद दिला पाहिजे.

पोर्ट उघडा असताना केलेल्या विनंत्यांसाठी access log एकदा तपासा:

journalctl -u ollama --since "-30 days" | grep GIN

Ollama प्रत्येक विनंतीसाठी एक ओळ लिहिते आणि client address समाविष्ट करते:

[GIN] 2026/08/12 - 14:01:10 | 200 | 103.965898ms | 127.0.0.1 | POST "/api/generate"

हा address Gin मधील ClientIP() मधून मिळतो. हे X-Forwarded-For आणि X-Real-IP headers देखील trusted proxies कडून आलेले असतील तेव्हा तपासते. त्यामुळे loopback reverse proxy मार्फत आलेल्या विनंतीत public client address दिसू शकतो, जरी Ollama योग्यरित्या 127.0.0.1 वर bind केलेले असले तरी. त्या column मधील public address वरून port 11434 ला थेट access आहे, असे सिद्ध होत नाही. तसेच जुळणाऱ्या log lines नसल्यामुळे कोणीही त्या endpoint पर्यंत पोहोचले नाही, असे सिद्ध होत नाही. Timestamps ची तुलना तुमच्या proxy logs आणि configuration सोबत करा. सध्याची exposure स्थिती तपासण्यासाठी बाहेरील connection test वापरा. Model संबंधी हा भाग तुमच्यासाठी नवीन असल्यास, VPS वर Ollama चालवणे या मार्गदर्शिकेत install, model sizing आणि प्रत्यक्षात कोणते model load होतील हे ठरवणाऱ्या memory limits यांचा समावेश आहे.

FAQ

Ollama कडे API key किंवा password आहे का?

नाही. तुम्ही चालवत असलेल्या server वर कोणत्याही प्रकारचे authentication नाही. अधिकृत documentation नुसार local API साठी authentication आवश्यक नाही. “Ollama API key” म्हणून उल्लेख केलेल्या दोन्ही गोष्टींचा उपयोग वेगळा आहे. /usr/share/ollama/.ollama/ मधील Ed25519 pair तुमच्या machine ची ollama.com कडे ओळख पटवते, त्यामुळे तुम्ही models push करू शकता आणि private models pull करू शकता. OLLAMA_API_KEY हे तुमचा client https://ollama.com/api वरील hosted API कडे पाठवणारे credential आहे. तुमचे स्वतःचे ollama serve incoming clients चे authentication करण्यासाठी यापैकी कोणतीही गोष्ट वापरत नाही. त्यामुळे access control network किंवा समोरील proxy कडून लागू करावे लागते.

Firewall असल्यास OLLAMA_HOST=0.0.0.0 सुरक्षित आहे का?

Firewall त्या listener कडे होणारा access योग्य प्रकारे block करत असेल तरच. 0.0.0.0 म्हणजे listener public interface वर प्रत्यक्ष उपलब्ध आहे. त्यामुळे तो unreachable ठेवण्यासाठी तुम्ही केवळ firewall वर अवलंबून आहात. Docker ने प्रकाशित केलेल्या Ollama port कडे स्वतंत्रपणे लक्ष द्यावे लागते. Docker nat table मध्ये जोडणारा DNAT rule, packet INPUT chain पर्यंत पोहोचण्यापूर्वी लागू होतो. UFW याच chain मध्ये कार्य करते. त्यामुळे packet forward होतो आणि UFW चे INPUT rules तो पाहू शकत नाहीत. 127.0.0.1 किंवा private tunnel address वर bind केल्यास listener public interface वरून काढला जातो. त्यामुळे firewall configuration मधील चुकीमुळे उघड करण्यासाठी काहीही शिल्लक राहत नाही.

माझा Ollama port internet साठी open आहे का हे कसे तपासावे?

Server वर sudo ss -tlnp | grep 11434 चालवा. वेगळ्या machine वरून curl -m 5 http://YOUR_SERVER_IP:11434/api/version चालवा. ss मध्ये 127.0.0.1:11434 दिसणे आणि remote curl timeout होणे, ही अपेक्षित निष्कर्षांची जोडी आहे. ss मध्ये 0.0.0.0:11434 किंवा *:11434 दिसत असताना remote curl JSON परत करत असेल, तर संपूर्ण API reachable आहे. Server वरच curl वापरून केलेल्या चाचणीमुळे दुसरी machine त्याच्यापर्यंत पोहोचू शकते की नाही हे सिद्ध होत नाही.

Port 11434 वरून एखाद्या random port वर हलवला तर चालेल का?

नाही. याचे कारण स्पष्ट करणे आवश्यक आहे. वेगळा port वापरल्याने केवळ एका port चे scan थोडे धीमे होते. Scanners संपूर्ण range तपासतात. तसेच /api/tags कडे केलेल्या एका request मुळे service कोणत्याही port वर उपलब्ध असली तरी तिची ओळख पटते. Port हलवल्याने प्रत्येक client मधील default settings देखील बदलतात आणि पुढे तुमची स्वतःची setup समजून घेणे अधिक कठीण होते. Listener दुसरीकडे हलवण्याऐवजी तो काढून टाकण्यासाठी loopback वर bind करा.

कोणीतरी माझ्या open Ollama पर्यंत पोहोचले. मी काय तपासावे?

सर्वप्रथम ते 127.0.0.1 वर bind करा आणि service restart करा. तपास सुरू करण्यापूर्वी exposure थांबेल. त्यानंतर client addresses, endpoints आणि timestamps तपासण्यासाठी journalctl -u ollama --since "-30 days" | grep GIN चालवा. Gin forwarded client-address headers देखील वाचते. त्यामुळे एखादा address direct access चा पुरावा मानण्यापूर्वी त्यातील नोंदी तुमच्या proxy logs शी तुलना करा. ollama list मधील models ची तुलना तुम्हाला ठेवायच्या असलेल्या models शी करा. /api/pull मध्ये authentication नसते. त्यामुळे तुम्ही pull न केलेला model हा disk usage आणि घटनेचा पुरावा, दोन्ही असतो. df -h वापरून उपलब्ध space तपासा. Default access log मध्ये request metadata नोंदवला जातो. त्यात model name, prompt text किंवा generated answer नोंदवले जात नाही.

हा लेख उपयुक्त होता का?