Ollama API में पासवर्ड नहीं है: port 11434 सुरक्षित करें
Ollama API में authentication नहीं है। port 11434 तक पहुँचने वाला कोई भी व्यक्ति models चला, download और delete कर सकता है। तीन fixes क्रम से जानें।
Ollama API में कोई पासवर्ड नहीं है
Ollama API में कोई authentication नहीं है। आपके द्वारा चलाए जा रहे सर्वर में कहीं भी कोई user, कोई password, कोई key check और कोई allowlist नहीं है। जो कोई भी port 11434 पर TCP connection खोल सकता है, वह आपके models की सूची देख सकता है, उन्हें चला सकता है, नए download कर सकता है और आपके पास मौजूद models को delete कर सकता है।
आधिकारिक documentation इसे स्पष्ट रूप से बताती है: "http://localhost:11434 पर local API को authentication की आवश्यकता नहीं है।" local शब्द ही पूरे security model को दर्शाता है। Ollama डिफ़ॉल्ट रूप से 127.0.0.1 पर bind होता है, इसलिए laptop पर loopback interface ही access control का काम करता है। यदि आप उस listener को public address पर ले जाते हैं, तो access control समाप्त हो जाता है, क्योंकि उसकी जगह कोई अन्य सुरक्षा नहीं ली गई है।
यही कारण है कि VPS (virtual private server) पर यह महत्वपूर्ण है। डिफ़ॉल्ट सेटिंग सुरक्षित है। अधिकांश लोग जो पहला बदलाव करते हैं, यानी listener को खोलना ताकि कोई दूसरी machine model का उपयोग कर सके, वही बदलाव एक बार में सारी सुरक्षा हटा देता है।
ओपन पोर्ट 11434 क्या जानकारी उजागर करता है
हर एक एंडपॉइंट। इसमें कोई read-only मोड नहीं है और न ही कोई अलग एडमिन पोर्ट है। ये वास्तविक अनुरोध हैं, जो localhost के बजाय सीधे सर्वर पते पर भेजे जाते हैं:
# List every model on the box
curl http://SERVER_IP:11434/api/tags
# See what is loaded into memory right now
curl http://SERVER_IP:11434/api/ps
# Run a prompt on your hardware
curl http://SERVER_IP:11434/api/generate -d '{"model":"llama3.2","prompt":"Why is the sky blue?"}'
# Write several gigabytes to your disk
curl http://SERVER_IP:11434/api/pull -d '{"model":"llama3.2"}'
# Remove a model
curl -X DELETE http://SERVER_IP:11434/api/delete -d '{"model":"llama3.2"}'ऑपरेटर के नजरिए से, चार चीजें गलत होती हैं:
- आपका CPU या GPU किसी और के लिए inference चलाता है। fair-use CPU allowance वाले प्लान पर, निरंतर लोड का मतलब है कि आपका allowance कोई अजनबी खर्च कर रहा है, और जब आप एकमात्र उपयोगकर्ता नहीं रह जाते, तो VPS पर AI वर्कलोड लागत को नियंत्रित रखना काफी कठिन हो जाता है।
/api/pullआपकी डिस्क पर लिखता है। मॉडल्स का आकार दो से चालीस गीगाबाइट तक होता है। pulls का एक लूप वॉल्यूम को भर देता है, और डिस्क फुल होने पर केवल Ollama ही नहीं, बल्कि सर्वर पर चल रही अन्य सभी सेवाएं भी बंद हो जाती हैं।- अनुरोध आपकी प्रोसेस के भीतर आते हैं और लॉग हो जाते हैं। डिफ़ॉल्ट लॉग लेवल पर Ollama केवल मेटाडेटा रिकॉर्ड करता है, इसलिए आपको एंडपॉइंट, स्टेटस, लेटेंसी और क्लाइंट का पता मिलता है, प्रॉम्प्ट टेक्स्ट नहीं। यह अभी भी इस बात का रिकॉर्ड है कि आपके सर्वर का उपयोग किसने और किस लिए किया, जो आपके जर्नल में जमा होता रहता है, और आपने इसे इकट्ठा करने का विकल्प नहीं चुना था।
/api/deleteमॉडल्स को हटा देता है। उन्हें वापस पाने का मतलब है अपने बैंडविड्थ का उपयोग करके उन्हें फिर से डाउनलोड करना।
इसके लिए किसी exploit की आवश्यकता नहीं है। यह documented API है जो बिल्कुल वैसे ही काम कर रहा है जैसे इसे डिज़ाइन किया गया है।
Ed25519 key access control नहीं है
"Ollama API key" सर्च करने पर आपको दो अलग-अलग चीजें मिलती हैं। इनमें से कोई भी आपके सर्वर का पासवर्ड नहीं है, और इनके बीच का अंतर समझने से अधिकांश भ्रम दूर हो जाता है।
पहली identity key pair है। Ollama पहली बार चलने पर एक Ed25519 key pair जनरेट करता है। Linux पर, install script ollama नाम का एक system user बनाती है, जिसकी home directory /usr/share/ollama पर होती है, इसलिए यह pair यहाँ स्थित होती है:
/usr/share/ollama/.ollama/id_ed25519
/usr/share/ollama/.ollama/id_ed25519.pubयह key बाहर की ओर संकेत करती है। ollama signin public half को आपके ollama.com अकाउंट के साथ रजिस्टर करता है, और यही वह चीज है जो आपको registry में model push करने या private model pull करने के लिए अधिकृत (authorise) करती है। यह ollama.com के सामने आपकी मशीन की पहचान साबित करती है। यह आपकी मशीन से कनेक्ट होने वाले clients से कुछ नहीं मांगती। इसे delete करने, rotate करने या कभी न बनाने से इस पर कोई फर्क नहीं पड़ता कि आपकी API को कौन कॉल कर सकता है।
दूसरी OLLAMA_API_KEY है। वह variable उस key को रखता है जिसे आप https://ollama.com/settings/keys पर बनाते हैं, और आपका client इसे Authorization: Bearer $OLLAMA_API_KEY के रूप में भेजता है जब वह https://ollama.com/api पर hosted API को कॉल करता है। यह उनकी service के लिए एक credential है, जिसका उपयोग आप client के रूप में करते हैं। आपका अपना ollama serve इसे कभी नहीं पढ़ता। अपने VPS पर OLLAMA_API_KEY सेट करने से आपके VPS पर पासवर्ड नहीं लगता।
इसलिए, चालू करने के लिए कोई setting नहीं है। नीचे दी गई तीनों सुरक्षा प्रणालियाँ एक ही तरह से काम करती हैं: port को unreachable रखें, और उसके सामने कुछ ऐसा रखें जो वास्तव में जाँच (check) करता हो।
जांचें कि आपका सर्वर अभी किस पर listening कर रहा है
sudo ss -tlnp | grep 11434सुरक्षित परिणाम loopback address को दर्शाता है:
LISTEN 0 4096 127.0.0.1:11434 0.0.0.0:* users:(("ollama",pid=812,fd=3))exposed परिणाम हर interface को दर्शाता है:
LISTEN 0 4096 0.0.0.0:11434 0.0.0.0:* users:(("ollama",pid=812,fd=3))0.0.0.0 का अर्थ है बॉक्स पर सभी IPv4 पते, जिसमें public पता भी शामिल है। *:11434 और [::]:11434 हर IPv6 पते पर wildcard listeners हैं। क्या वे IPv4 को भी स्वीकार करते हैं, यह socket के IPV6_V6ONLY विकल्प पर निर्भर करता है, जिसे Linux डिफ़ॉल्ट रूप से बंद (net.ipv6.bindv6only=0) रखता है, इसलिए इन तीनों में से किसी को भी exposed मानें।
अब बाहर से पुष्टि करें। इसे अपने लैपटॉप पर चलाएं, सर्वर पर नहीं:
curl -m 5 http://YOUR_SERVER_IP:11434/api/versioncurl: (28) Connection timed out after 5001 milliseconds वह उत्तर है जो आप चाहते हैं, और curl: (7) Failed to connect ... Connection refused भी वही है। version फ़ील्ड वाला JSON ऑब्जेक्ट यह दर्शाता है कि पूरी API किसी के भी द्वारा एक्सेस की जा सकती है। सर्वर पर ही curl के साथ परीक्षण करने से कुछ साबित नहीं होता, क्योंकि loopback हमेशा उत्तर देता है। यदि सर्वर का IPv6 पता है, तो curl -6 -m 5 http://[YOUR_SERVER_IPV6]:11434/api/version के साथ उसके विरुद्ध परीक्षण दोहराएं, क्योंकि एक बंद IPv4 पोर्ट IPv6 listener के बारे में कुछ नहीं बताता।
Exposure आमतौर पर दो तरीकों में से एक से होता है। पहला एक जानबूझकर किया गया संपादन है, क्योंकि किसी को मॉडल तक पहुँचने के लिए दूसरी मशीन की आवश्यकता थी:
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"वह एक पंक्ति ही पूरी exposure है। दूसरा तरीका Docker है, और यह आपसे कुछ भी संपादित करने के लिए नहीं कहता है। उसका अपना अनुभाग नीचे दिया गया है।
सुरक्षा 1: इसे localhost पर रखें और tunnel का उपयोग करें
सबसे पहले इसी तरीके को अपनाएं। इसमें किसी नए software की आवश्यकता नहीं है और यह ऐसा कोई credential नहीं बनाता जो leak हो सके। port कभी भी public interface पर मौजूद नहीं होता, इसलिए scanning के जरिए इसे ढूंढा नहीं जा सकता।
default पर निर्भर रहने के बजाय bind address को स्पष्ट रूप से set करें:
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_HOST=127.0.0.1:11434"यह /etc/systemd/system/ollama.service.d/override.conf लिखता है। इसे लागू करें और जांचें:
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo ss -tlnp | grep 11434ss में अब 127.0.0.1:11434 दिखना चाहिए। यदि यह अभी भी 0.0.0.0 दिखाता है, तो कोई दूसरा drop-in file प्रभावी हो रहा है। unit और उसके हर drop-in file को उसके path के साथ देखने के लिए systemctl cat ollama.service चलाएं, फिर पुराने file को delete कर दें।
अपने laptop से model का उपयोग करने के लिए, SSH के माध्यम से port forward करें:
ssh -N -L 11434:127.0.0.1:11434 you@your-server-L 11434:127.0.0.1:11434 आपके laptop पर port 11434 खोलता है और वहां आने वाले किसी भी traffic को server के दृष्टिकोण से 127.0.0.1:11434 पर भेज देता है। -N SSH को remote command न चलाने के लिए कहता है, इसलिए process केवल tunnel को खुला रखती है। जब यह चल रहा हो, तो आपके laptop पर यह काम करता है:
curl -s http://localhost:11434/api/tagsआपको दो तरह की विफलताएं मिल सकती हैं। bind [127.0.0.1]:11434: Address already in use का अर्थ है कि आपका laptop उस port पर अपना खुद का Ollama चला रहा है, इसलिए -L 11500:127.0.0.1:11434 के साथ एक अलग local port चुनें और अपने client को 11500 पर point करें। एक tunnel के माध्यम से खाली reply मिलने का मतलब है कि SSH काम कर रहा है और Ollama server side पर listening नहीं कर रहा है, इसलिए SSH command को छूने से पहले वहां ss की जांच करें।
कई client machines के लिए, प्रति व्यक्ति एक tunnel बनाने से बेहतर एक private network है। machines को WireGuard या Tailscale पर रखें, फिर Ollama को 0.0.0.0 के बजाय उस network पर मौजूद उसके address से bind करें:
[Service]
Environment="OLLAMA_HOST=10.8.0.1:11434"इसके बाद port केवल उसी interface पर मौजूद रहता है जिसे join करने के लिए key की आवश्यकता होती है। यह firewall की गलती से भी सुरक्षित रहता है, क्योंकि यदि कोई rule गलती से पूरी दुनिया को access दे भी दे, तो भी वह ऐसे listener को expose नहीं कर सकता जो public interface पर मौजूद ही नहीं है।
सुरक्षा 2: एक reverse proxy जो bearer token की जाँच करता है
जब public internet पर किसी चीज़ को model को call करना हो, तो Ollama को loopback पर रखें और उसके सामने एक proxy लगाएँ। यह proxy TLS (transport layer security) को terminate करता है और सही header के बिना आने वाले requests को अस्वीकार कर देता है। Ollama अभी भी केवल 127.0.0.1 से connections स्वीकार करता है, इसलिए proxy ही अंदर आने का एकमात्र रास्ता है।
सबसे पहले एक वास्तविक token generate करें। इसे हाथ से न बनाएँ:
openssl rand -base64 36एक nginx site जो इसकी जाँच करती है:
map $http_authorization $ollama_ok {
default 0;
"Bearer PASTE_YOUR_GENERATED_TOKEN_HERE" 1;
}
server {
listen 443 ssl;
server_name llm.example.com;
ssl_certificate /etc/letsencrypt/live/llm.example.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/llm.example.com/privkey.pem;
location = /api/pull { return 403; }
location = /api/delete { return 403; }
location = /api/push { return 403; }
location / {
if ($ollama_ok = 0) { return 401; }
proxy_pass http://127.0.0.1:11434;
proxy_set_header Host 127.0.0.1:11434;
proxy_buffering off;
proxy_read_timeout 600s;
}
}वहाँ पाँच पंक्तियाँ वास्तविक काम कर रही हैं, और प्रत्येक एक ऐसी विफलता को रोकती है जिसका सामना आप अन्यथा करते।
nginx में location block के अंदर if का उपयोग करना आमतौर पर एक बुरा विचार है, लेकिन return का body ही उन दो रूपों में से एक है जो पूर्वानुमानित (predictable) व्यवहार करते हैं, इसलिए यह उपयोग सुरक्षित है।
location = /api/pull एक सटीक मिलान (exact match) है, और nginx सटीक मिलान को location / prefix से ऊपर रखता है, इसलिए उन तीन endpoints को token पर विचार करने से पहले ही अस्वीकार कर दिया जाता है। एक वैध token फिर inference की अनुमति देता है, न कि आपकी disk को भरने की क्षमता।
proxy_set_header Host 127.0.0.1:11434; महत्वपूर्ण है क्योंकि Ollama आने वाले Host और Origin headers की जाँच करता है। proxy के public hostname को सीधे पास करने से ऐसा 403 Forbidden उत्पन्न हो सकता है जो nginx के बजाय Ollama से आया हो, जिसे debug करना भ्रमित करने वाला होता है। OLLAMA_ORIGINS दूसरा विकल्प है, उन browser clients के लिए जिन्हें एक विशिष्ट origin की अनुमति चाहिए।
proxy_buffering off; महत्वपूर्ण है क्योंकि Ollama अपनी प्रतिक्रिया को token-दर-token stream करता है। buffering चालू रहने पर, nginx stream को रोक कर रखता है और अंत में एक साथ deliver करता है, जिससे आपका client पूरी generation के दौरान frozen दिखाई देता है।
proxy_read_timeout 600s; महत्वपूर्ण है क्योंकि nginx का डिफ़ॉल्ट समय 60 seconds है, और यह timer Ollama से दो क्रमिक reads के बीच चलता है, न कि पूरी प्रतिक्रिया के दौरान। एक streaming reply जो tokens उत्पन्न करना जारी रखता है, इसे हर बार reset कर देता है। एक request जहाँ Ollama 60 seconds तक कुछ नहीं भेजता, वह इसे ट्रिगर कर देता है, जैसे कि "stream": false के साथ भेजा गया request, जो अंत में पूरा उत्तर एक साथ लौटाता है, या पहला token आने से पहले की लंबी चुप्पी। client को 504 Gateway Time-out मिलता है, और /var/log/nginx/error.log में upstream timed out (110: Connection timed out) while reading response header from upstream record होता है। request अभी भी काम कर रहा था, लेकिन nginx ने उसे छोड़ दिया।
Reload करें और दोनों paths का परीक्षण करें:
sudo nginx -t && sudo systemctl reload nginx
curl -s -o /dev/null -w '%{http_code}\n' https://llm.example.com/api/tags
curl -s -H "Authorization: Bearer YOUR_TOKEN" https://llm.example.com/api/tagsपहले वाले को 401 print करना चाहिए। दूसरे वाले को आपकी model list print करनी चाहिए। यदि पहला वाला भी model list लौटाता है, तो map block गलत scope में है। यह http स्तर पर होना चाहिए, इसलिए इसे /etc/nginx/conf.d/ के अंतर्गत या server block के ऊपर किसी file में रखें, कभी भी server के अंदर नहीं।
Caddy चार पंक्तियों में basic authentication के साथ वही काम करता है, जो browser client के लिए bearer token की तुलना में बेहतर है:
llm.example.com {
basic_auth {
apiuser PASTE_BCRYPT_HASH_HERE
}
reverse_proxy 127.0.0.1:11434
}इसके द्वारा अपेक्षित bcrypt hash उत्पन्न करने के लिए caddy hash-password चलाएँ। एक नामकरण नोट: Caddy v2.8 से पहले directive basicauth था और अब basic_auth है। Caddy अभी भी पुराने spelling को एक deprecated alias के रूप में स्वीकार करता है, इसलिए पुराने guide से copy की गई config load हो जाती है, लेकिन Caddy चेतावनी देता है कि basicauth deprecated है और आपको इसके बजाय basic_auth का उपयोग करने के लिए कहता है। जब आप वह चेतावनी देखें तो इसे rename कर लें।
आप चाहे जो भी proxy चुनें, यह सभी के लिए एक साझा secret है। इसे रखने वाले प्रत्येक client की पहुँच समान होती है, और इसे revoke करने का अर्थ है config को edit करना और एक ही समय में प्रत्येक caller को update करना।
बचाव 3: एक गेटवे जो प्रति क्लाइंट की जारी करता है
जब एक से अधिक व्यक्ति या एप्लिकेशन मॉडल को कॉल करते हैं, तो एक साझा टोकन अपर्याप्त हो जाता है। आप यह नहीं बता सकते कि किस क्लाइंट ने लोड उत्पन्न किया है, और आप उनमें से किसी एक को बाकी सभी को प्रभावित किए बिना ब्लॉक नहीं कर सकते। एक गेटवे उसी स्थान पर स्थित होता है जहाँ प्रॉक्सी थी, यह समान OpenAI-compatible API का उपयोग करता है, प्रति क्लाइंट एक अलग की (key) जारी करता है और प्रत्येक की (key) के उपयोग का रिकॉर्ड रखता है। एक self-hosted LiteLLM gateway इसके लिए सामान्य समाधान है, और यह एक्सेस कंट्रोल के साथ-साथ प्रति-की (per-key) बजट और रिक्वेस्ट लॉग्स की सुविधा भी जोड़ता है।
बचाव 1 का नियम नहीं बदलता है। Ollama को 127.0.0.1 पर बाइंड होना चाहिए, गेटवे एकमात्र ऐसी प्रक्रिया होनी चाहिए जो इससे बात करे, और गेटवे ही एकमात्र ऐसी सर्विस होनी चाहिए जो पब्लिक लिसनर के रूप में कार्य करे। यदि किसी सर्वर पर पोर्ट 11434 अभी भी दुनिया के लिए खुला है, तो वहां गेटवे लगाना केवल दिखावा है, क्योंकि कॉलर आसानी से इसे बायपास कर सकते हैं।
फायरवॉल का जाल: पब्लिश किया गया कंटेनर पोर्ट UFW को बायपास कर देता है
यही कारण है कि उन सर्वर्स पर भी exposed instances मौजूद होते हैं जिनके मालिकों ने फायरवॉल को सही ढंग से कॉन्फ़िगर किया होता है।
UFW (uncomplicated firewall) अपने नियम kernel की INPUT chain और filter table में लिखता है, और INPUT सीधे होस्ट को भेजे गए पैकेट्स को संभालता है। Docker का -p फ्लैग nat table की PREROUTING chain में एक destination NAT (network address translation) नियम लिखता है, जिसे kernel पैकेट के गंतव्य का निर्णय लेने से पहले ही प्रोसेस कर लेता है। जब तक routing का निर्णय लिया जाता है, गंतव्य को पहले ही कंटेनर के पते पर बदला जा चुका होता है, इसलिए पैकेट को स्थानीय रूप से डिलीवर करने के बजाय आगे भेज (forward) दिया जाता है और यह INPUT के बजाय FORWARD से होकर गुजरता है। UFW के INPUT नियमों को कभी चेक ही नहीं किया जाता, इसलिए पैकेट फायरवॉल के अंदर से गुजरने के बजाय उसे बायपास कर देता है।
यही कारण है कि यह क्रम पोर्ट 11434 को इंटरनेट के लिए खुला छोड़ देता है:
sudo ufw default deny incoming
sudo ufw enable
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamaऔर sudo ufw status अभी भी यह रिपोर्ट करता है कि फायरवॉल सक्रिय है और डिफ़ॉल्ट रूप से deny पर सेट है। दोनों ही जानकारियां एक ही समय पर सही हैं, और यही कारण है कि लोग गलत जानकारी पर भरोसा कर लेते हैं। आप उस नियम को देख सकते हैं जिसने ऐसा किया:
sudo iptables -t nat -L DOCKER -nइसका समाधान पब्लिश फ्लैग में एक पता जोड़ना है:
docker rm -f ollama
docker run -d -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 --name ollama ollama/ollama-p 11434:11434 में किसी होस्ट एड्रेस का उल्लेख नहीं है, इसलिए Docker पोर्ट को हर होस्ट एड्रेस पर पब्लिश कर देता है, चाहे वह IPv4 (0.0.0.0) हो या IPv6 ([::])। 127.0.0.1 को निर्दिष्ट करने से मैपिंग का होस्ट-साइड लूपबैक (loopback) से जुड़ जाता है, जिससे आपका SSH टनल और रिवर्स प्रॉक्सी तो इसे एक्सेस कर पाते हैं, लेकिन इंटरनेट नहीं। कंटेनर को फिर से बनाना यहाँ सुरक्षित है क्योंकि मॉडल्स कंटेनर के अंदर नहीं, बल्कि नामित ollama वॉल्यूम में रहते हैं।
पुष्टि करें कि दोनों व्यू एक ही बात कह रहे हैं:
docker port ollama
sudo ss -tlnp | grep 11434docker port ollama को 11434/tcp -> 127.0.0.1:11434 प्रिंट करना चाहिए। यदि यह 0.0.0.0:11434 या [::]:11434 प्रिंट करता है, तो आप अभी भी exposed हैं। इस तंत्र को एक बार समझ लें और यह आपके द्वारा पब्लिश किए जाने वाले हर कंटेनर पर लागू होगा: Docker पब्लिश पोर्ट्स UFW को क्यों बायपास करते हैं लेख DOCKER-USER chain और उन नियमों को कवर करता है जो Docker रीस्टार्ट के बाद भी बने रहते हैं। यदि आप अभी भी होस्ट पॉलिसी बना रहे हैं, तो एक नए VPS के लिए आवश्यक UFW नियम लेख उस आधार को कवर करता है जिस पर यह सब टिका है। Rocky या AlmaLinux पर कॉन्फ़िगर करने के लिए UFW नहीं होता, इसलिए firewalld में लिखी गई समान आधार पॉलिसी से शुरुआत करना बेहतर है।
प्रोसेस किस यूजर के रूप में चल रही है
Linux इंस्टॉल स्क्रिप्ट एक समर्पित अकाउंट बनाती है और सर्विस को उसी के तहत चलाती है:
useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama/etc/systemd/system/ollama.service पर मौजूद यूनिट फिर User=ollama और Group=ollama को सेट करती है। इसे न बदलें। टर्मिनल में हाथ से शुरू की गई एक त्वरित ollama serve उस यूजर के रूप में चलती है जिससे आपने लॉग इन किया है, और यदि वह root है, तो एक अनधिकृत API फाइलों को root के रूप में लिख रही होगी। जाँचें कि यह कौन सा है:
ps -o user= -C ollamaउत्तर ollama होना चाहिए। कुछ और होने का मतलब है कि हाथ से शुरू की गई प्रोसेस यूनिट के साथ या उसकी जगह चल रही है। यही सोच बाद में आपके द्वारा जोड़ी जाने वाली हर डेमन (daemon) पर लागू होती है, और कम से कम विशेषाधिकार वाले यूजर्स के रूप में सर्विस चलाना इसे सही ढंग से समझाता है।
Ollama API endpoint सुरक्षित है या नहीं, यह कैसे जाँचें
आप जो भी विकल्प चुनें, एक परीक्षण इसे स्पष्ट कर देगा, और इसे किसी अन्य मशीन से चलाना होगा:
curl -m 5 http://YOUR_SERVER_IP:11434/api/version
curl -m 5 http://YOUR_SERVER_IP:11434/api/tagsदोनों को time out हो जाना चाहिए या connection refuse होना चाहिए। यदि आपने proxy बनाया है, तो proxy hostname पर उन्हीं दो paths को बिना credentials के 401 return करना चाहिए और credentials के साथ वास्तविक JSON देना चाहिए।
इसके बाद access log को एक बार पढ़ें, क्योंकि यह बताता है कि क्या port खुले रहने के दौरान किसी ने उसे खोजा था:
journalctl -u ollama --since "-30 days" | grep GIN | grep -v 127.0.0.1Ollama प्रत्येक request के लिए एक line लिखता है और उसमें client का address शामिल होता है:
[GIN] 2026/08/12 - 14:01:10 | 200 | 103.965898ms | 127.0.0.1 | POST "/api/generate"एक बार जब Ollama loopback पर bind हो जाता है, तो हर line में 127.0.0.1 दिखना चाहिए, क्योंकि यही वह एकमात्र address है जहाँ से connection आ सकता है। उस column में कोई public address होने का मतलब है कि बाहर से request आई है, और timestamp आपको समय बताता है। उस command से कोई output न मिलना ही वह परिणाम है जो आप चाहते हैं। यदि model का यह पक्ष आपके लिए नया है, तो VPS पर Ollama चलाना में install, model sizing और memory limits की जानकारी दी गई है, जो यह तय करती है कि वास्तव में क्या load होगा।
FAQ
क्या Ollama में कोई API key या password होता है?
नहीं। आपके द्वारा चलाए जाने वाले सर्वर में किसी भी प्रकार का authentication नहीं होता है, और आधिकारिक documentation स्पष्ट करता है कि local API को authentication की आवश्यकता नहीं है। "Ollama API key" कहे जाने वाले दोनों शब्द इसके विपरीत संकेत देते हैं। /usr/share/ollama/.ollama/ में मौजूद Ed25519 pair आपकी मशीन को ollama.com के प्रति प्रमाणित करता है ताकि आप models को push कर सकें और private models को pull कर सकें। OLLAMA_API_KEY एक credential है जिसे आपका client https://ollama.com/api पर स्थित hosted API को भेजता है। आपका अपना ollama serve इनमें से किसी को भी नहीं पढ़ता है, इसलिए access control को network स्तर पर या सामने लगे proxy के माध्यम से लागू करना होगा।
यदि मेरे पास firewall है, तो क्या OLLAMA_HOST=0.0.0.0 सुरक्षित है?
केवल तब तक, जब तक उस box पर कोई अन्य प्रक्रिया firewall rules न लिखे। 0.0.0.0 का अर्थ है कि listener वास्तव में public interface पर मौजूद है, और आप इसे दुर्गम बनाए रखने के लिए केवल firewall पर भरोसा कर रहे हैं। यह भरोसा उस क्षण टूट जाता है जब Docker किसी port को publish करता है, क्योंकि Docker द्वारा nat table में जोड़ी गई DNAT rule का मूल्यांकन उस समय होता है जब packet INPUT chain तक पहुँचता है जहाँ UFW स्थित है; परिणामस्वरूप packet forward हो जाता है और UFW उसे देख ही नहीं पाता। 127.0.0.1 या किसी private tunnel address पर bind करने से listener public interface से हट जाता है, जिससे firewall की गलती होने पर भी expose करने के लिए कुछ नहीं बचता।
मैं यह कैसे जाँचूँ कि मेरा Ollama port internet के लिए खुला है या नहीं?
सर्वर पर sudo ss -tlnp | grep 11434 चलाएँ, और किसी दूसरी मशीन से curl -m 5 http://YOUR_SERVER_IP:11434/api/version चलाएँ। ss में 127.0.0.1:11434 दिखना और remote curl का timeout होना ही वह परिणाम है जो आप चाहते हैं। यदि ss में 0.0.0.0:11434 या *:11434 दिखता है और remote curl JSON लौटाता है, तो इसका मतलब है कि पूरा API पहुँच योग्य है। कभी भी सर्वर पर ही curl के साथ test न करें, क्योंकि loopback पर bind address चाहे जो भी हो, वह हमेशा उत्तर देगा।
क्या मैं port को 11434 से बदलकर किसी random port पर ले जा सकता हूँ?
नहीं, और इसका कारण बताना आवश्यक है। एक अलग port केवल एक single port के scan को धीमा करता है। Scanners पूरी range को scan करते हैं, और /api/tags पर एक request यह पहचान लेती है कि service किस port पर चल रही है। port बदलने से हर client की default setting भी खराब हो जाती है और बाद में आपके अपने setup को समझना कठिन हो जाता है। इसके बजाय loopback पर bind करें, जो listener को relocate करने के बजाय उसे पूरी तरह हटा देता है।
किसी ने मेरे खुले Ollama तक पहुँच प्राप्त कर ली है। मुझे क्या जाँच करनी चाहिए?
सबसे पहले इसे 127.0.0.1 पर bind करें और service को restart करें, ताकि जाँच शुरू करने से पहले exposure रुक जाए। फिर यह देखने के लिए journalctl -u ollama --since "-30 days" | grep GIN | grep -v 127.0.0.1 चलाएँ कि किन बाहरी addresses ने किन endpoints को और कब call किया। ollama list की तुलना उन models से करें जिन्हें आप रखना चाहते थे, क्योंकि /api/pull unauthenticated है और यदि कोई ऐसा model मौजूद है जिसे आपने pull नहीं किया है, तो वह disk space का उपयोग भी है और प्रमाण भी। df -h के साथ free space की जाँच करें। Ollama default log level पर prompt text को record नहीं करता है, इसलिए आपके पास इस बात का record तो होगा कि किसने और किस model के लिए request की, लेकिन यह record नहीं होगा कि क्या generate किया गया।