Ollama API-তে password নেই: port 11434 সুরক্ষিত করুন
Ollama API-তে authentication নেই। port 11434-এ পৌঁছাতে পারলেই যে কেউ model চালাতে, download করতে বা delete করতে পারে। সুরক্ষার 3টি সমাধান জানুন।
Ollama API-তে কোনো password নেই
Ollama API-তে কোনো authentication নেই। Incoming client-এর জন্য কোনো user, password বা API key যাচাই করা হয় না। যে কোনো client 11434 port-এ TCP connection খুলতে পারলে আপনার model তালিকাভুক্ত করতে, চালাতে, নতুন model download করতে এবং আপনার থাকা model মুছে ফেলতে পারে।
Official documentation-এ বিষয়টি স্পষ্টভাবে বলা আছে: “http://localhost:11434-এ local API-এর জন্য authentication প্রয়োজন হয় না।” local শব্দটিই পুরো security model নির্ধারণ করে। Ollama ডিফল্টভাবে 127.0.0.1-এ bind করে। তাই একটি laptop-এ loopback interface-ই access control হিসেবে কাজ করে। ওই listener-কে public address-এ সরিয়ে দিলে access control আর থাকে না, কারণ সেটির বদলে কোনো সুরক্ষা ব্যবস্থা স্থাপিত হয় না।
VPS (virtual private server)-এ বিষয়টি গুরুত্বপূর্ণ হওয়ার কারণ এটাই। ডিফল্ট configuration নিরাপদ। বেশিরভাগ মানুষ প্রথমে listener খুলে দেয়, যাতে দ্বিতীয় একটি machine model ব্যবহার করতে পারে। এই পরিবর্তনটিই একসঙ্গে সব protection সরিয়ে দেয়।
একটি উন্মুক্ত port 11434 কী প্রকাশ করে
প্রতিটি endpoint। এখানে read-only mode বা আলাদা admin port নেই। এগুলোই প্রকৃত request, যেগুলো localhost-এর পরিবর্তে server address-এ পাঠানো হচ্ছে:
# List every model on the box
curl http://SERVER_IP:11434/api/tags
# See what is loaded into memory right now
curl http://SERVER_IP:11434/api/ps
# Run a prompt on your hardware
curl http://SERVER_IP:11434/api/generate -d '{"model":"llama3.2","prompt":"Why is the sky blue?"}'
# Write several gigabytes to your disk
curl http://SERVER_IP:11434/api/pull -d '{"model":"llama3.2"}'
# Remove a model
curl -X DELETE http://SERVER_IP:11434/api/delete -d '{"model":"llama3.2"}'Operator-এর দৃষ্টিতে, চারটি সমস্যা হয়:
- অন্য কেউ আপনার CPU বা GPU ব্যবহার করে inference চালায়। fair-use CPU allowance-সহ plan-এ দীর্ঘ সময়ের load মানে কোনো অপরিচিত ব্যক্তি আপনার allowance ব্যবহার করছে। আপনি একমাত্র caller না হলে VPS-এ AI workload-এর খরচ নিয়ন্ত্রণে রাখা অনেক কঠিন হয়ে যায়।
/api/pullআপনার disk-এ লেখে। Model-এর আকার ভিন্ন হয়; এমনকিllama3.2:1b-এর আকারও 1.3 GB। বারবার pull চললে volume পূর্ণ হয়ে যায়। Disk পূর্ণ হলে শুধু Ollama নয়, server-এর অন্য সব service-ও কাজ করা বন্ধ করে।- Request আপনার process-এর ভেতরে আসে এবং log-এ লেখা হয়। Default log level-এ Ollama শুধু metadata record করে। তাই আপনি endpoint, status, latency এবং client address পান, prompt text পান না। তবুও এটি আপনার server কে ব্যবহার করেছে এবং কী উদ্দেশ্যে ব্যবহার করেছে তার একটি record, যা আপনার journal-এ থেকে যায়। আপনি এটি সংগ্রহ করার সিদ্ধান্ত নেননি।
/api/deletemodel মুছে দেয়। সেগুলো ফিরিয়ে আনতে আবার আপনার নিজের bandwidth ব্যবহার করে download করতে হয়।
এর কোনো কিছুর জন্য exploit প্রয়োজন হয় না। Documented API ঠিক যেভাবে নকশা করা হয়েছে, সেভাবেই কাজ করছে।
Ed25519 key access control নয়
"Ollama API key" খুঁজলে দুটি ভিন্ন বিষয় সামনে আসে। কোনোটিই আপনার server-এর password নয়। এগুলো আলাদা করে বুঝলেই অধিকাংশ বিভ্রান্তি দূর হয়।
প্রথমটি হলো identity key pair। Ollama প্রথমবার চালু হলে একটি Ed25519 key pair তৈরি করে। Linux-এ install script ollama নামে একটি system user তৈরি করে এবং তার home directory /usr/share/ollama-এ রাখে। তাই key pair-টি এখানে থাকে:
/usr/share/ollama/.ollama/id_ed25519
/usr/share/ollama/.ollama/id_ed25519.pubএই key বাইরের দিকে ব্যবহৃত হয়। ollama signin public half-টি আপনার ollama.com account-এর সঙ্গে নিবন্ধন করে। Registry-তে model push করা বা private model pull করার অনুমোদন দিতেও এটি ব্যবহৃত হয়। এটি ollama.com-এর কাছে আপনার machine-এর পরিচয় প্রমাণ করে। আপনার machine-এ সংযোগকারী client-দের কাছ থেকে এটি কিছু যাচাই করে না। এটি মুছে ফেলা, পরিবর্তন করা বা কখনো তৈরি না করলেও কারা আপনার API call করতে পারবে, তা বদলায় না।
দ্বিতীয়টি হলো OLLAMA_API_KEY। এই variable-এ আপনি https://ollama.com/settings/keys-এ তৈরি করা একটি key রাখেন। Hosted API https://ollama.com/api-এ call করার সময় client সেটি Authorization: Bearer $OLLAMA_API_KEY হিসেবে পাঠায়। এটি তাদের service-এর জন্য একটি credential, যা আপনি client হিসেবে ব্যবহার করেন। আপনার নিজস্ব ollama serve incoming request authenticate করতে এটি ব্যবহার করে না। আপনার VPS-এ OLLAMA_API_KEY সেট করলেও VPS-এ password যুক্ত হয় না।
তাই চালু করার মতো কোনো setting নেই। নিচের তিনটি প্রতিরোধব্যবস্থাই একইভাবে কাজ করে: port-টি unreachable রাখুন এবং এর সামনে এমন একটি স্তর বসান, যা request যাচাই করে।
এখন আপনার সার্ভার কোন কোন ঠিকানায় listen করছে তা পরীক্ষা করুন
sudo ss -tlnp | grep 11434নিরাপদ ফলাফলে loopback address দেখা যাবে:
LISTEN 0 4096 127.0.0.1:11434 0.0.0.0:* users:(("ollama",pid=812,fd=3))উন্মুক্ত ফলাফলে প্রতিটি interface-এর নাম দেখা যাবে:
LISTEN 0 4096 0.0.0.0:11434 0.0.0.0:* users:(("ollama",pid=812,fd=3))0.0.0.0 সার্ভারের সব IPv4 address বোঝায়, public address-সহ। *:11434 এবং [::]:11434 হলো প্রতিটি IPv6 address-এ wildcard listener। এগুলো IPv4 connection-ও গ্রহণ করবে কি না, তা socket-এর IPV6_V6ONLY option-এর ওপর নির্ভর করে। Linux ডিফল্টভাবে এটি বন্ধ রাখে (net.ipv6.bindv6only=0)। তাই এই তিনটির যেকোনোটি দেখা গেলে সেটিকে exposed হিসেবে বিবেচনা করুন।
এখন বাইরে থেকে নিশ্চিত করুন। এই command-টি সার্ভারে নয়, আপনার laptop-এ চালান:
curl -m 5 http://YOUR_SERVER_IP:11434/api/versioncurl: (28) Connection timed out after 5001 milliseconds হলো প্রত্যাশিত উত্তর। curl: (7) Failed to connect ... Connection refused-ও একইভাবে গ্রহণযোগ্য। version field-সহ একটি JSON object পাওয়া গেলে বুঝতে হবে, যে কেউ অনুরোধ করলেই সম্পূর্ণ API-তে পৌঁছাতে পারে। সার্ভার নিজে থেকে curl চালিয়ে পরীক্ষা করলে অন্য কোনো machine সার্ভারটিতে পৌঁছাতে পারে কি না, তা প্রমাণ হয় না। সার্ভারে IPv6 address থাকলে curl -6 -m 5 http://[YOUR_SERVER_IPV6]:11434/api/version ব্যবহার করে সেটির বিরুদ্ধেও পরীক্ষা করুন। কারণ IPv4 port বন্ধ থাকলেও IPv6 listener সম্পর্কে কোনো সিদ্ধান্তে আসা যায় না।
সাধারণত দুইভাবে exposure ঘটে। প্রথমটি হলো ইচ্ছাকৃত configuration পরিবর্তন। কেউ model-এ দ্বিতীয় machine থেকে access নেওয়ার প্রয়োজন হলে এমন পরিবর্তন করতে পারে:
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"এই একটি line-ই সম্পূর্ণ exposure তৈরি করে। দ্বিতীয় উপায় হলো Docker। এ ক্ষেত্রে কোনো কিছু edit করার প্রয়োজন হয় না। এর জন্য নিচে আলাদা section রয়েছে।
প্রতিরক্ষা 1: localhost-এ চালিয়ে tunnel-এর মাধ্যমে সংযোগ করুন
এটি প্রথমে ব্যবহার করুন। নতুন কোনো software প্রয়োজন নেই এবং ফাঁস হতে পারে এমন কোনো credential তৈরি হয় না। Port-টি কখনো public interface-এ থাকে না, তাই scanning করে এটি খুঁজে পাওয়া যায় না।
Default-এর ওপর নির্ভর না করে bind address স্পষ্টভাবে নির্ধারণ করুন:
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_HOST=127.0.0.1:11434"এতে /etc/systemd/system/ollama.service.d/override.conf লেখা হয়। এটি প্রয়োগ করে পরীক্ষা করুন:
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo ss -tlnp | grep 11434এখন ss-এ 127.0.0.1:11434 দেখা যাওয়া উচিত। যদি এখনও 0.0.0.0 দেখা যায়, তাহলে দ্বিতীয় একটি drop-in file কার্যকর হচ্ছে। Unit এবং path-সহ সব drop-in-এর তালিকা দেখতে systemctl cat ollama.service চালান, তারপর পুরোনোটি মুছে ফেলুন।
আপনার laptop থেকে model ব্যবহার করতে port-টি SSH-এর মাধ্যমে forward করুন:
ssh -N -L 11434:127.0.0.1:11434 you@your-server-L 11434:127.0.0.1:11434 আপনার laptop-এ port 11434 খোলে এবং সেখানে আসা সবকিছু server-এর দৃষ্টিতে 127.0.0.1:11434-এ পাঠায়। -N SSH-কে remote command চালাতে নিষেধ করে, তাই process-টি শুধু tunnel খোলা রাখে। এটি চলার সময় আপনার laptop-এ নিচেরটি কাজ করবে:
curl -s http://localhost:11434/api/tagsআপনি দুটি সমস্যার সম্মুখীন হতে পারেন। bind [127.0.0.1]:11434: Address already in use-এর অর্থ হলো local address ও port ইতিমধ্যে ব্যবহৃত হচ্ছে। এটি Ollama, অন্য কোনো SSH tunnel বা অন্য program ব্যবহার করতে পারে। তাই -L 11500:127.0.0.1:11434 দিয়ে ভিন্ন local port নির্বাচন করুন এবং client-কে 11500-এ নির্দেশ করুন। Tunnel-এর মাধ্যমে request পাঠালে যদি খালি reply পাওয়া যায়, কোন service ব্যর্থ হয়েছে তা নির্ধারণের আগে server-এ ss এবং SSH-এর error output পরীক্ষা করুন।
একাধিক client machine-এর ক্ষেত্রে প্রত্যেক ব্যক্তির জন্য আলাদা tunnel-এর চেয়ে private network ভালো। Machine-গুলোকে WireGuard বা Tailscale-এ যুক্ত করুন। এরপর 0.0.0.0-এর পরিবর্তে সেই network-এর address-এ Ollama bind করুন:
[Service]
Environment="OLLAMA_HOST=10.8.0.1:11434"তখন port-টি শুধু এমন একটি interface-এ থাকবে, যেখানে যুক্ত হতে key প্রয়োজন। Firewall-এ ভুল rule থাকলেও এটি কার্যকর থাকবে। কারণ public interface-এ listener না থাকলে এমন rule দুর্ঘটনাক্রমে সবার জন্য traffic অনুমোদন করলেও সেটি listener-টিকে প্রকাশ করতে পারবে না।
প্রতিরক্ষা 2: bearer token যাচাই করা একটি reverse proxy
Public Internet-এর কোনো client-কে model-এ request পাঠাতে হলে Ollama-কে loopback-এ চালু রাখুন এবং এর সামনে একটি proxy বসান। Proxy TLS (transport layer security) termination করবে এবং সঠিক header ছাড়া আসা request প্রত্যাখ্যান করবে। Ollama এখনও শুধু 127.0.0.1 থেকে connection গ্রহণ করবে, তাই proxy-ই হবে একমাত্র প্রবেশপথ।
প্রথমে একটি প্রকৃত token তৈরি করুন। নিজে হাতে বানাবেন না:
openssl rand -base64 36যে nginx site এটি যাচাই করে:
map $http_authorization $ollama_ok {
default 0;
"Bearer PASTE_YOUR_GENERATED_TOKEN_HERE" 1;
}
server {
listen 443 ssl;
server_name llm.example.com;
ssl_certificate /etc/letsencrypt/live/llm.example.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/llm.example.com/privkey.pem;
location = /api/pull { return 403; }
location = /api/delete { return 403; }
location = /api/push { return 403; }
location / {
if ($ollama_ok = 0) { return 401; }
proxy_pass http://127.0.0.1:11434;
proxy_set_header Host 127.0.0.1:11434;
proxy_buffering off;
proxy_read_timeout 600s;
}
}এখানে পাঁচটি line কার্যকর কাজ করছে। প্রতিটি line এমন একটি failure প্রতিরোধ করে, যেটি অন্যথায় ঘটত।
if-কে একটি location block-এর ভিতরে ব্যবহার করা nginx-এ সাধারণত ভালো ধারণা নয়। তবে ঠিক return-এর body হলো এমন দুটি form-এর একটি, যেগুলো নির্ভরযোগ্যভাবে কাজ করে। তাই এই ব্যবহার নিরাপদ।
location = /api/pull হলো exact match। nginx location / prefix-এর চেয়ে exact match-কে বেশি অগ্রাধিকার দেয়। তাই token যাচাইয়ের আগেই ওই তিনটি endpoint প্রত্যাখ্যাত হয়। বৈধ token থাকলে /api/create এবং /api/blobs/:digest-সহ অন্যান্য model-management endpoint-এ access পাওয়া যায়। তাই এই তিনটি block সব ধরনের disk write প্রতিরোধ করে না।
proxy_set_header Host 127.0.0.1:11434; গুরুত্বপূর্ণ, কারণ Ollama incoming Host এবং Origin header পরীক্ষা করে। Proxy-এর public hostname সরাসরি পাঠিয়ে দিলে এমন একটি 403 Forbidden তৈরি হতে পারে, যা nginx-এর বদলে Ollama থেকে এসেছে বলে মনে হয়। এতে সমস্যা শনাক্ত করা কঠিন হয়। Browser client-এর জন্য নির্দিষ্ট origin অনুমোদন করতে OLLAMA_ORIGINS হলো অন্য নিয়ন্ত্রণব্যবস্থা।
proxy_buffering off; গুরুত্বপূর্ণ, কারণ Ollama response token ধরে ধরে stream করে। Buffering চালু থাকলে nginx response পাঠানোর আগে সেটি buffer করে। ফলে streamed token পৌঁছাতে দেরি হয়।
proxy_read_timeout 600s; গুরুত্বপূর্ণ, কারণ nginx-এর default মান 60 seconds। এই timer পুরো response-এর জন্য নয়; Ollama থেকে পরপর দুটি read-এর মাঝের সময়ের জন্য চলে। Streaming reply নিয়মিত token পাঠালে প্রতিবার timer reset হয়। কিন্তু Ollama 60 seconds কিছু না পাঠালে timer শেষ হয়। যেমন "stream": false দিয়ে পাঠানো request-এ পুরো answer শেষে একসঙ্গে ফেরত আসে, অথবা প্রথম token আসার আগে দীর্ঘ নীরবতা থাকতে পারে। Client 504 Gateway Time-out পায় এবং /var/log/nginx/error.log-এ upstream timed out (110: Connection timed out) while reading response header from upstream লেখা হয়। Request তখনও চলছিল। nginx সেটি বন্ধ করে দিয়েছে।
Reload করে দুই ধরনের path পরীক্ষা করুন:
sudo nginx -t && sudo systemctl reload nginx
curl -s -o /dev/null -w '%{http_code}\n' https://llm.example.com/api/tags
curl -s -H "Authorization: Bearer YOUR_TOKEN" https://llm.example.com/api/tagsপ্রথমটির output হিসেবে 401 পাওয়ার কথা। দ্বিতীয়টির output হিসেবে আপনার model list পাওয়ার কথা। প্রথমটিও যদি model list ফেরত দেয়, তাহলে কোন server এবং location requestটি পরিচালনা করেছে এবং reload সফল হয়েছে কি না পরীক্ষা করুন। ভুল scope-এ থাকা map block configuration-কে invalid করে। এটি http level-এ থাকতে হয়। তাই /etc/nginx/conf.d/-এর অধীনে থাকা কোনো file-এ অথবা server block-এর উপরে এটি রাখুন; কখনো server-এর ভিতরে রাখবেন না।
Caddy একই কাজ চারটি line-এ basic authentication দিয়ে করতে পারে। Browser client-এর জন্য এটি bearer token-এর চেয়ে বেশি উপযোগী:
llm.example.com {
basic_auth {
apiuser PASTE_BCRYPT_HASH_HERE
}
reverse_proxy 127.0.0.1:11434
}প্রয়োজনীয় bcrypt hash তৈরি করতে caddy hash-password চালান। নামের ক্ষেত্রে একটি বিষয় মনে রাখুন: Caddy v2.8-এর আগে directive-টির নাম ছিল basicauth, আর এখন নাম basic_auth। Caddy এখনও পুরোনো spelling-টিকে deprecated alias হিসেবে গ্রহণ করে। তাই পুরোনো guide থেকে copy করা config load হয়, তবে Caddy সতর্ক করে যে basicauth deprecated এবং এর পরিবর্তে basic_auth ব্যবহার করতে হবে। এই warning দেখলে directive-টির নাম পরিবর্তন করুন।
যে proxy-ই বেছে নিন, এটি সবার জন্য একটি shared secret। এটি থাকা প্রতিটি client একই ধরনের access পায়। Secret revoke করতে config সম্পাদনা করে একই সময়ে প্রতিটি caller update করতে হয়।
প্রতিরক্ষা 3: প্রতি ক্লায়েন্টের জন্য key জারি করে এমন gateway
একাধিক ব্যক্তি বা application model-এ request পাঠালে shared token আর যথেষ্ট থাকে না। কোন client load তৈরি করেছে তা আপনি নির্ধারণ করতে পারবেন না। একজনকে বন্ধ করতে গেলে সবাইকে বন্ধ করতে হবে। Gateway proxy-এর স্থানে বসে, একই OpenAI-compatible API ব্যবহার করে, প্রতিটি client-এর জন্য আলাদা key জারি করে এবং প্রতিটি key কী ব্যবহার করেছে তা record করে। Self-hosted LiteLLM gateway সাধারণত এই কাজের জন্য ব্যবহৃত হয়। এটি access control-এর পাশাপাশি প্রতি-key budget এবং request log যোগ করে।
Defence 1-এর rule পরিবর্তিত হয় না। Ollama 127.0.0.1-এ bind করবে, gateway-ই একমাত্র process হবে যা এর সঙ্গে যোগাযোগ করবে, এবং public listener থাকা একমাত্র service হবে gateway। যে server-এ port 11434 এখনও সবার জন্য খোলা, সেখানে gateway বসানো কার্যত অর্থহীন। কারণ caller-রা সহজেই gateway এড়িয়ে সরাসরি Ollama-তে যেতে পারে।
ফায়ারওয়ালের ফাঁদ: প্রকাশিত container port UFW এড়িয়ে যায়
সঠিকভাবে firewall configure করা থাকা সত্ত্বেও কোনো server-এ exposed instance কেন দেখা যায়, এর কারণ এটাই।
UFW (uncomplicated firewall) তার rule-গুলো kernel-এর filter table-এর INPUT chain-এ লেখে, আর INPUT host নিজেকে লক্ষ্য করে পাঠানো packet পরিচালনা করে। Docker-এর -p flag kernel যে nat table-এর PREROUTING chain packet কোথায় যাবে তা নির্ধারণের আগে সেখানে একটি destination NAT (network address translation) rule লেখে। routing decision নেওয়ার সময়ের মধ্যে destination container-এর address-এ rewrite হয়ে যায়। ফলে packet locally deliver না হয়ে forward হয় এবং INPUT-এর বদলে FORWARD অতিক্রম করে। UFW-এর INPUT rule কখনো পরীক্ষা করা হয় না। তাই packet firewall-এর মধ্য দিয়ে না গিয়ে সেটিকে পাশ কাটিয়ে যায়।
এই কারণে নিচের sequence port 11434-কে Internet-এর জন্য উন্মুক্ত করে দেয়:
sudo ufw default deny incoming
sudo ufw enable
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamaএবং sudo ufw status এখনও default deny সহ firewall active দেখায়। একই সময়ে উভয় ফলাফলই সঠিক। এ কারণেই মানুষ ভুল ফলাফলে আস্থা রাখে। যে rule এটি করেছে, তা দেখা যায়:
sudo iptables -t nat -L DOCKER -nসমাধান হলো publish flag-এ একটি address নির্দিষ্ট করা:
docker rm -f ollama
docker run -d -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 --name ollama ollama/ollama-p 11434:11434-এ কোনো host address দেওয়া নেই। তাই Docker port-টি host-এর সব address-এ প্রকাশ করে, IPv4 (0.0.0.0) এবং IPv6 ([::]) উভয় ক্ষেত্রেই। 127.0.0.1 নির্দিষ্ট করলে mapping-এর host side loopback-এ bind হয়। ফলে আপনার SSH tunnel এবং reverse proxy এটি ব্যবহার করতে পারে, কিন্তু Internet থেকে এটি পৌঁছানো যায় না। 28.0.0-এর আগের Docker release-এ একটি ব্যতিক্রম আছে: একই network segment-এর machine-গুলো localhost-এ প্রকাশিত port-এ পৌঁছাতে পারে। তাই এই সুরক্ষার ওপর নির্ভর করার আগে upgrade করুন। এখানে container পুনরায় তৈরি করা নিরাপদ, কারণ model-গুলো container-এর ভেতরে নয়, named ollama volume-এ থাকে।
উভয় দৃষ্টিভঙ্গি একই ফল দেখাচ্ছে কি না নিশ্চিত করুন:
docker port ollama
sudo ss -tlnp | grep 11434docker port ollama-এর output 11434/tcp -> 127.0.0.1:11434 হওয়া উচিত। যদি 0.0.0.0:11434 বা [::]:11434 দেখা যায়, তবে এখনও exposure রয়েছে। এই mechanism একবার বুঝলে ভবিষ্যতে publish করা প্রতিটি container-এ এটি প্রয়োগ করতে পারবেন: Docker-এর published port কেন UFW এড়িয়ে যায়-এ DOCKER-USER chain এবং Docker restart-এর পরেও টিকে থাকা rule ব্যাখ্যা করা হয়েছে। আপনি যদি এখনও host policy তৈরি করে থাকেন, তাহলে একটি নতুন VPS-এর জন্য প্রয়োজনীয় UFW rule এই ভিত্তি ব্যাখ্যা করে। Rocky বা AlmaLinux-এ configure করার জন্য UFW নেই। তাই firewalld-এ লেখা একই base policy দিয়ে শুরু করুন।
প্রক্রিয়াটি কোন account হিসেবে চলছে
Linux install script একটি dedicated account তৈরি করে এবং service-টি সেই account-এর অধীনে চালায়:
useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama/etc/systemd/system/ollama.service-এর unit-এ এরপর User=ollama এবং Group=ollama সেট করা হয়। এটি পরিবর্তন করবেন না। টার্মিনালে হাতে চালানো একটি দ্রুত ollama serve আপনি যে account হিসেবে লগ ইন করেছেন, সেই account হিসেবে চলে। সেই account যদি root হয়, তাহলে authentication ছাড়া API root হিসেবে file লিখছে। কোনটি ঘটছে তা পরীক্ষা করুন:
ps -o user= -C ollamaউত্তরটি ollama হওয়া উচিত। অন্য যেকোনো ফলাফলের অর্থ হলো unit-এর পাশাপাশি অথবা unit-এর পরিবর্তে হাতে চালানো একটি process চলছে। পরে যোগ করা প্রতিটি daemon-এর ক্ষেত্রেও একই নীতি প্রযোজ্য। least-privilege user হিসেবে service চালানো এই বিষয়টি সঠিকভাবে বাস্তবায়ন করে।
Ollama API endpoint নিরাপদ কি না কীভাবে পরীক্ষা করবেন
আপনি যে পদ্ধতিই বেছে নিন, একটি পরীক্ষা বিষয়টি নিশ্চিত করবে। এই পরীক্ষা অন্য একটি মেশিন থেকে চালাতে হবে:
curl -m 5 http://YOUR_SERVER_IP:11434/api/version
curl -m 5 http://YOUR_SERVER_IP:11434/api/tagsদুটি অনুরোধেরই timeout হওয়া বা প্রত্যাখ্যাত হওয়া উচিত। আপনি proxy তৈরি করলে proxy hostname-এর একই দুটি path credentials ছাড়া 401 ফেরত দেবে। credentials দিলে প্রকৃত JSON ফেরত দেবে।
এরপর port খোলা থাকা অবস্থায় করা অনুরোধগুলোর জন্য একবার access log পড়ুন:
journalctl -u ollama --since "-30 days" | grep GINOllama প্রতি অনুরোধের জন্য একটি করে line লেখে এবং client address অন্তর্ভুক্ত করে:
[GIN] 2026/08/12 - 14:01:10 | 200 | 103.965898ms | 127.0.0.1 | POST "/api/generate"এই address Gin-এর ClientIP() থেকে আসে। এটি trusted proxy-র X-Forwarded-For এবং X-Real-IP header-ও পরীক্ষা করে। তাই loopback reverse proxy-এর মাধ্যমে আসা অনুরোধে public client address দেখা যেতে পারে, যদিও Ollama সঠিকভাবে 127.0.0.1-এ bind করা থাকে। ওই কলামে public address দেখা গেলেই port 11434-এ সরাসরি access প্রমাণ হয় না। আবার মিলে যাওয়া log line না থাকলেও কেউ সেখানে পৌঁছায়নি—এমন প্রমাণ হয় না। Proxy log ও configuration-এর সঙ্গে timestamp মিলিয়ে দেখুন। বর্তমান exposure যাচাই করতে বাইরে থেকে connection test চালান। এই বিষয়ের model অংশটি আপনার কাছে নতুন হলে, VPS-এ Ollama চালানো নিবন্ধে install, model sizing এবং কোন model বাস্তবে load হবে তা নির্ধারণকারী memory limit ব্যাখ্যা করা হয়েছে।
FAQ
Ollama-এর কি API key বা password আছে?
না। আপনি যে server চালান, তাতে কোনো ধরনের authentication নেই, এবং official documentation-এ বলা আছে যে local API-এর জন্য authentication প্রয়োজন হয় না। “Ollama API key” নামে পরিচিত দুটির কাজ সম্পূর্ণ ভিন্ন। /usr/share/ollama/.ollama/-এ থাকা Ed25519 pair আপনার machine-কে ollama.com-এর কাছে প্রমাণ করে, যাতে আপনি model push এবং private model pull করতে পারেন। OLLAMA_API_KEY হলো এমন একটি credential, যা আপনার client https://ollama.com/api-এ থাকা hosted API-তে পাঠায়। আপনার নিজস্ব ollama serve incoming client authenticate করতে কোনোটিই ব্যবহার করে না। তাই access control network অথবা সামনে থাকা proxy থেকে দিতে হবে।
Firewall থাকলে OLLAMA_HOST=0.0.0.0 কি নিরাপদ?
Firewall সেই listener-এ প্রবেশাধিকার সঠিকভাবে বন্ধ করলেই কেবল নিরাপদ। 0.0.0.0-এর অর্থ হলো listener সত্যিই public interface-এ রয়েছে, এবং সেটিকে unreachable রাখতে আপনি একমাত্র firewall-এর ওপর নির্ভর করছেন। Docker-published Ollama port-এর জন্য আলাদা সতর্কতা দরকার। কারণ Docker nat table-এ যে DNAT rule যোগ করে, packet INPUT chain-এ পৌঁছানোর আগেই সেটি কার্যকর হয়, যেখানে UFW কাজ করে। ফলে packet forward হয়ে যায় এবং UFW-এর INPUT rules সেটি দেখতে পায় না। 127.0.0.1 অথবা private tunnel address-এ bind করলে listener public interface থেকে সরে যায়। ফলে firewall-এ ভুল থাকলেও প্রকাশ করার মতো public listener অবশিষ্ট থাকে না।
আমার Ollama port Internet-এর জন্য খোলা কি না কীভাবে পরীক্ষা করব?
Server-এ sudo ss -tlnp | grep 11434 এবং অন্য একটি machine থেকে curl -m 5 http://YOUR_SERVER_IP:11434/api/version চালান। ss-এ 127.0.0.1:11434 দেখা যাচ্ছে এবং remote curl timeout হচ্ছে—আপনি এই দুই ফলই চান। ss-এ 0.0.0.0:11434 অথবা *:11434 দেখা যাচ্ছে, আর remote curl JSON ফেরত দিচ্ছে—এর অর্থ সম্পূর্ণ API reachable। Server নিজে curl দিয়ে পরীক্ষা করলে অন্য কোনো machine সেটিতে পৌঁছাতে পারে কি না, তা প্রমাণ হয় না।
Port 11434 থেকে কোনো random port-এ সরিয়ে দিলেই কি হবে?
না। কারণটি স্পষ্টভাবে বলা দরকার। অন্য port ব্যবহার করলে শুধু একটি নির্দিষ্ট port scan করা ধীর হয়। Scanner পুরো range পরীক্ষা করে, আর /api/tags-এ একটি request service-টিকে শনাক্ত করে, সেটি যে port-এই আসুক না কেন। Port সরালে প্রতিটি client-এর default-ও ভেঙে যায় এবং পরে নিজের setup বোঝা কঠিন হয়। পরিবর্তে loopback-এ bind করুন। এতে listener-কে অন্যত্র সরানো নয়, সরাসরি সরিয়ে দেওয়া হয়।
কেউ আমার খোলা Ollama-তে পৌঁছেছে। কী পরীক্ষা করব?
প্রথমে সেটিকে 127.0.0.1-এ bind করে service restart করুন, যাতে তদন্ত শুরু করার আগেই exposure বন্ধ হয়। এরপর journalctl -u ollama --since "-30 days" | grep GIN চালিয়ে client address, endpoint এবং timestamp পরীক্ষা করুন। Gin forwarded client-address header-ও পড়ে। তাই কোনো address-কে direct access-এর প্রমাণ হিসেবে গণ্য করার আগে সেই entry-গুলো proxy log-এর সঙ্গে তুলনা করুন। ollama list-এর ফল আপনার প্রত্যাশিত model-গুলোর সঙ্গে তুলনা করুন। কারণ /api/pull-এ authentication নেই, এবং আপনার pull না করা কোনো model disk usage ও ঘটনার প্রমাণ—দুই-ই হতে পারে। df -h দিয়ে free space পরীক্ষা করুন। Default access log request metadata রেকর্ড করে, কিন্তু model name, prompt text বা generated answer রেকর্ড করে না।