VPS-এ rootless Podman-এ Ollama চালানোর নিয়ম
নির্দিষ্ট user, lingering ও Quadlet দিয়ে reboot-এর পরও Ollama চালু রাখুন। SELinux label ঠিক করুন এবং port 11434 বন্ধ রেখে SSH tunnel-এ API ব্যবহার করুন।
VPS-এ rootless Podman-এ Ollama চালান
সার্ভারে rootless Podman-এ Ollama চালাতে হলে পাঁচটি বিষয় নিশ্চিত হতে হবে, যেগুলো desktop নির্দেশিকায় বাদ পড়তে পারে। একটি নির্দিষ্ট unprivileged user container-এর মালিক হবে। ওই user-এর জন্য lingering সক্রিয় থাকবে, যাতে আপনি logout করার পরও container চলতে থাকে। একটি Quadlet file container-টিকে systemd-এর কাছে হস্তান্তর করবে, যাতে reboot-এর পর এটি আবার চালু হয়। যেসব distribution-এ SELinux সক্রিয়, সেগুলোতে model directory-তে সঠিক SELinux label থাকবে। API শুধু loopback-এ listen করবে, এবং আপনি এটি SSH (secure shell) tunnel-এর মাধ্যমে ব্যবহার করবেন।
Ollama large language model (LLM)-এর জন্য একটি server। এটি disk-এ model weights সংরক্ষণ করে, সেগুলো memory-তে load করে এবং port 11434-এ HTTP request-এর উত্তর দেয়। এর local API-তে login বা API key প্রয়োজন হয় না। তাই এখানে network-ই একমাত্র access control। Podman কোনো daemon এবং root ছাড়াই container চালায়। ফলে container-এর বাইরে কিছু বেরিয়ে গেলেও সেটি শুরুতে সাধারণ unprivileged user হিসেবেই চলে। আগে runtime comparison পড়তে চাইলে VPS-এ Podman এবং Docker-এর পার্থক্য দেখুন। container পুরোপুরি এড়াতে চাইলে VPS-এ সরাসরি Ollama install করা আরও সংক্ষিপ্ত পদ্ধতি।
Fedora-তে Podman এবং SELinux (security-enhanced Linux) দুটিই default হিসেবে থাকে। নিচের command-গুলো ধরে নেওয়া হয়েছে যে Podman 5 বা তার পরের সংস্করণ চলছে। Quadlet unit-এর জন্য cgroup v2-ও প্রয়োজন, এবং Podman-এর documentation-এ Podman-এর সংস্করণ যাই হোক এটিকে Quadlet-এর requirement হিসেবে উল্লেখ করা হয়েছে। শুরু করার আগে দুটিই পরীক্ষা করুন: প্রথমটির জন্য podman --version এবং দ্বিতীয়টির জন্য podman info | grep -i cgroup চালান। সেখানে cgroupVersion line-এ অবশ্যই v2 লেখা থাকতে হবে। Ubuntu 24.04-এ archive-এর podman package-এর version হলো 4.9.3, যা ওই line-এর চেয়ে পুরোনো। তাই সেখানে আগে version পরীক্ষা করুন।
ল্যাপটপের সংস্করণে সার্ভারের জন্য পরিবর্তন প্রয়োজন
Fedora Magazine 5 August 2026 তারিখে এই stack-এর একটি স্পষ্ট নির্দেশিকা প্রকাশ করেছে: Podman-এর মাধ্যমে Fedora Linux-এ স্থানীয়ভাবে Ollama চালানো, লিখেছেন Yazan Monshed। টুলগুলো নিয়ে শুরু করার জন্য এটি প্রথম ঘণ্টার একটি ভালো নির্দেশিকা। তবে এটি একটি ল্যাপটপকে লক্ষ্য করে লেখা, এবং এর চারটি সিদ্ধান্ত public IP address-যুক্ত মেশিনে ভিন্নভাবে কাজ করে।
- এটি সাধারণ
podman run -dব্যবহার করে container চালু করে। হাতে চালু করা container reboot-এর পরে ফিরে আসে না, কারণ সেটিকে চালু করার কোনো নির্দেশ দেওয়া হয়নি। - এটি পরিবর্তনশীল tag
ollama/ollamaব্যবহার করে। ল্যাপটপে আচরণ পরিবর্তনের দিনটি আপনি বুঝতে পারেন। সার্ভারে প্রথম লক্ষণ দেখা যায়, কোনো script রাতারাতি কাজ করা বন্ধ করে দিয়েছে। - এটি
-p 11434:11434দিয়ে publish করে, যা প্রতিটি interface-এ bind করে। home router-এর পেছনে থাকলে এটি Internet থেকে অপ্রবেশযোগ্য থাকে। VPS-এ এটি password ছাড়া একটি public inference API হয়ে যায়। - এটি আপনার নিজের login user হিসেবে চলে। সার্ভারে container-এর মালিক account-এর অন্য কোনো resource-এর মালিক হওয়া উচিত নয়, যাতে কোনো break-out ঘটলেও তা খালি home directory-তে পৌঁছায়।
যে মেশিনের জন্য এটি লেখা হয়েছিল, তার ক্ষেত্রে এগুলোর কোনোটিই ভুল নয়। প্রতিটি বিষয়ই কেবল তখন পুনর্বিবেচনা করতে হয়, যখন মেশিনটি যেকোনো স্থান থেকে reachable থাকে এবং তার সামনে কেউ বসে থাকে না।
অধিকারহীন ব্যবহারকারী তৈরি করুন এবং subuid পরীক্ষা করুন
Rootless Podman container-এর অভ্যন্তরীণ user ID (UID) host-এর অব্যবহৃত ID-গুলোর একটি ব্লকের সঙ্গে map করে। এই ব্লক /etc/subuid এবং /etc/subgid-এ নির্ধারিত থাকে। Podman single-UID mode-ও সমর্থন করে, তবে এই সেটআপের জন্য subordinate range configure করুন।
sudo dnf install -y podman # or: sudo apt install -y podman
sudo useradd --create-home --shell /bin/bash --comment "Ollama container owner" ollama
sudo passwd --lock ollama
grep ollama /etc/subuid /etc/subgidgrep চালালে দুটি line দেখানোর কথা—প্রতিটি file থেকে একটি করে। প্রতিটি line-এ 65536টি ID-এর একটি range উল্লেখ থাকবে:
/etc/subuid:ollama:100000:65536
/etc/subgid:ollama:100000:65536আপনার শুরুর সংখ্যা ভিন্ন হবে, এবং এটি স্বাভাবিক। grep কোনো output না দিলে useradd কোনো range allocate করেনি। Podman এ ধরনের missing mapping-এর জন্য এই ধরনের message দেখায়:
Error: cannot find UID/GID for user ollama: no subuid ranges found for user "ollama" in /etc/subuidঅন্য কোনো ব্যবহারকারী যে range ব্যবহার করছে না, এমন একটি range assign করুন। এরপর Podman-কে জানান যে তার পুরোনো mapping আর কার্যকর নয়:
sudo usermod --add-subuids 100000-165535 --add-subgids 100000-165535 ollama
sudo -iu ollama podman system migratePassword lock করলে ollama হিসেবে password login বন্ধ হয়; SSH key-এর মতো অন্যান্য authentication method বন্ধ হয় না। আপনার admin user থেকে sudo -iu ollama ব্যবহার করে এই account-এ প্রবেশ করুন।
লগআউটের পরেও service চালু রাখতে lingering সক্রিয় করুন
একজন user-এর systemd instance সাধারণত লগইনের সময় শুরু হয় এবং সর্বশেষ logout-এর পর বন্ধ হয়ে যায়; এর সঙ্গে /run/user/<uid>-ও মুছে যায়। ওই instance পরিচালিত service-গুলো instance বন্ধ হলে থেমে যায়। Lingering user instance-কে কোনো session সংযুক্ত না থাকলেও চালু রাখে।
sudo loginctl enable-linger ollama
loginctl show-user ollama --property=Lingerএতে Linger=yes প্রদর্শিত হওয়ার কথা। Unit তৈরি করার আগে এটি সক্রিয় করুন, যাতে login session ছাড়াই user manager এবং তার runtime directory উপলভ্য থাকে।
আরও একটি ধাপ আছে, যা অনেকেই প্রত্যাশা করেন না। sudo -iu ollama একটি shell দেয়, কিন্তু session bus দেয় না। তাই systemctl --user সঙ্গে সঙ্গে ব্যর্থ হয়:
Failed to connect to bus: $DBUS_SESSION_BUS_ADDRESS and $XDG_RUNTIME_DIR not definedsystemd $XDG_RUNTIME_DIR/bus-এ user bus খোঁজে, কিন্তু sudo -i ওই variable সেট করে না। এই service পরিচালনার জন্য ব্যবহৃত প্রতিটি admin shell-এ এটি হাতে সেট করুন:
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user statusমডেল blob কোথায় সংরক্ষিত হয় এবং কতটা disk space পরিকল্পনা করবেন
Ollama container-এর ভেতরে /root/.ollama/models-এ weights লেখে। ব্যবহারকারীর home directory থেকে ওই path-এ একটি directory bind করুন। তাহলে ফাইলগুলো এমন একটি জায়গায় থাকবে যার আকার মাপা যায়: /home/ollama/ollama-data/models। Blob-গুলো content-addressed file হিসেবে models/blobs-এ থাকে, আর models/manifests-এ সেগুলোর নাম ধারণকারী ছোট index থাকে। এর পরিবর্তে named volume ব্যবহার করলে, Fedora Magazine-এর post-এ যেমন করা হয়েছে, একই tree /home/ollama/.local/share/containers/storage/volumes/<volume>/_data-এর অধীনে থাকবে। উভয় ক্ষেত্রেই ollama pull এবং ollama run একই tree-তে weights লেখে। দুটি command-এর মধ্যে পার্থক্য শুধু এটুকু: download শেষ হলে একটি chat session চালু হবে কি না।
কোনো কিছু pull করার আগে disk space নির্ধারণ করুন। প্রকাশিত download size সম্ভাব্য সর্বনিম্ন প্রয়োজন দেখায়।
এই চার্টের পেছনের ডেটা
[
{
"label": "gemma3:4b",
"download_gb": 3.4
},
{
"label": "mistral:7b",
"download_gb": 4.4
},
{
"label": "qwen3:8b",
"download_gb": 5.2
},
{
"label": "gemma3:12b",
"download_gb": 8.2
},
{
"label": "qwen3:14b",
"download_gb": 9.3
},
{
"label": "gemma3:27b",
"download_gb": 17
},
{
"label": "qwen3:30b",
"download_gb": 19
}
]এখানে থাকা 7টি row হলো ollama.com/library-এ প্রকাশিত তথ্যের ভিত্তিতে তৈরি; disk-এ মাপা size নয়। এখানে সবচেয়ে ছোট tag, gemma3:4b, download করলে 3.4 GB জায়গা নেয়। সবচেয়ে বড় tag, qwen3:30b, download করলে 19 GB জায়গা নেয়। Container image-টি Podman-এর নিজস্ব storage-এ এর অতিরিক্ত জায়গা নেয়। তাই podman system df এবং df -h /home ব্যবহার করে উভয় size একসঙ্গে পরীক্ষা করুন। ভালো performance-এর জন্য model-এর file size-এর সমান RAM এবং context window-এর জন্য অতিরিক্ত জায়গা পরিকল্পনা করুন। Physical RAM কোনো কঠোর সীমা নয়: disk-backed memory mapping বা পর্যাপ্ত swap থাকলে 16 GB VPS-এ 19 GB model চালানো সম্ভব, তবে performance কমে যাবে।
ইমেজ tag নির্দিষ্ট করুন এবং সম্পূর্ণ registry name ব্যবহার করুন
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
mkdir -p ~/ollama-data ~/.config/containers/systemd
podman pull docker.io/ollama/ollama:0.32.9একটি released version tag ব্যবহার করুন, যেমন August 2026 অনুযায়ী 0.32.9; latest ব্যবহার করবেন না। এরপর আরও নতুন release এসেছে: 30 October 2026-এ Docker Hub-এর সর্বশেষ plain version tag হলো 0.40.13। তাই tags page পরীক্ষা করে pull command এবং Image= line—উভয় ক্ষেত্রেই বর্তমান release ব্যবহার করুন। নির্দিষ্ট version tag ব্যবহার করলে আপনার বেছে না নেওয়া release server-এ চলে আসতে পারে না। ফলে আচরণে পরিবর্তন হলে সাধারণত সেটি আপনার করা পরিবর্তনের ফল। তবে tag এখনও একটি pointer, fingerprint নয়। একই name-এর অধীনে কেউ আবার push করলে registry tag-টিকে অন্য image-এ সরিয়ে দিতে পারে। শুধু digest স্থির থাকে। Podman Image=-এ যেকোনো একটি form গ্রহণ করে। 04:00-এ restart-এর সময় পরীক্ষিত binary-ই চালাতে হলে pull-এর পরে podman images --digests docker.io/ollama/ollama চালান এবং এর পরিবর্তে Image=docker.io/ollama/ollama@sha256:<digest> লিখুন। একই version-এর জন্য Docker Hub -rc এবং -rocm tag-ও প্রকাশ করে। আপনার AMD GPU না থাকলে plain tag ব্যবহার করুন।
Registry host-ও লিখুন। Fedora-তে systemd unit-এর মধ্যে short name ব্যবহার করলে prompt দেখানোর জন্য কোনো terminal থাকে না। ফলে unit ব্যর্থ হয়ে নিচের বার্তাটি দেখায়:
Error: short-name "ollama/ollama" did not resolve to an alias and no unqualified-search registries are definedআগে হাতে pull করা বাধ্যতামূলক নয়, তবে এটি উপকারী। এতে কয়েক gigabyte-এর download unit-এর start timeout-এর বাইরে সম্পন্ন হয়।
রিবুটের পরেও সচল থাকা Quadlet unit
Quadlet হলো Podman-এর systemd generator। আপনি একটি .container ফাইল লিখবেন, systemd boot-এর সময় সেটিকে একটি service-এ রূপান্তর করবে, এবং podman generate systemd আর প্রয়োজন হবে না। এই ফাইলটি /home/ollama/.config/containers/systemd/ollama.container হিসেবে সংরক্ষণ করুন এবং এর মালিক হিসেবে ollama user নির্ধারণ করুন।
[Unit]
Description=Ollama API (rootless)
After=network-online.target
Wants=network-online.target
[Container]
Image=docker.io/ollama/ollama:0.32.9
ContainerName=ollama
PublishPort=127.0.0.1:11434:11434
Volume=/home/ollama/ollama-data:/root/.ollama:Z
Environment=OLLAMA_KEEP_ALIVE=30m
Environment=OLLAMA_MAX_LOADED_MODELS=1
[Service]
Restart=always
TimeoutStartSec=900
[Install]
WantedBy=default.targetফাইলের নাম service-এর নাম নির্ধারণ করে, তাই ollama.container হয়ে যায় ollama.service।
systemctl --user daemon-reload
systemctl --user start ollama.service
systemctl --user status ollama.servicestatus-এ active (running) দেখানো উচিত। systemctl --user enable ollama.service চালাবেন না। এই unit ডিস্কে file হিসেবে থাকে না, তাই systemd তা প্রত্যাখ্যান করে:
Failed to enable unit: Unit file /run/user/1001/systemd/generator/ollama.service is transient or generated.[Install] section ইতিমধ্যেই এই কাজটি করে। Quadlet daemon-reload-এর সময় নিজেই boot-এ start করার link তৈরি করে। তাই ওই command ঐচ্ছিক নয়। প্রথমবার start করার সময় image pull করতে হলে TimeoutStartSec=900 প্রয়োজন, কারণ বহু-gigabyte download-এর জন্য default 90 seconds যথেষ্ট নয় এবং systemd start-কে failed হিসেবে বন্ধ করে দেবে। OLLAMA_KEEP_ALIVE=30m request-গুলোর মাঝখানে একটি model memory-তে ধরে রাখে, পাঁচ মিনিট পর সেটিকে unload করে না। এর বিনিময়ে যে trade-off হয়, তা Ollama model memory-তে loaded রাখা-এ ব্যাখ্যা করা হয়েছে। এখানে systemd-এর কোনো শব্দ নতুন হলে VPS-এ systemd service ও timer কীভাবে কাজ করে-এ unit সম্পর্কে ব্যাখ্যা আছে।
SELinux-এর অধীনে model directory-তে permission denied কেন দেখা যায়
Fedora, RHEL, Rocky এবং AlmaLinux-এ ডিফল্টভাবে SELinux enforcing অবস্থায় থাকে। একটি container process container_t domain-এ চলে, আর কোনো user-এর home directory-এর directory-তে user_home_t label থাকে। Policy এই দুটিকে একে অপরের সঙ্গে কাজ করতে দেয় না। তাই Ollama তার model tree তৈরি করতে পারে না এবং container বন্ধ হয়ে যায়। এই সিস্টেমগুলোতে getenforce চালালে Enforcing দেখা যায়, এবং denial-টি রেকর্ড হয়:
sudo ausearch -m avc -ts recentআপনি domain এবং target label-এর নামসহ একটি line দেখতে পাবেন:
avc: denied { write } for pid=1842 comm="ollama" name="models" dev="vda1" ino=131077 scontext=system_u:system_r:container_t:s0:c214,c827 tcontext=unconfined_u:object_r:user_home_t:s0 tclass=dir permlisted=0Volume= line-এর শেষে থাকা :Z-ই সমাধান। এটি host directory-টিকে container_file_t label দেয় এবং একটি private MCS (multi-category security) category যুক্ত করে, যা শুধু এই container-ই বহন করে। এর বিপরীতে ছোট হাতের :z shared label ব্যবহার করে। দুটি container একই directory পড়লে এটিই প্রয়োজন।
:Z সম্পর্কে একটি সতর্কতা মনে রাখুন, কারণ এটি ধ্বংসাত্মক এবং নীরবে কাজ করে। Relabelling recursive। এটিকে /home/ollama-এর দিকে নির্দেশ করলে ওই home directory-এর প্রতিটি file relabelled হয়। ফলে সেই user-এর SSH key access নষ্ট হয়। তাই :Z-কে সবসময় এমন একটি dedicated subdirectory দিন, যেখানে অন্য কোনো file নেই। Named volume-এর জন্য এটি প্রয়োজন হয় না, কারণ Podman volume তৈরি করার সময় সঠিকভাবে label করে। আরও বিস্তৃত ধারণার জন্য server-এর জন্য SELinux-এর মৌলিক বিষয় contexts এবং booleans ব্যাখ্যা করে। Ubuntu এবং Debian-এ এর পরিবর্তে AppArmor ব্যবহৃত হয়। সেখানে :Z কোনো কাজ করে না, এবং unit-এ এটি রেখে দিলেও সমস্যা নেই।
11434 port বন্ধ করুন এবং SSH-এর মাধ্যমে API-তে সংযোগ করুন
PublishPort=127.0.0.1:11434:11434 host side-কে loopback-এ bind করে। এটি নিশ্চিত করুন:
ss -ltnp | grep 11434
curl http://127.0.0.1:11434ss-এর output-এ 127.0.0.1:11434 এবং curl-এর উত্তরে Ollama is running দেখা যেতে হবে। ss-এ 0.0.0.0:11434 বা *:11434 দেখা গেলে port-টি সব interface-এ listening করছে। এরপর Internet থেকে এতে পৌঁছানো যাবে কি না, তা আপনার firewall rule এবং server-এর সামনের network-এর ওপর নির্ভর করে। তাই wildcard listener স্বয়ংক্রিয়ভাবে Internet-এ exposed হয় না। তবে এর ওপর নির্ভর করবেন না: Ubuntu-এর documentation অনুযায়ী, ufw প্রাথমিকভাবে default অবস্থায় disabled থাকে। Firewall rule-ও সঠিক অবস্থায় রাখতে হয়। শুরুতেই bind address ঠিক করুন, যাতে port-টি কখনো publicভাবে listening না করে।
কোন side-এ bind করছেন, তা সঠিকভাবে নির্ধারণ করুন। PublishPort-এর address হলো host address। Container-এর ভিতরে Ollama-কে সব interface-এ listening অবস্থায় রাখতে হবে, কারণ এটিই image-এর default। Environment=OLLAMA_HOST=127.0.0.1 সেট করলে Ollama container-এর নিজস্ব loopback-এ bind হবে। Podman তার বদলে published traffic container-এর network address-এ forward করে। ফলে host থেকেও প্রতিটি request refused হবে।
11434 খোলা রাখলে দুটি সমস্যা হয়। Ollama-তে authentication নেই। তাই port-এ পৌঁছাতে পারে এমন যে কেউ /api/tags ব্যবহার করে আপনার model-এর তালিকা দেখতে, /api/generate ব্যবহার করে CPU ও bandwidth allowance খরচ করে inference চালাতে, disk-এ নতুন model pull করতে এবং আপনার থাকা model মুছে ফেলতে পারে। দ্বিতীয়ত, remote port-এ plain HTTP ব্যবহার করলে prompt ও completion cleartext-এ পাঠানো হয়। ফলে পথের প্রতিটি machine সেগুলো পড়তে পারে। Port কখনো server-এর বাইরে না গেলে দুটি সমস্যাই দূর হয়।
আপনার workstation থেকে SSH-এর মাধ্যমে port forward করুন:
ssh -N -L 11434:127.0.0.1:11434 you@vps.example.comএখন আপনার laptop-এর http://127.0.0.1:11434 হলো SSH session-এর encryption-এর ভিতর থাকা server-এর Ollama। আপনার laptop-এ Ollama আগে থেকেই চললে local bind bind [127.0.0.1]:11434: Address already in use-সহ ব্যর্থ হবে। সে ক্ষেত্রে -L 11435:127.0.0.1:11434 ব্যবহার করুন এবং আপনার client-কে 11435-এ নির্দেশ করুন।
Browser client-এর প্রয়োজন হলে সামনে password-সহ একটি reverse proxy বসান। Caddy site block সংক্ষিপ্ত, এবং caddy hash-password প্রয়োজনীয় bcrypt hash দেখায়:
ollama.example.com {
basic_auth {
you $2a$14$replace_with_the_generated_hash
}
reverse_proxy 127.0.0.1:11434
}Caddy নিজেই TLS (transport layer security)-এর মাধ্যমে certificate সংগ্রহ করে, তাই traffic encrypted থাকে। আগে আপনার client পরীক্ষা করুন। যে client Authorization header পাঠাতে পারে না, সেটি bare 401 Unauthorized-সহ basic auth-এর বিরুদ্ধে ব্যর্থ হবে। SSH tunnel-এ এই সমস্যা নেই। তাই এখানে এটিই default recommendation।
একটি model pull করে সম্পূর্ণ path পরীক্ষা করুন
podman exec -it ollama ollama pull gemma3:4b
curl -s http://127.0.0.1:11434/api/tags
curl -s http://127.0.0.1:11434/api/generate -d '{"model":"gemma3:4b","prompt":"Reply with the single word: ready","stream":false}'
du -sh ~/ollama-data/models/api/tags gemma3:4b তালিকাভুক্ত JSON ফেরত দেয়। Disk থেকে weights load হওয়ার সময় কিছুক্ষণ বিরতির পর /api/generate একটি response field-সহ JSON object ফেরত দেয়। du-এর ফলাফলে প্রকাশিত download size-এর কাছাকাছি একটি সংখ্যা থাকা উচিত। এরপর এই সম্পূর্ণ guide-এর মূল বিষয়টি প্রমাণ করুন:
sudo reboot
# reconnect, then:
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user is-active ollama.serviceactive-এর অর্থ হলো lingering; [Install] section এবং daemon-reload—দুটিই তাদের কাজ সম্পন্ন করেছে। এটি inactive report করলে প্রথমে ওই তিনটি পরীক্ষা করুন। এরপর startup error-এর জন্য journalctl --user -u ollama.service পরীক্ষা করুন।
যে ব্যর্থতার ধরনগুলো দেখা যেতে পারে
Reboot-এর পরে container আর নেই। প্রথমে loginctl show-user ollama --property=Linger পরীক্ষা করুন, কারণ Linger=yes ছাড়া ব্যবহারকারীর systemd instance boot-এর সময় কখনো শুরু হয় না। lingering চালু থাকলে .container ফাইলের [Install] section পরীক্ষা করুন, systemctl --user daemon-reload চালান এবং startup error-এর জন্য journalctl --user -u ollama.service পরিদর্শন করুন।
Error: statfs /home/ollama/ollama-data: no such file or directory। container শুরু হওয়ার আগে bind mount-এর source অবশ্যই থাকতে হবে। Podman আপনার হয়ে host directory তৈরি করে না। ollama user হিসেবে mkdir -p ~/ollama-data চালান।
90 seconds পরে start ব্যর্থ হয়। image pull তখনও চলছিল বলে journalctl --user -u ollama.service-এ Start operation timed out. Terminating. দেখা যায়। হাতে pull করুন, অথবা TimeoutStartSec=900 রেখে দিন।
Container শুরু হয়ে exit করে। এটি SELinux label-সংক্রান্ত সমস্যা কি না, তা podman logs ollama এবং sudo ausearch -m avc -ts recent একসঙ্গে জানায়। container_t ও user_home_t-এর নাম উল্লেখ করা একটি AVC বার্তার অর্থ হলো :Z অনুপস্থিত।
Host থেকে request প্রত্যাখ্যাত হয়। service active-সহ curl: (7) Failed to connect to 127.0.0.1 port 11434: Connection refused সাধারণত বোঝায় যে OLLAMA_HOST container-এর ভেতরে একটি loopback address-এ সেট করা হয়েছে। ওই line সরিয়ে দিন।
Generation খুব ধীর, অথবা container kill হয়ে যায়। GPU না থাকলে inference CPU-তে চলে এবং বড় model স্বাভাবিকভাবেই ধীর হয়। Model physical RAM-এ না ধরলে disk-backed memory mapping বা swap inference আরও ধীর করে। Log-এ signal: killed থাকা অবস্থায় কোনো container request চলাকালে বন্ধ হয়ে গেলে এর কারণ পরীক্ষা করতে হবে; kernel log out-of-memory kill নিশ্চিত করলে উপরের chart থেকে ছোট tag বেছে নিন।
একটি pinned image আপডেট করা
Pinning করলে update আপনার নিয়ন্ত্রণে থাকে; হঠাৎ করে নিজে থেকে ঘটে না। ollama.container-এর মধ্যে থাকা Image= সম্পাদনা করুন। এরপর reload এবং restart করুন:
systemctl --user daemon-reload
systemctl --user restart ollama.service
podman exec ollama ollama --versionModel bind mount-এ থাকে। তাই image পরিবর্তন হলেও সেগুলো অপরিবর্তিত থাকে। [Container] section-এর AutoUpdate=registry registry-এর বিরুদ্ধে digest পরীক্ষা কনফিগার করে। podman auto-update manually অথবা এর systemd timer-এর মাধ্যমে চালালে পরিবর্তিত image pull করে এবং unit restart করে। এটি moving tag-এর জন্য উপযোগী। Version tag-এর পাশে রাখলে publisher একই tag আবার push করলেই এটি চালু হবে। Pinning যে অনিয়ন্ত্রিত পরিবর্তন ঠেকাতে চায়, এটিই সেই পরিবর্তন। তাই এখানে এটি বন্ধ রাখুন। /home/ollama/ollama-data/models/manifests এবং .container file-এর backup নিন। Blob-গুলো বাদ দিন। এগুলো বড়, এবং নতুন box-এ ollama pull এগুলো আবার fetch করবে।
FAQ
আমার rootless Podman container লগ আউট করলে বন্ধ হয়ে যায় কেন?
কোনো ব্যবহারকারীর শেষ session শেষ হওয়ার পরে সাধারণত সেই ব্যবহারকারীর systemd instance এবং তার /run/user/<uid> directory বন্ধ করে দেওয়া হয়। ফলে ওই instance দ্বারা পরিচালিত service-গুলোও বন্ধ হয়ে যায়। sudo loginctl enable-linger ollama চালান এবং নিশ্চিত করুন যে loginctl show-user ollama --property=Linger, Linger=yes দেখাচ্ছে। Quadlet unit তৈরি করার আগে lingering সক্রিয় করুন, যাতে login session ছাড়াই user manager এবং তার runtime directory উপলভ্য থাকে।
Ollama model directory-তে কি SELinux label প্রয়োজন?
Fedora, RHEL, Rocky এবং AlmaLinux-এ host directory bind mount করলে প্রয়োজন। Container-টি container_t domain-এ চলে, আর home folder-এর directory-তে user_home_t label থাকে। তাই write operation প্রত্যাখ্যাত হয় এবং Ollama বন্ধ হয়ে যায়। Volume= line-এ :Z যুক্ত করুন এবং এর জন্য একটি dedicated subdirectory ব্যবহার করুন। Relabelling recursive হওয়ায় :Z-এ পুরো home directory নির্দিষ্ট করলে ওই ব্যবহারকারীর SSH key access নষ্ট হবে। Podman named volume-এ সঠিক label দেয়, তাই অতিরিক্ত কিছু প্রয়োজন হয় না।
Ollama model-এর জন্য কত disk space প্রয়োজন?
ollama.com/library-এ প্রকাশিত download size দিয়ে হিসাব শুরু করুন। এটি gemma3:4b-এর জন্য 3.4 GB থেকে qwen3:30b-এর জন্য 19 GB পর্যন্ত হতে পারে। এর সঙ্গে Podman image-এর আকার যোগ করুন। অতিরিক্ত disk space রাখুন, কারণ দ্বিতীয় model disk-এ প্রথমটিকে প্রতিস্থাপন করে না। Pull করার আগে df -h /home এবং পরে du -sh ~/ollama-data/models পরীক্ষা করুন। ভালো performance-এর জন্য model file-এর আকারের প্রায় সমান RAM এবং context window-এর জন্য অতিরিক্ত memory পরিকল্পনা করুন। Disk-backed memory mapping অথবা পর্যাপ্ত swap কম physical RAM-এ বড় model চালাতে পারে, তবে performance কমে যাবে।
VPS-এ port 11434 প্রকাশ করা কি নিরাপদ?
না। Ollama কোনো ধরনের authentication ছাড়াই ship হয়। তাই port-এ পৌঁছাতে পারা যে কেউ আপনার model list করতে, সেগুলো মুছে ফেলতে, disk-এ নতুন model pull করতে এবং CPU ও bandwidth allowance ব্যবহার করে inference চালাতে পারে। Internet-এর ওপর plain HTTP ব্যবহার করলে প্রতিটি prompt ও completion cleartext-এ পাঠানো হয়। Host side-টি PublishPort=127.0.0.1:11434:11434 সহ 127.0.0.1-এ bind করুন, ss -ltnp | grep 11434 দিয়ে নিশ্চিত করুন, এবং password প্রয়োজন এমন SSH tunnel অথবা reverse proxy-এর মাধ্যমে এতে সংযোগ করুন।