VPS پر rootless Podman میں Ollama چلانے کا طریقہ
VPS پر rootless Podman کے ذریعے Ollama چلانے کا مکمل طریقہ کار سیکھیں۔ Quadlet یونٹ، lingering کنفیگریشن، SELinux لیبلز اور SSH ٹنلنگ کے ذریعے محفوظ رسائی حاصل کریں۔
VPS پر rootless Podman میں Ollama چلائیں
سرور پر rootless Podman میں Ollama چلانے کے لیے پانچ شرائط پوری ہونا ضروری ہیں جنہیں desktop walkthrough نظر انداز کر سکتا ہے۔ ایک مخصوص غیر مراعات یافتہ user کے پاس container کی ملکیت ہوتی ہے۔ اس user کے لیے lingering فعال ہوتا ہے، اس لیے logout کے بعد بھی container چلتا رہتا ہے۔ ایک Quadlet file container کو systemd کے حوالے کرتی ہے، اس لیے reboot کے بعد یہ دوبارہ شروع ہو جاتا ہے۔ ان distributions پر جو SELinux نافذ کرتی ہیں، model directory پر SELinux label موجود ہوتا ہے۔ API صرف loopback پر listen کرتی ہے، اور آپ SSH (secure shell) tunnel کے ذریعے اس تک پہنچتے ہیں۔
Ollama بڑے لسانی ماڈلز (LLM) کے لیے ایک server ہے۔ یہ model weights کو disk پر محفوظ کرتا ہے، انہیں memory میں load کرتا ہے، اور port 11434 پر HTTP requests کے جوابات دیتا ہے۔ اس کی local API کے لیے login یا API key درکار نہیں، اس لیے یہاں network ہی آپ کو دستیاب واحد access control ہے۔ Podman containers کو daemon اور root کے بغیر چلاتا ہے، اس لیے container سے باہر نکلنے والی کوئی بھی چیز ابتدا میں عام غیر مراعات یافتہ user کے طور پر چلتی ہے۔ اگر آپ پہلے runtime comparison پڑھنا چاہتے ہیں تو VPS پر Podman اور Docker کے فرق دیکھیں۔ اگر آپ containers کو مکمل طور پر نظر انداز کرنا چاہتے ہیں تو VPS پر Ollama براہ راست انسٹال کرنا مختصر راستہ ہے۔
Fedora میں Podman اور SELinux (security-enhanced Linux) دونوں default طور پر شامل ہوتے ہیں۔ درج ذیل commands یہ فرض کرتی ہیں کہ Podman 5 یا اس کے بعد کا ورژن استعمال ہو رہا ہے، اور Quadlet unit کے لیے cgroup v2 بھی درکار ہے۔ Podman کی documentation میں Podman کے ورژن سے قطع نظر اسے Quadlet کی requirement بتایا گیا ہے۔ شروع کرنے سے پہلے دونوں کی تصدیق کریں: پہلے کے لیے podman --version اور دوسرے کے لیے podman info | grep -i cgroup، جہاں cgroupVersion line کا متن v2 ہونا چاہیے۔ Ubuntu 24.04 پر archive کا podman package ورژن 4.9.3 ہے، جو اس line سے پرانا ہے، اس لیے وہاں پہلے version چیک کریں۔
سرور پر لیپ ٹاپ ورژن میں تبدیلیوں کی ضرورت کیوں ہے
Fedora Magazine نے 5 اگست 2026 کو اس اسٹیک پر ایک واضح گائیڈ شائع کی: Running Ollama Locally with Podman on Fedora Linux، جسے Yazan Monshed نے لکھا ہے۔ یہ ان ٹولز کے ساتھ ابتدائی ایک گھنٹے کے تجربے کے لیے بہترین ہے۔ تاہم، یہ ایک لیپ ٹاپ کو ہدف بناتی ہے، اور اس کے چار انتخاب ایک ایسی مشین پر مختلف انداز میں کام کرتے ہیں جس کا IP ایڈریس عوامی (public) ہو۔
- یہ کنٹینر کو ایک سادہ
podman run -dکے ساتھ شروع کرتی ہے۔ ہاتھ سے شروع کیا گیا کنٹینر ریبوٹ کے بعد خود بخود واپس نہیں آتا، کیونکہ اسے شروع کرنے کے لیے کوئی ہدایت نہیں دی گئی ہوتی۔ - یہ متحرک ٹیگ
ollama/ollamaاستعمال کرتی ہے۔ لیپ ٹاپ پر آپ کو اسی دن معلوم ہو جاتا ہے جب رویہ تبدیل ہوتا ہے۔ سرور پر اس کی پہلی علامت ایک ایسی اسکرپٹ ہے جو راتوں رات کام کرنا چھوڑ دیتی ہے۔ - یہ
-p 11434:11434کے ساتھ پبلش کرتی ہے، جو ہر انٹرفیس کو بائنڈ کر دیتا ہے۔ ہوم راؤٹر کے پیچھے یہ انٹرنیٹ سے ناقابل رسائی ہوتا ہے۔ VPS پر یہ بغیر پاس ورڈ کے ایک عوامی inference API بن جاتا ہے۔ - یہ آپ کے اپنے لاگ ان صارف کے طور پر چلتی ہے۔ سرور پر، کنٹینر کی مالک اکاؤنٹ کو کسی اور چیز کا مالک نہیں ہونا چاہیے، تاکہ اگر کوئی بریک آؤٹ ہو تو وہ ایک خالی ہوم ڈائریکٹری تک محدود رہے۔
جس مشین کے لیے یہ لکھا گیا تھا، اس کے لحاظ سے ان میں سے کوئی بھی چیز غلط نہیں ہے۔ ہر آئٹم محض ایک ایسا فیصلہ ہے جس پر آپ اس وقت نظر ثانی کرتے ہیں جب مشین ہر جگہ سے قابل رسائی ہو اور اس کے سامنے کوئی موجود نہ ہو۔
غیر مراعات یافتہ صارف بنائیں اور subuid کی جانچ کریں
Rootless Podman کنٹینر کے داخلی user IDs (UID) کو میزبان پر موجود غیر استعمال شدہ IDs کے ایک بلاک سے map کرتا ہے۔ یہ بلاک /etc/subuid اور /etc/subgid میں بیان کیا جاتا ہے۔ Podman single-UID mode کو بھی سپورٹ کرتا ہے، لیکن اس setup کے لیے subordinate ranges configure کریں۔
sudo dnf install -y podman # or: sudo apt install -y podman
sudo useradd --create-home --shell /bin/bash --comment "Ollama container owner" ollama
sudo passwd --lock ollama
grep ollama /etc/subuid /etc/subgidgrep کو دو lines دکھانی چاہییں، ہر file سے ایک، اور ہر line میں 65536 IDs کی ایک range درج ہونی چاہیے:
/etc/subuid:ollama:100000:65536
/etc/subgid:ollama:100000:65536آپ کا starting number مختلف ہوگا، اور یہ معمول کی بات ہے۔ اگر grep کچھ بھی print نہ کرے تو useradd نے کوئی range allocate نہیں کی۔ Podman missing mapping کی اطلاع اس طرح کے message سے دیتا ہے:
Error: cannot find UID/GID for user ollama: no subuid ranges found for user "ollama" in /etc/subuidایسی range assign کریں جسے کوئی دوسرا user استعمال نہ کر رہا ہو، پھر Podman کو بتائیں کہ اس کی پرانی mapping stale ہے:
sudo usermod --add-subuids 100000-165535 --add-subgids 100000-165535 ollama
sudo -iu ollama podman system migratePassword کو lock کرنے سے ollama کے طور پر password login بند ہو جاتا ہے؛ اس سے SSH keys جیسے دیگر authentication methods بند نہیں ہوتے۔ اپنے admin user سے sudo -iu ollama کے ذریعے اس account تک رسائی حاصل کریں۔
logout کے بعد service کو برقرار رکھنے کے لیے lingering فعال کریں
صارف کا systemd instance عموماً login کے وقت شروع ہوتا ہے اور آخری logout کے بعد رک جاتا ہے، اور /run/user/<uid> بھی اس کے ساتھ حذف ہو جاتا ہے۔ اس instance کے زیر انتظام services اس کے رکنے پر بند ہو جاتی ہیں۔ Lingering صارف کے instance کو کسی session کے منسلک نہ ہونے کے باوجود چلتا رکھتا ہے۔
sudo loginctl enable-linger ollama
loginctl show-user ollama --property=Lingerاس سے Linger=yes ظاہر ہونا چاہیے۔ Unit بنانے سے پہلے اسے فعال کریں، تاکہ user manager اور اس کی runtime directory، login session کے بغیر بھی دستیاب رہیں۔
ایک اور مرحلہ بھی ہے جس کی عموماً توقع نہیں کی جاتی۔ sudo -iu ollama آپ کو shell تو دیتا ہے، لیکن session bus نہیں دیتا؛ اس لیے systemctl --user فوراً ناکام ہو جاتا ہے:
Failed to connect to bus: $DBUS_SESSION_BUS_ADDRESS and $XDG_RUNTIME_DIR not definedsystemd صارف کی bus کو $XDG_RUNTIME_DIR/bus پر تلاش کرتا ہے، جبکہ sudo -i یہ variable set نہیں کرتا۔ ہر اس admin shell میں اسے دستی طور پر set کریں جس میں آپ اس service کا انتظام کرتے ہیں:
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user statusماڈل blobs کہاں محفوظ ہوتے ہیں، اور کتنی disk درکار ہوگی
Ollama weights کو container کے اندر /root/.ollama/models میں لکھتا ہے۔ صارف کی home directory سے کسی directory کو اس path پر bind کریں، تاکہ files ایسی جگہ محفوظ ہوں جس کا سائز ناپا جا سکے: /home/ollama/ollama-data/models۔ Blobs content-addressed files کے طور پر models/blobs میں محفوظ ہوتے ہیں، جبکہ models/manifests میں انہیں نام دینے والا چھوٹا index ہوتا ہے۔ اگر آپ named volume استعمال کریں، جیسا کہ Fedora Magazine کی post میں کیا گیا ہے، تو یہی tree /home/ollama/.local/share/containers/storage/volumes/<volume>/_data کے تحت موجود ہوتی ہے۔ دونوں صورتوں میں ollama pull اور ollama run weights کو اسی tree میں لکھتے ہیں؛ دونوں commands میں فرق صرف یہ ہے کہ download مکمل ہونے کے بعد chat session کھولا جاتا ہے یا نہیں۔
کچھ بھی pull کرنے سے پہلے disk کا سائز مقرر کریں۔ شائع کردہ download sizes کم از کم درکار گنجائش بتاتے ہیں۔
اس چارٹ کے پیچھے کا ڈیٹا
[
{
"label": "gemma3:4b",
"download_gb": 3.4
},
{
"label": "mistral:7b",
"download_gb": 4.4
},
{
"label": "qwen3:8b",
"download_gb": 5.2
},
{
"label": "gemma3:12b",
"download_gb": 8.2
},
{
"label": "qwen3:14b",
"download_gb": 9.3
},
{
"label": "gemma3:27b",
"download_gb": 17
},
{
"label": "qwen3:30b",
"download_gb": 19
}
]تمام 7 rows، ollama.com/library پر شائع کردہ اعداد ہیں؛ یہ disk پر ناپے گئے sizes نہیں ہیں۔ یہاں سب سے چھوٹا tag، gemma3:4b، 3.4 GB download کرتا ہے۔ سب سے بڑا tag، qwen3:30b، 19 GB download کرتا ہے۔ Container image اس کے علاوہ Podman کی اپنی storage میں محفوظ ہوتی ہے، اس لیے podman system df اور df -h /home کے ذریعے دونوں اعداد کو ملا کر دیکھیں۔ بہتر performance کے لیے تقریباً اتنی RAM رکھیں جتنا model کی file size ہو، اور context window کے لیے اضافی گنجائش بھی رکھیں۔ Physical RAM کوئی قطعی حد نہیں ہے: disk-backed memory mapping یا کافی swap کے ذریعے 19 GB کا model، 16 GB کے VPS پر بھی چل سکتا ہے، لیکن performance کم ہوگی۔
image tag کو pin کریں اور مکمل registry نام استعمال کریں
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
mkdir -p ~/ollama-data ~/.config/containers/systemd
podman pull docker.io/ollama/ollama:0.32.9جاری کردہ version tag استعمال کریں، مثلاً اگست 2026 تک 0.32.9، نہ کہ latest۔ اس کے بعد نئی releases جاری ہو چکی ہیں: 30 October 2026 کو Docker Hub پر تازہ ترین plain version tag 0.40.13 ہے۔ اس لیے tags page دیکھیں اور pull command اور Image= line، دونوں میں موجودہ release استعمال کریں۔ Pinned version tag ان releases کو server سے دور رکھتا ہے جنہیں آپ نے منتخب نہیں کیا۔ اس لیے عموماً behaviour میں تبدیلی آپ کی کی ہوئی تبدیلی ہوتی ہے۔ تاہم tag اب بھی pointer ہے، fingerprint نہیں۔ جب کوئی اسی نام کے تحت دوبارہ push کرتا ہے تو registry اسے مختلف image کی طرف منتقل کر دیتی ہے۔ صرف digest مستقل طور پر مقرر ہوتا ہے۔ Podman Image= میں دونوں forms قبول کرتا ہے۔ اگر 04:00 پر ہونے والے restart کو لازماً وہی binary چلانی ہو جسے آپ نے test کیا تھا تو pull کے بعد podman images --digests docker.io/ollama/ollama چلائیں اور اس کے بجائے Image=docker.io/ollama/ollama@sha256:<digest> لکھیں۔ Docker Hub انہی versions کے لیے -rc اور -rocm tags بھی شائع کرتا ہے۔ AMD GPU نہ ہونے کی صورت میں plain tag منتخب کریں۔
registry host بھی لکھیں۔ Fedora پر systemd unit میں short name کے لیے prompt دکھانے والا terminal موجود نہیں ہوتا، اس لیے unit اس error کے ساتھ fail ہو جاتی ہے:
Error: short-name "ollama/ollama" did not resolve to an alias and no unqualified-search registries are definedپہلے دستی طور پر pull کرنا اختیاری ہے، لیکن مفید ہے، کیونکہ اس سے کئی gigabytes کا download unit کے start timeout سے باہر ہو جاتا ہے۔
ریبوٹ کے بعد برقرار رہنے والی Quadlet unit
Quadlet، Podman کا systemd generator ہے۔ آپ ایک .container فائل بناتے ہیں، systemd boot کے وقت اسے service میں تبدیل کر دیتا ہے، اور podman generate systemd کی مزید ضرورت نہیں رہتی۔ اسے /home/ollama/.config/containers/systemd/ollama.container کے طور پر محفوظ کریں، اور اس کا مالک ollama user رکھیں۔
[Unit]
Description=Ollama API (rootless)
After=network-online.target
Wants=network-online.target
[Container]
Image=docker.io/ollama/ollama:0.32.9
ContainerName=ollama
PublishPort=127.0.0.1:11434:11434
Volume=/home/ollama/ollama-data:/root/.ollama:Z
Environment=OLLAMA_KEEP_ALIVE=30m
Environment=OLLAMA_MAX_LOADED_MODELS=1
[Service]
Restart=always
TimeoutStartSec=900
[Install]
WantedBy=default.targetفائل کا نام service کا نام متعین کرتا ہے، اس لیے ollama.container، ollama.service بن جاتا ہے۔
systemctl --user daemon-reload
systemctl --user start ollama.service
systemctl --user status ollama.servicestatus میں active (running) دکھائی دینا چاہیے۔ systemctl --user enable ollama.service نہ چلائیں۔ یہ unit ڈسک پر file کی صورت میں موجود نہیں، اس لیے systemd اسے مسترد کرتا ہے:
Failed to enable unit: Unit file /run/user/1001/systemd/generator/ollama.service is transient or generated.[Install] section پہلے ہی یہ کام انجام دیتا ہے۔ Quadlet، daemon-reload کے دوران خود start-at-boot link بناتا ہے، اسی لیے وہ command اختیاری نہیں ہے۔ TimeoutStartSec=900 پہلی start کو cover کرتا ہے، جس میں image ابھی pull کرنا باقی ہو سکتی ہے، کیونکہ کئی gigabyte کے download کے لیے default 90 seconds کافی نہیں ہوتے اور systemd start کو failed قرار دے کر ختم کر دیتا ہے۔ OLLAMA_KEEP_ALIVE=30m requests کے درمیان model کو memory میں رکھتا ہے، بجائے اس کے کہ پانچ minutes بعد اسے unload کر دے؛ اس کے trade-offs Ollama model کو memory میں loaded رکھنے میں بیان کیے گئے ہیں۔ اگر یہاں systemd کی کوئی اصطلاح نئی ہے تو VPS پر systemd services اور timers کیسے کام کرتے ہیں میں units کی وضاحت موجود ہے۔
SELinux کے تحت ماڈل ڈائریکٹری میں permission denied کیوں آتا ہے
Fedora، RHEL، Rocky اور AlmaLinux پر SELinux بائی ڈیفالٹ نافذ ہوتا ہے۔ ایک کنٹینر پروسیس container_t ڈومین میں چلتا ہے، اور صارف کی ہوم ڈائریکٹری میں موجود ایک ڈائریکٹری پر user_home_t کا لیبل لگا ہوتا ہے۔ پالیسی ایک کو دوسرے تک رسائی کی اجازت نہیں دیتی، اس لیے Ollama اپنا ماڈل ٹری نہیں بنا سکتا اور کنٹینر بند ہو جاتا ہے۔ ان سسٹمز پر getenforce کمانڈ Enforcing پرنٹ کرتی ہے، اور یہ رکاوٹ ریکارڈ ہو جاتی ہے:
sudo ausearch -m avc -ts recentآپ کو ایک لائن نظر آئے گی جس میں ڈومین اور ٹارگٹ لیبل کا نام ہوگا:
avc: denied { write } for pid=1842 comm="ollama" name="models" dev="vda1" ino=131077 scontext=system_u:system_r:container_t:s0:c214,c827 tcontext=unconfined_u:object_r:user_home_t:s0 tclass=dir permlisted=0Volume= لائن کے آخر میں موجود :Z اس کا حل ہے۔ یہ ہوسٹ ڈائریکٹری کو container_file_t پر دوبارہ لیبل کرتا ہے اور اس پر ایک پرائیویٹ MCS (ملٹی کیٹیگری سیکیورٹی) کیٹیگری کی مہر لگاتا ہے جو صرف اسی کنٹینر کے پاس ہوتی ہے۔ چھوٹے حروف والا :z اس کے بجائے ایک مشترکہ لیبل استعمال کرتا ہے، جو اس وقت درکار ہوتا ہے جب دو کنٹینرز ایک ہی ڈائریکٹری کو پڑھ رہے ہوں۔
:Z کے بارے میں ایک انتباہ، کیونکہ یہ عمل تباہ کن اور خاموش ہے۔ دوبارہ لیبلنگ (Relabelling) ریکرسیو ہوتی ہے۔ اگر آپ اسے /home/ollama کی طرف اشارہ کریں گے تو اس ہوم ڈائریکٹری کی ہر فائل دوبارہ لیبل ہو جائے گی، جس سے اس صارف کی SSH کی رسائی ختم ہو جائے گی۔ ہمیشہ :Z کو ایک مخصوص سب ڈائریکٹری دیں جس میں کچھ اور نہ ہو۔ Named volumes کو اس کی ضرورت نہیں ہوتی، کیونکہ Podman انہیں بناتے وقت خود بخود درست لیبل لگا دیتا ہے۔ اگر آپ کو مزید تفصیل درکار ہو تو SELinux basics for a server سیاق و سباق اور بولینز کی وضاحت کرتا ہے۔ Ubuntu اور Debian پر اس کے بجائے AppArmor استعمال ہوتا ہے، وہاں :Z کا کوئی اثر نہیں ہوتا، اور اسے یونٹ فائل میں چھوڑ دینا نقصان دہ نہیں ہے۔
پورٹ 11434 بند کریں اور API تک SSH کے ذریعے رسائی حاصل کریں
PublishPort=127.0.0.1:11434:11434 میزبان کی جانب کو loopback سے bind کرتا ہے۔ اس کی تصدیق کریں:
ss -ltnp | grep 11434
curl http://127.0.0.1:11434ss کے output میں 127.0.0.1:11434 ظاہر ہونا چاہیے، اور curl کو Ollama is running کا جواب دینا چاہیے۔ اگر ss میں اس کے بجائے 0.0.0.0:11434 یا *:11434 ظاہر ہو تو پورٹ ہر interface پر listening کر رہا ہے۔ اس کے بعد internet اس تک پہنچ سکتا ہے یا نہیں، یہ آپ کے firewall rules اور server کے سامنے موجود network پر منحصر ہے، اس لیے wildcard listener لازماً public طور پر exposed نہیں ہوتا۔ پھر بھی اس پر انحصار نہ کریں: Ubuntu کی documentation کے مطابق ufw ابتدائی طور پر default طور پر disabled ہوتا ہے، اور firewall rule ایک اضافی چیز ہے جسے درست رکھنا ضروری ہے۔ Bind address درست کریں تاکہ پورٹ ابتدا ہی سے public طور پر listening نہ کرے۔
واضح طور پر دیکھیں کہ آپ کس جانب binding کر رہے ہیں۔ PublishPort میں موجود address میزبان کا address ہے۔ Container کے اندر Ollama کو تمام interfaces پر listening جاری رکھنی چاہیے، کیونکہ یہی image کا default ہے۔ Environment=OLLAMA_HOST=127.0.0.1 set کرنے سے Ollama container کے اپنے loopback سے bind ہو جاتا ہے، جبکہ Podman published traffic کو container کے network address پر forward کرتا ہے۔ نتیجتاً host سے بھی ہر request refuse ہو جاتی ہے۔
کھلا ہوا 11434 آپ کے لیے دو طرح کا خطرہ پیدا کرتا ہے۔ Ollama میں authentication نہیں ہے، اس لیے جو بھی اس پورٹ تک پہنچ سکے وہ /api/tags کے ذریعے آپ کے models کی فہرست حاصل کر سکتا ہے، /api/generate کے ذریعے آپ کے CPU اور bandwidth allowance پر inference چلا سکتا ہے، disk پر نئے models pull کر سکتا ہے، اور موجودہ models delete کر سکتا ہے۔ دوسرا مسئلہ یہ ہے کہ remote port پر plain HTTP prompts اور completions کو cleartext میں بھیجتا ہے، اس لیے راستے میں موجود ہر machine انہیں پڑھ سکتی ہے۔ اگر پورٹ server سے باہر ہی نہ جائے تو دونوں مسائل ختم ہو جاتے ہیں۔
اپنے workstation سے پورٹ کو SSH کے ذریعے forward کریں:
ssh -N -L 11434:127.0.0.1:11434 you@vps.example.comاب آپ کے laptop پر http://127.0.0.1:11434 SSH session کی encryption کے اندر server کے Ollama تک پہنچتا ہے۔ اگر laptop پر Ollama پہلے سے چل رہا ہو تو local bind bind [127.0.0.1]:11434: Address already in use کے ساتھ fail ہو جائے گا؛ -L 11435:127.0.0.1:11434 استعمال کریں اور اپنے client کو 11435 پر point کریں۔
جب کسی browser client کو اس کی ضرورت ہو تو اس کے سامنے password کے ساتھ reverse proxy رکھیں۔ Caddy کا site block مختصر ہوتا ہے، اور caddy hash-password مطلوبہ bcrypt hash دکھاتا ہے:
ollama.example.com {
basic_auth {
you $2a$14$replace_with_the_generated_hash
}
reverse_proxy 127.0.0.1:11434
}Caddy خود TLS (transport layer security) کے ذریعے certificate حاصل کرتا ہے، اس لیے traffic encrypted رہتا ہے۔ پہلے اپنے client کی testing کریں: جو clients Authorization header نہیں بھیج سکتے، وہ basic auth کے ساتھ bare 401 Unauthorized پر fail ہو جائیں گے۔ SSH tunnel میں یہ مسئلہ نہیں ہوتا، اسی لیے یہاں اسے default recommendation قرار دیا گیا ہے۔
ماڈل pull کریں اور پورے path کی جانچ کریں
podman exec -it ollama ollama pull gemma3:4b
curl -s http://127.0.0.1:11434/api/tags
curl -s http://127.0.0.1:11434/api/generate -d '{"model":"gemma3:4b","prompt":"Reply with the single word: ready","stream":false}'
du -sh ~/ollama-data/models/api/tags، gemma3:4b کی فہرست والا JSON واپس کرتا ہے۔ /api/generate، disk سے weights load ہونے کے دوران مختصر وقفے کے بعد response فیلڈ والا JSON object واپس کرتا ہے۔ du کو شائع کردہ download size کے قریب عدد رپورٹ کرنا چاہیے۔ اس کے بعد اس حصے کو ثابت کریں جس کے بارے میں یہ پوری guide ہے:
sudo reboot
# reconnect, then:
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user is-active ollama.serviceactive کا مطلب ہے کہ سروس چلتی رہی، یعنی [Install] سیکشن اور daemon-reload دونوں نے اپنا کام کیا۔ اگر یہ inactive رپورٹ کرے تو پہلے ان تینوں کی جانچ کریں، پھر startup errors کے لیے journalctl --user -u ollama.service دیکھیں۔
وہ failure modes جو آپ دیکھیں گے
Reboot کے بعد container موجود نہیں رہتا۔ پہلے loginctl show-user ollama --property=Linger چیک کریں، کیونکہ Linger=yes کے بغیر صارف کا systemd instance boot کے وقت کبھی start نہیں ہوتا۔ اگر lingering فعال ہے تو .container فائل میں [Install] section چیک کریں، systemctl --user daemon-reload چلائیں، اور startup errors کے لیے journalctl --user -u ollama.service دیکھیں۔
Error: statfs /home/ollama/ollama-data: no such file or directory۔ Container start ہونے سے پہلے bind mount source کا موجود ہونا ضروری ہے۔ Podman آپ کے لیے host directories نہیں بناتا۔ mkdir -p ~/ollama-data کو ollama user کے طور پر چلائیں۔
Start 90 seconds پر fail ہو جاتا ہے۔ journalctl --user -u ollama.service میں Start operation timed out. Terminating. دکھائی دیتا ہے، کیونکہ image pull ابھی جاری تھا۔ اسے دستی طور پر pull کریں، یا TimeoutStartSec=900 برقرار رکھیں۔
Container start ہو کر exit ہو جاتا ہے۔ podman logs ollama اور sudo ausearch -m avc -ts recent مل کر بتاتے ہیں کہ مسئلہ SELinux label کا ہے یا نہیں۔ container_t اور user_home_t کو نامزد کرنے والا AVC اس بات کی علامت ہے کہ :Z موجود نہیں ہے۔
Host سے requests مسترد ہو جاتی ہیں۔ Service active کے ساتھ curl: (7) Failed to connect to 127.0.0.1 port 11434: Connection refused عموماً اس بات کی نشاندہی کرتا ہے کہ OLLAMA_HOST کو container کے اندر loopback address پر set کیا گیا تھا۔ اس line کو ہٹا دیں۔
Generation بہت سست ہے، یا container kill ہو جاتا ہے۔ GPU نہ ہونے کی صورت میں inference CPU پر چلتی ہے اور بڑا model فطری طور پر سست ہوتا ہے۔ جب model physical RAM میں fit نہ ہو تو disk-backed memory mapping یا swap inference کو مزید سست کر دیتی ہے۔ اگر request کے دوران container ختم ہو جائے اور logs میں signal: killed موجود ہو تو اس کی وجہ چیک کریں؛ اگر kernel log out-of-memory kill کی تصدیق کرے تو اوپر موجود chart سے چھوٹا tag منتخب کریں۔
Pinned image کو اپ ڈیٹ کرنا
Pinning کا مطلب ہے کہ updates آپ خود کرتے ہیں، یہ آپ کے لیے خود بخود نہیں ہوتیں۔ ollama.container میں Image= کو edit کریں، پھر reload اور restart کریں:
systemctl --user daemon-reload
systemctl --user restart ollama.service
podman exec ollama ollama --versionModels bind mount میں محفوظ ہوتے ہیں، اس لیے image تبدیل ہونے کے باوجود وہ جوں کے توں رہتے ہیں۔ [Container] section میں AutoUpdate=registry registry کے خلاف digest checks configure کرتا ہے؛ podman auto-update، جسے manually یا اس کے systemd timer کے ذریعے چلایا جا سکتا ہے، تبدیل شدہ image کو pull کرتا ہے اور unit کو restart کرتا ہے۔ یہ moving tag کے لیے موزوں ہے۔ Version tag کے ساتھ یہ صرف اس وقت چلتا ہے جب publisher دوبارہ اسی tag کو push کرے۔ یہی وہ غیر منصوبہ بند تبدیلی ہے جسے pinning روکنے کے لیے استعمال کی جاتی ہے، اس لیے اسے یہاں بند رکھیں۔ /home/ollama/ollama-data/models/manifests اور .container file کا backup لیں، لیکن blobs کو شامل نہ کریں: یہ بڑے ہوتے ہیں، اور ollama pull انہیں نئے box پر دوبارہ fetch کر لیتا ہے۔
FAQ
میری rootless Podman container logout کے بعد کیوں رک جاتی ہے؟
کسی صارف کا systemd instance اور اس کی /run/user/<uid> directory عموماً اس صارف کے آخری session کے ختم ہونے کے بعد ختم کر دیے جاتے ہیں۔ اس سے اس instance کے زیر انتظام services رک جاتی ہیں۔ sudo loginctl enable-linger ollama چلائیں اور تصدیق کریں کہ loginctl show-user ollama --property=Linger کا output Linger=yes ہے۔ Quadlet unit بنانے سے پہلے lingering فعال کریں، تاکہ user manager اور اس کی runtime directory login session کے بغیر بھی دستیاب رہیں۔
کیا Ollama model directory پر SELinux labels ضروری ہیں؟
Fedora، RHEL، Rocky اور AlmaLinux پر، اگر آپ host directory کو bind mount کرتے ہیں تو ہاں۔ Container container_t domain میں چلتی ہے، جبکہ home folder کی directory کو user_home_t label کیا جاتا ہے۔ اس لیے write کی اجازت مسترد ہو جاتی ہے اور Ollama بند ہو جاتا ہے۔ Volume= line میں :Z شامل کریں اور اسے ایک dedicated subdirectory دیں، کیونکہ relabelling اندر موجود تمام files اور directories پر لاگو ہوتی ہے۔ :Z کو پورے home directory کی طرف مت بھیجیں، کیونکہ اس سے اس صارف کی SSH key access متاثر ہو جاتی ہے۔ Podman named volumes کو درست labels دیتا ہے، اس لیے ان کے لیے اضافی configuration درکار نہیں ہوتی۔
Ollama model کے لیے کتنی disk درکار ہوتی ہے؟
ollama.com/library پر شائع کردہ download size سے آغاز کریں۔ یہ 3.4 GB، یعنی gemma3:4b، سے لے کر 19 GB، یعنی qwen3:30b، تک ہو سکتی ہے۔ اس کے علاوہ Podman image کے لیے جگہ رکھیں، پھر اضافی گنجائش بھی چھوڑیں، کیونکہ دوسرا model disk پر پہلے model کی جگہ نہیں لیتا۔ Pull کرنے سے پہلے df -h /home اور pull کے بعد du -sh ~/ollama-data/models دیکھیں۔ اچھی performance کے لیے تقریباً model کے file size کے برابر RAM کے ساتھ context window کے لیے اضافی گنجائش رکھیں۔ Disk-backed memory mapping یا کافی swap کم physical RAM کے ساتھ بڑے model کو چلنے دے سکتی ہے، لیکن performance کم ہو جائے گی۔
کیا VPS پر port 11434 کو public کرنا محفوظ ہے؟
نہیں۔ Ollama میں کسی بھی قسم کی authentication شامل نہیں ہوتی۔ اس لیے جو بھی اس port تک پہنچ سکے، وہ آپ کے models کی فہرست دیکھ سکتا ہے، انہیں delete کر سکتا ہے، disk پر نئے models pull کر سکتا ہے، اور آپ کے CPU اور bandwidth allowance پر inference چلا سکتا ہے۔ Internet پر سادہ HTTP ہر prompt اور completion کو cleartext میں بھیجتا ہے۔ Host side کو 127.0.0.1 پر PublishPort=127.0.0.1:11434:11434 کے ساتھ bind کریں، ss -ltnp | grep 11434 سے تصدیق کریں، اور اسے SSH tunnel یا ایسے reverse proxy کے ذریعے access کریں جو password طلب کرتا ہو۔