SSD Nodes Learn Hosting plans →
मार्गदर्शक Matt Connorद्वारे Matt Connor

VPS वर rootless Podman मध्ये Ollama कसे चालवावे

VPS वर rootless Podman वापरून Ollama सुरक्षितपणे चालवण्याची पद्धत शिका. यात lingering, Quadlet युनिट्स, SELinux लेबल्स आणि SSH टनेलिंगद्वारे सुरक्षित ॲक्सेसची माहिती दिली आहे.

rootless Podman मध्ये VPS वर Ollama चालवा

सर्व्हरवर rootless Podman मध्ये Ollama चालवण्यासाठी पाच गोष्टी आवश्यक असतात, ज्या desktop walkthrough मध्ये वगळता येऊ शकतात. स्वतंत्र unprivileged user कंटेनरचा मालक असतो. त्या user साठी lingering सक्षम केलेले असते, त्यामुळे तुम्ही logout केल्यानंतरही कंटेनर चालू राहतो. Quadlet file कंटेनर systemd कडे सोपवते, त्यामुळे reboot नंतर तो पुन्हा सुरू होतो. SELinux लागू करणाऱ्या distributions मध्ये model directory वर SELinux label असतो. API फक्त loopback वर ऐकते आणि तुम्ही SSH (secure shell) tunnel द्वारे त्याच्यापर्यंत पोहोचता.

Ollama हा large language models (LLM) साठी server आहे. तो model weights disk वर साठवतो, ते memory मध्ये load करतो आणि port 11434 वरील HTTP requests ला उत्तरे देतो. त्याच्या local API साठी login किंवा API key आवश्यक नाही, त्यामुळे येथे उपलब्ध असलेले एकमेव access control म्हणजे network. Podman daemon शिवाय आणि root शिवाय containers चालवतो. त्यामुळे कंटेनरमधून बाहेर पडणारी कोणतीही प्रक्रिया सुरुवातीला सामान्य unprivileged user म्हणूनच चालते. आधी runtime comparison वाचायचे असल्यास VPS वर Podman आणि Docker मधील फरक वाचा. Containers पूर्णपणे टाळायचे असल्यास VPS वर Ollama थेट install करणे हा अधिक लहान मार्ग आहे.

Fedora मध्ये Podman आणि SELinux (security-enhanced Linux) दोन्ही default ने उपलब्ध असतात. खालील commands साठी Podman 5 किंवा त्यानंतरची आवृत्ती गृहीत धरली आहे. Quadlet unit साठी cgroup v2 देखील आवश्यक आहे; Podman ची आवृत्ती कोणतीही असली तरी त्याच्या documentation मध्ये ते Quadlet साठीची requirement म्हणून नमूद केले आहे. सुरुवात करण्यापूर्वी दोन्ही तपासा: पहिल्यासाठी podman --version आणि दुसऱ्यासाठी podman info | grep -i cgroup. त्यामध्ये cgroupVersion line ने v2 असेच दाखवले पाहिजे. Ubuntu 24.04 मध्ये archive मधील podman package ची आवृत्ती 4.9.3 आहे. ती त्या line मधील आवृत्तीपेक्षा जुनी आहे. त्यामुळे तेथे आधी version तपासा.

सर्व्हरवर लॅपटॉप आवृत्तीमध्ये बदल का आवश्यक आहेत

Fedora Magazine ने 5 ऑगस्ट 2026 रोजी या स्टॅकचे एक स्पष्ट मार्गदर्शक प्रकाशित केले: Running Ollama Locally with Podman on Fedora Linux, लेखक Yazan Monshed. या साधनांसह सुरुवात करण्यासाठी हा एक उत्तम लेख आहे. मात्र, तो लॅपटॉपसाठी तयार केला आहे आणि त्यातील चार निवडी सार्वजनिक IP ॲड्रेस असलेल्या मशीनवर वेगळ्या प्रकारे काम करतात.

  • हे कंटेनर एका साध्या podman run -d कमांडने सुरू करते. हाताने सुरू केलेला कंटेनर रीबूटनंतर पुन्हा सुरू होत नाही, कारण तो आपोआप सुरू होण्यासाठी कोणतीही सूचना दिलेली नसते.
  • हे ollama/ollama या मूव्हिंग टॅगचा वापर करते. लॅपटॉपवर तुम्हाला वर्तणुकीतील बदल लगेच लक्षात येतात. सर्व्हरवर, याचा पहिला संकेत म्हणजे रात्रीतून अचानक बंद पडलेली स्क्रिप्ट.
  • हे -p 11434:11434 सह पब्लिश करते, जे सर्व इंटरफेसेसना बाइंड करते. होम राउटरच्या मागे असताना हे इंटरनेटवरून पोहोचण्यायोग्य नसते. मात्र, VPS वर हे पासवर्ड नसलेले सार्वजनिक इन्फरन्स API बनते.
  • हे तुमच्या स्वतःच्या लॉगिन युजर म्हणून चालते. सर्व्हरवर, ज्या खात्याच्या मालकीचे कंटेनर आहे, त्या खात्याकडे इतर कोणतीही जबाबदारी नसावी, जेणेकरून एखादा ब्रेक-आउट झाल्यास तो रिकाम्या होम डिरेक्टरीमध्येच मर्यादित राहील.

ज्या मशीनसाठी हे लिहिले आहे, त्या दृष्टीने यात काहीही चुकीचे नाही. जेव्हा मशीन सर्व बाजूंनी पोहोचण्यायोग्य असते आणि समोर कोणीही बसलेले नसते, तेव्हा प्रत्येक मुद्द्याचा पुनर्विचार करणे आवश्यक असते.

अविशेषाधिकारित वापरकर्ता तयार करा आणि subuid तपासा

Rootless Podman कंटेनरमधील अंतर्गत user IDs (UID) यजमानावरील वापरात नसलेल्या IDs च्या एका श्रेणीवर मॅप करतो. ही श्रेणी /etc/subuid आणि /etc/subgid मध्ये घोषित केली जाते. Podman single-UID mode देखील समर्थित करतो; परंतु या सेटअपसाठी subordinate ranges कॉन्फिगर करा.

sudo dnf install -y podman        # or: sudo apt install -y podman
sudo useradd --create-home --shell /bin/bash --comment "Ollama container owner" ollama
sudo passwd --lock ollama
grep ollama /etc/subuid /etc/subgid

grep ने दोन ओळी दाखवल्या पाहिजेत. प्रत्येक फाइलमधून एक ओळ असावी आणि प्रत्येक ओळीत 65536 IDs ची श्रेणी असावी:

/etc/subuid:ollama:100000:65536
/etc/subgid:ollama:100000:65536

तुमचा सुरुवातीचा क्रमांक वेगळा असेल; ते योग्य आहे. grep ने काहीही दाखवले नाही, तर useradd ने कोणतीही श्रेणी वाटप केलेली नाही. मॅपिंग नसल्यास Podman अशा प्रकारचा संदेश दाखवतो:

Error: cannot find UID/GID for user ollama: no subuid ranges found for user "ollama" in /etc/subuid

इतर कोणत्याही वापरकर्त्याच्या ताब्यात नसलेली श्रेणी वाटप करा. त्यानंतर Podman ला त्याचे जुने मॅपिंग कालबाह्य झाले आहे असे कळवा:

sudo usermod --add-subuids 100000-165535 --add-subgids 100000-165535 ollama
sudo -iu ollama podman system migrate

पासवर्ड लॉक केल्याने ollama म्हणून password login करता येत नाही; परंतु SSH keys सारख्या इतर authentication methods वर त्याचा परिणाम होत नाही. तुमच्या admin user कडून sudo -iu ollama वापरून या खात्यात प्रवेश करा.

लॉगआउटनंतरही सेवा सुरू राहण्यासाठी lingering सक्षम करा

वापरकर्त्याचा systemd instance सामान्यतः login वेळी सुरू होतो आणि शेवटचा logout झाल्यानंतर बंद होतो. त्यासोबत /run/user/<uid> देखील काढून टाकले जाते. त्या instance द्वारे व्यवस्थापित केलेल्या सेवा तो बंद झाल्यावर थांबतात. Lingering मुळे कोणतेही session संलग्न नसतानाही user instance सुरू राहतो.

sudo loginctl enable-linger ollama
loginctl show-user ollama --property=Linger

यातून Linger=yes असे output दिसले पाहिजे. Unit तयार करण्यापूर्वी ते सक्षम करा. त्यामुळे login session नसतानाही user manager आणि त्याची runtime directory उपलब्ध राहतात.

आणखी एक पायरी आवश्यक आहे आणि तिची अपेक्षा सहसा केली जात नाही. sudo -iu ollama तुम्हाला shell देते, पण session bus देत नाही. त्यामुळे systemctl --user त्वरित अपयशी ठरते:

Failed to connect to bus: $DBUS_SESSION_BUS_ADDRESS and $XDG_RUNTIME_DIR not defined

systemd user bus साठी $XDG_RUNTIME_DIR/bus येथे शोध घेतो. sudo -i हे variable सेट करत नाही. ही सेवा व्यवस्थापित करणाऱ्या प्रत्येक admin shell मध्ये ते स्वतः सेट करा:

sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user status

मॉडेल ब्लॉब्स कुठे साठवले जातात आणि किती डिस्कची योजना करावी

Ollama कंटेनरमध्ये /root/.ollama/models येथे weights लिहिते. त्या path वर वापरकर्त्याच्या home मधील एखादी directory bind करा. त्यामुळे files मोजता येतील अशा ठिकाणी साठवल्या जातात: /home/ollama/ollama-data/models. Blobs models/blobs मध्ये content-addressed files म्हणून साठवले जातात आणि models/manifests मध्ये त्यांची नावे असलेली छोटी index साठवली जाते. त्याऐवजी named volume वापरल्यास, Fedora Magazine च्या post प्रमाणे, हाच tree /home/ollama/.local/share/containers/storage/volumes/<volume>/_data अंतर्गत असतो. दोन्ही पद्धतींमध्ये ollama pull आणि ollama run weights याच tree मध्ये लिहितात. या दोन commands मधील फरक एवढाच आहे की download पूर्ण झाल्यावर chat session सुरू होते किंवा नाही.

काहीही pull करण्यापूर्वी डिस्कचा आकार ठरवा. प्रकाशित download sizes किमान आवश्यक क्षमता दर्शवतात.

तक्ताPublished download size per Ollama model tag, ollama.com/library, checked 27 October 2026
या तक्त्यामागील डेटा
[
  {
    "label": "gemma3:4b",
    "download_gb": 3.4
  },
  {
    "label": "mistral:7b",
    "download_gb": 4.4
  },
  {
    "label": "qwen3:8b",
    "download_gb": 5.2
  },
  {
    "label": "gemma3:12b",
    "download_gb": 8.2
  },
  {
    "label": "qwen3:14b",
    "download_gb": 9.3
  },
  {
    "label": "gemma3:27b",
    "download_gb": 17
  },
  {
    "label": "qwen3:30b",
    "download_gb": 19
  }
]

येथील सर्व 7 rows या ollama.com/library वर प्रकाशित केलेल्या आकडेवारीवर आधारित आहेत; त्या डिस्कवर प्रत्यक्ष मोजलेल्या sizes नाहीत. येथील सर्वात लहान tag, gemma3:4b, 3.4 GB download करते. सर्वात मोठा tag, qwen3:30b, 19 GB download करते. Container image याव्यतिरिक्त Podman च्या स्वतःच्या storage मध्ये साठवली जाते. त्यामुळे podman system df आणि df -h /home वापरून दोन्ही संख्या एकत्र तपासा. चांगल्या कामगिरीसाठी, RAM मध्ये मॉडेलच्या file size एवढी जागा आणि context window साठी अतिरिक्त जागा यांची साधारणपणे योजना करा. Physical RAM ही कठोर मर्यादा नाही. Disk-backed memory mapping किंवा पुरेसा swap उपलब्ध असल्यास, कमी कामगिरीसह 16 GB VPS वर 19 GB मॉडेल चालवता येते.

image tag pin करा आणि पूर्ण registry नाव वापरा

sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
mkdir -p ~/ollama-data ~/.config/containers/systemd
podman pull docker.io/ollama/ollama:0.32.9

released version tag वापरा, 0.32.9 ऑगस्ट 2026 पर्यंत, आणि latest वापरू नका. त्यानंतरच्या नवीन releases उपलब्ध आहेत: 30 October 2026 रोजी Docker Hub वरील सर्वात नवीन plain version tag 0.40.13 आहे. त्यामुळे tags page तपासा आणि pull command तसेच Image= line मध्ये सध्याचा release वापरा. pinned version tag मुळे तुम्ही निवडलेले नसलेले releases server वर येत नाहीत. त्यामुळे behaviour मधील बदल सामान्यतः तुम्ही केलेला बदल असतो. मात्र tag हा fingerprint नसून pointer असतो: त्याच नावाने पुन्हा push केल्यावर registry तो वेगळ्या image कडे हलवते. फक्त digest स्थिर असतो. Podman Image= मध्ये दोन्ही प्रकार स्वीकारतो. 04:00 वाजता होणाऱ्या restart मध्ये तुम्ही तपासलेलाच binary चालला पाहिजे असल्यास, pull नंतर podman images --digests docker.io/ollama/ollama चालवा आणि त्याऐवजी Image=docker.io/ollama/ollama@sha256:<digest> लिहा. Docker Hub त्याच versions साठी -rc आणि -rocm tags देखील प्रकाशित करते. AMD GPU नसल्यास plain tag वापरा.

registry host देखील लिहा. Fedora वर systemd unit मधील short name साठी prompt दाखवण्यास terminal उपलब्ध नसतो. त्यामुळे unit खालील error सह fail होते:

Error: short-name "ollama/ollama" did not resolve to an alias and no unqualified-search registries are defined

प्रथम manually pull करणे अनिवार्य नाही, पण ते उपयुक्त आहे. त्यामुळे अनेक gigabyte असलेला download unit च्या start timeout च्या बाहेर पूर्ण होतो.

रीबूटनंतरही टिकणारे Quadlet unit

Quadlet हा Podman चा systemd generator आहे. तुम्ही एक .container फाइल लिहिता, systemd बूटवेळी तिचे service मध्ये रूपांतर करते आणि podman generate systemd ची यापुढे गरज राहत नाही. ही फाइल ollama user च्या मालकीची असलेल्या /home/ollama/.config/containers/systemd/ollama.container म्हणून जतन करा.

[Unit]
Description=Ollama API (rootless)
After=network-online.target
Wants=network-online.target

[Container]
Image=docker.io/ollama/ollama:0.32.9
ContainerName=ollama
PublishPort=127.0.0.1:11434:11434
Volume=/home/ollama/ollama-data:/root/.ollama:Z
Environment=OLLAMA_KEEP_ALIVE=30m
Environment=OLLAMA_MAX_LOADED_MODELS=1

[Service]
Restart=always
TimeoutStartSec=900

[Install]
WantedBy=default.target

फाइलचे नाव service चे नाव ठरवते. त्यामुळे ollama.container चे रूपांतर ollama.service मध्ये होते.

systemctl --user daemon-reload
systemctl --user start ollama.service
systemctl --user status ollama.service

status ने active (running) दाखवले पाहिजे. systemctl --user enable ollama.service चालवू नका. हे unit डिस्कवर फाइल म्हणून अस्तित्वात नसल्यामुळे systemd नकार देते:

Failed to enable unit: Unit file /run/user/1001/systemd/generator/ollama.service is transient or generated.

[Install] section हे काम आधीच करते. daemon-reload दरम्यान Quadlet स्वतः start-at-boot link तयार करते. म्हणून ती command ऐच्छिक नाही. पहिल्यांदा service सुरू करताना image pull करावी लागू शकते. त्यासाठी TimeoutStartSec=900 आवश्यक आहे, कारण multi-gigabyte download साठी default 90 seconds पुरेसे नसतात आणि systemd start ला failed म्हणून थांबवते. OLLAMA_KEEP_ALIVE=30m requests दरम्यान model memory मध्ये ठेवते. त्यामुळे तो five minutes नंतर unload होत नाही. याचे फायदे-तोटे Ollama model memory मध्ये ठेवणे येथे दिले आहेत. येथे वापरलेली systemd संज्ञा नवीन असल्यास, VPS वर systemd services आणि timers कसे कार्य करतात या भागात units चे स्पष्टीकरण दिले आहे.

SELinux अंतर्गत model डिरेक्टरी 'permission denied' का दर्शवते

Fedora, RHEL, Rocky आणि AlmaLinux वर SELinux डीफॉल्टनुसार 'enforcing' मोडमध्ये असते. कंटेनर प्रक्रिया container_t डोमेनमध्ये चालते आणि वापरकर्त्याच्या होम डिरेक्टरीमधील फोल्डरला user_home_t लेबल असते. पॉलिसी या दोघांना एकमेकांशी संवाद साधू देत नाही, त्यामुळे Ollama आपली model ट्री तयार करू शकत नाही आणि कंटेनर बंद होतो. अशा सिस्टिम्सवर getenforce कमांड चालवल्यास Enforcing असा संदेश येतो आणि ही नाकारलेली विनंती (denial) खालीलप्रमाणे नोंदवली जाते:

sudo ausearch -m avc -ts recent

तुम्हाला एक ओळ दिसेल ज्यामध्ये डोमेन आणि टार्गेट लेबल नमूद केलेले असेल:

avc:  denied  { write } for  pid=1842 comm="ollama" name="models" dev="vda1" ino=131077 scontext=system_u:system_r:container_t:s0:c214,c827 tcontext=unconfined_u:object_r:user_home_t:s0 tclass=dir permlisted=0

Volume= ओळीच्या शेवटी असलेला :Z हा यावर उपाय आहे. हे होस्ट डिरेक्टरीला container_file_t असे पुन्हा लेबल करते आणि त्यावर एक खाजगी MCS (multi-category security) कॅटेगरी स्टॅम्प करते, जी फक्त याच कंटेनरकडे असते. लहान लिपीतील :z हे त्याऐवजी सामायिक लेबल वापरते, जे तुम्हाला तेव्हा हवे असते जेव्हा दोन कंटेनर एकाच डिरेक्टरीमधून वाचत असतात.

:Z बद्दल एक सावधगिरी, कारण ही प्रक्रिया विनाशकारी आणि शांतपणे काम करणारी आहे. रिलेबलिंग (Relabelling) रिकर्सिव्ह असते. जर तुम्ही ते /home/ollama कडे निर्देशित केले, तर त्या होम डिरेक्टरीमधील प्रत्येक फाईल रिलेबल केली जाईल, ज्यामुळे त्या वापरकर्त्याचा SSH की ॲक्सेस बंद होऊ शकतो. :Z ला नेहमी एक समर्पित सब-डिरेक्टरी द्या ज्यामध्ये इतर काहीही नसेल. Named volumes साठी याची गरज नसते, कारण Podman जेव्हा ते तयार करते तेव्हा त्यांना योग्यरित्या लेबल करते. जर तुम्हाला अधिक सविस्तर माहिती हवी असेल, तर SELinux basics for a server मध्ये कॉन्टेक्स्ट आणि बुलियन्स (booleans) बद्दल स्पष्टीकरण दिले आहे. Ubuntu आणि Debian वर त्याऐवजी AppArmor वापरले जाते, तिथे :Z चा काहीही परिणाम होत नाही आणि युनिट फाईलमध्ये ते तसेच ठेवल्यास काहीही नुकसान होत नाही.

पोर्ट 11434 बंद करा आणि SSH द्वारे API वापरा

PublishPort=127.0.0.1:11434:11434 होस्टच्या बाजूला loopback वर bind करते. ते पडताळा:

ss -ltnp | grep 11434
curl http://127.0.0.1:11434

ss च्या output मध्ये 127.0.0.1:11434 दिसले पाहिजे आणि curl ने Ollama is running ला प्रतिसाद दिला पाहिजे. ss मध्ये 0.0.0.0:11434 किंवा *:11434 दिसत असल्यास, पोर्ट प्रत्येक interface वर listening आहे. त्यानंतर internet त्याच्यापर्यंत पोहोचू शकते की नाही हे तुमच्या firewall rules आणि सर्व्हरसमोरील network वर अवलंबून असते. त्यामुळे wildcard listener आपोआप सार्वजनिकरीत्या उघडा होत नाही. तरीही यावर अवलंबून राहू नका: Ubuntu च्या documentation नुसार ufw सुरुवातीला default ने disabled असते आणि firewall rule ही योग्य ठेवावी लागणारी आणखी एक गोष्ट आहे. पोर्ट सुरुवातीपासून सार्वजनिकरीत्या listening करणार नाही, यासाठी bind address दुरुस्त करा.

तुम्ही कोणत्या बाजूला bind करत आहात याबाबत अचूक रहा. PublishPort मधील address हा host address आहे. Container च्या आत Ollama ने सर्व interfaces वर listening ठेवले पाहिजे; हे image चे default आहे. Environment=OLLAMA_HOST=127.0.0.1 सेट केल्यास Ollama container च्या स्वतःच्या loopback वर bind होते. त्याऐवजी Podman published traffic container च्या network address कडे forward करते. त्यामुळे host कडूनही प्रत्येक request refused होते.

11434 उघडे ठेवल्याने दोन प्रकारचे धोके निर्माण होतात. Ollama मध्ये authentication नाही. त्यामुळे पोर्टपर्यंत पोहोचणारा कोणीही /api/tags द्वारे तुमचे models list करू शकतो, /api/generate द्वारे तुमच्या CPU वर inference चालवू शकतो आणि bandwidth वापरू शकतो, disk वर नवीन models pull करू शकतो आणि तुमच्याकडे असलेले models delete करू शकतो. दुसरे म्हणजे, remote port कडे plain HTTP वापरल्यास prompts आणि completions cleartext मध्ये पाठवले जातात. त्यामुळे मार्गातील प्रत्येक machine ते वाचू शकते. पोर्ट कधीही या machine च्या बाहेर न गेल्यास या दोन्ही समस्या नाहीशा होतात.

तुमच्या workstation वरून SSH द्वारे पोर्ट forward करा:

ssh -N -L 11434:127.0.0.1:11434 you@vps.example.com

आता तुमच्या laptop वरील http://127.0.0.1:11434 हे SSH session च्या encryption मध्ये server वरील Ollama शी जोडलेले आहे. तुमच्या laptop वर Ollama आधीपासून चालू असल्यास, local bind bind [127.0.0.1]:11434: Address already in use मुळे fail होईल. -L 11435:127.0.0.1:11434 वापरा आणि तुमच्या client ला 11435 कडे point करा.

Browser client ला हे आवश्यक असल्यास, त्याऐवजी समोर password असलेला reverse proxy ठेवा. Caddy site block लहान असतो आणि त्याला आवश्यक असलेला bcrypt hash caddy hash-password print करते:

ollama.example.com {
  basic_auth {
    you $2a$14$replace_with_the_generated_hash
  }
  reverse_proxy 127.0.0.1:11434
}

Caddy स्वतः TLS (transport layer security) द्वारे certificate मिळवते, त्यामुळे traffic encrypted असते. प्रथम तुमच्या client ची चाचणी करा: Authorization header पाठवू न शकणारे clients basic auth विरुद्ध bare 401 Unauthorized मुळे fail होतील. SSH tunnel मध्ये अशी समस्या नसते. म्हणून येथे त्याची default recommendation केली आहे.

मॉडेल pull करा आणि संपूर्ण मार्गाची पडताळणी करा

podman exec -it ollama ollama pull gemma3:4b
curl -s http://127.0.0.1:11434/api/tags
curl -s http://127.0.0.1:11434/api/generate -d '{"model":"gemma3:4b","prompt":"Reply with the single word: ready","stream":false}'
du -sh ~/ollama-data/models

/api/tags मध्ये gemma3:4b ची सूची JSON स्वरूपात मिळते. डिस्कवरून weights load होईपर्यंत थोडा विलंब झाल्यानंतर /api/generate मध्ये response field असलेला JSON object मिळतो. du ने प्रकाशित download size च्या जवळपास असलेली संख्या दाखवली पाहिजे. आता या संपूर्ण मार्गदर्शकाचा मुख्य उद्देश असलेला भाग पडताळा:

sudo reboot
# reconnect, then:
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user is-active ollama.service

active म्हणजे lingering आहे. याचा अर्थ [Install] section आणि daemon-reload या दोघांनीही योग्यरीत्या काम केले. जर त्यात inactive दिसत असेल, तर प्रथम त्या तीन घटकांची तपासणी करा. त्यानंतर startup errors साठी journalctl --user -u ollama.service तपासा.

तुम्हाला दिसणाऱ्या संदेशांसह अपयशाच्या स्थिती

रीबूटनंतर कंटेनर नाहीसा होतो. प्रथम loginctl show-user ollama --property=Linger तपासा, कारण Linger=yes शिवाय वापरकर्त्याचे systemd instance boot वेळी सुरू होत नाही. lingering सुरू असल्यास, .container फाइलमधील [Install] विभाग तपासा, systemctl --user daemon-reload चालवा आणि startup errors साठी journalctl --user -u ollama.service तपासा.

Error: statfs /home/ollama/ollama-data: no such file or directory. कंटेनर सुरू होण्यापूर्वी bind mount source उपलब्ध असणे आवश्यक आहे. Podman host directories आपोआप तयार करत नाही. ollama user म्हणून mkdir -p ~/ollama-data चालवा.

90 सेकंदांनी start अयशस्वी होते. Image pull अद्याप सुरू असल्यामुळे journalctl --user -u ollama.service मध्ये Start operation timed out. Terminating. दिसते. Image स्वतः pull करा किंवा TimeoutStartSec=900 कायम ठेवा.

कंटेनर सुरू होतो आणि बंद होतो. तो SELinux label मुळे आहे का हे podman logs ollama आणि sudo ausearch -m avc -ts recent एकत्रितपणे दर्शवतात. container_t आणि user_home_t यांचा उल्लेख करणारा AVC संदेश म्हणजे :Z उपलब्ध नाही.

Host वरून requests नाकारल्या जातात. Service active सह curl: (7) Failed to connect to 127.0.0.1 port 11434: Connection refused केल्यावर सहसा OLLAMA_HOST कंटेनरमधील loopback address वर सेट केलेले असते. ती line काढा.

Generation खूप मंद आहे किंवा कंटेनर kill केला जातो. GPU नसल्यास inference CPU वर चालते आणि मोठे model स्वभावतः धीमे असते. Model physical RAM मध्ये बसत नसल्यास disk-backed memory mapping किंवा swap मुळे inference आणखी धीमे होते. Logs मध्ये signal: killed दिसत असताना request च्या मध्यात बंद होणाऱ्या कंटेनरचे कारण तपासणे आवश्यक आहे; kernel log मध्ये out-of-memory kill ची पुष्टी झाल्यास, वरील chart मधील लहान tag निवडा.

पिन केलेली image अपडेट करणे

Pinning म्हणजे अपडेट्स आपोआप होणारी गोष्ट नसून, ती तुम्ही स्वतः नियंत्रित करून करण्याची प्रक्रिया आहे. ollama.container मधील Image= संपादित करा. त्यानंतर reload आणि restart करा:

systemctl --user daemon-reload
systemctl --user restart ollama.service
podman exec ollama ollama --version

Models bind mount मध्ये ठेवलेले असल्यामुळे image बदलल्यानंतरही ते तसेच सुरक्षित राहतात. [Container] विभागातील AutoUpdate=registry registry विरुद्ध digest तपासण्या configure करते. podman auto-update manually किंवा त्याच्या systemd timer द्वारे चालवल्यास बदललेली image pull करून unit restart करते. बदलणाऱ्या tag साठी ही पद्धत योग्य आहे. Version tag च्या शेजारी ते फक्त publisher ने तोच tag पुन्हा push केल्यावर चालेल. Pinning मुळे टाळायचा असलेला अनियोजित बदल नेमका हाच आहे. त्यामुळे येथे ते बंद ठेवा. /home/ollama/ollama-data/models/manifests आणि .container file चा backup घ्या. Blobs वगळा. ते मोठे असतात आणि नवीन box वर ollama pull ते पुन्हा fetch करते.

FAQ

माझा rootless Podman container logout केल्यानंतर का थांबतो?

वापरकर्त्याचे systemd instance आणि त्याची /run/user/<uid> directory सामान्यतः त्या वापरकर्त्याचे शेवटचे session संपल्यानंतर बंद केली जातात. त्यामुळे त्या instance कडून व्यवस्थापित केल्या जाणाऱ्या सेवा थांबतात. sudo loginctl enable-linger ollama चालवा आणि loginctl show-user ollama --property=Linger मध्ये Linger=yes छापले आहे याची खात्री करा. Quadlet unit तयार करण्यापूर्वी lingering enable करा, जेणेकरून login session नसतानाही user manager आणि त्याची runtime directory उपलब्ध राहतील.

Ollama model directory वर SELinux labels आवश्यक आहेत का?

Fedora, RHEL, Rocky आणि AlmaLinux वर host directory bind mount करत असल्यास होय. Container container_t domain मध्ये चालतो, तर home folder मधील directory ला user_home_t label दिलेला असतो. त्यामुळे write नाकारला जातो आणि Ollama बंद होते. Volume= line मध्ये :Z जोडा आणि त्यासाठी स्वतंत्र subdirectory वापरा. Relabelling recursive असते; :Z पूर्ण home directory कडे निर्देशित केल्यास त्या वापरकर्त्याचा SSH key access बंद होतो. Podman named volumes ला योग्य labels देतो; त्यामुळे अतिरिक्त काही आवश्यक नसते.

Ollama model साठी किती disk space आवश्यक आहे?

ollama.com/library वर प्रकाशित download size पासून सुरुवात करा. हा आकार 3.4 GB इतका gemma3:4b साठी, ते 19 GB इतका qwen3:30b साठी असू शकतो. त्यावर Podman image चा आकार जोडा आणि अतिरिक्त जागा ठेवा, कारण दुसरा model disk वरील पहिल्या model ची जागा घेत नाही. Pull करण्यापूर्वी df -h /home आणि त्यानंतर du -sh ~/ollama-data/models तपासा. चांगल्या कार्यक्षमतेसाठी model च्या file size एवढी RAM आणि context window साठी अतिरिक्त जागा नियोजित करा. Disk-backed memory mapping किंवा पुरेसा swap उपलब्ध असल्यास कमी physical RAM मध्ये मोठा model चालवता येतो; मात्र कार्यक्षमता कमी होते.

VPS वर port 11434 सार्वजनिक करणे सुरक्षित आहे का?

नाही. Ollama मध्ये कोणत्याही प्रकारचे authentication उपलब्ध नसते. त्यामुळे port पर्यंत पोहोचणारी कोणतीही व्यक्ती तुमचे models सूचीबद्ध किंवा delete करू शकते, तुमच्या disk वर नवीन models pull करू शकते आणि तुमच्या CPU व bandwidth allowance वर inference चालवू शकते. इंटरनेटवर plain HTTP वापरल्यास प्रत्येक prompt आणि completion cleartext मध्ये पाठवला जातो. Host side ला 127.0.0.1 वर PublishPort=127.0.0.1:11434:11434 वापरून bind करा, ss -ltnp | grep 11434 ने पडताळा आणि password आवश्यक असलेल्या SSH tunnel किंवा reverse proxy द्वारे त्याच्याशी संपर्क साधा.

हा लेख उपयुक्त होता का?