SSD Nodes Learn Hosting plans →
गाइड Matt Connorलेखक: Matt Connor

VPS पर rootless Podman में Ollama कैसे चलाएं

VPS पर rootless Podman के साथ Ollama सेटअप करने का तरीका जानें। इसमें lingering, Quadlet यूनिट, SELinux लेबल और SSH टनल के माध्यम से सुरक्षित एक्सेस की पूरी जानकारी दी गई है।

VPS पर rootless Podman में Ollama चलाना

सर्वर पर rootless Podman में Ollama चलाने के लिए, ऐसी पाँच शर्तें पूरी होनी चाहिए जिन्हें डेस्कटॉप गाइड में अक्सर छोड़ दिया जाता है। एक समर्पित unprivileged user कंटेनर का स्वामी होता है। उस user के लिए lingering सक्षम (enabled) होना चाहिए, ताकि आपके लॉग आउट करने के बाद भी कंटेनर चलता रहे। एक Quadlet फाइल कंटेनर को systemd को सौंपती है, जिससे रीबूट के बाद यह अपने आप शुरू हो जाता है। SELinux लागू करने वाले डिस्ट्रिब्यूशन पर मॉडल डायरेक्टरी में सही SELinux लेबल होना चाहिए। API केवल loopback पर listen करता है, और आप इसे SSH (secure shell) टनल के माध्यम से एक्सेस करते हैं।

Ollama लार्ज लैंग्वेज मॉडल्स (LLM) के लिए एक सर्वर है। यह मॉडल वेट्स को डिस्क पर स्टोर करता है, उन्हें मेमोरी में लोड करता है, और पोर्ट 11434 पर HTTP अनुरोधों का उत्तर देता है। इसके लोकल API के लिए किसी लॉगिन या API की (key) की आवश्यकता नहीं होती है, इसलिए नेटवर्क ही यहाँ एकमात्र एक्सेस कंट्रोल है। Podman बिना किसी डेमन (daemon) और बिना रूट के कंटेनर चलाता है, इसलिए यदि कोई प्रक्रिया कंटेनर से बाहर निकलती है, तो वह एक सामान्य unprivileged user के रूप में ही शुरू होती है। यदि आप पहले रनटाइम की तुलना देखना चाहते हैं, तो VPS पर Podman और Docker में अंतर पढ़ें। यदि आप कंटेनरों को पूरी तरह छोड़ना चाहते हैं, तो VPS पर सीधे Ollama इंस्टॉल करना एक छोटा विकल्प है।

Fedora डिफ़ॉल्ट रूप से Podman और SELinux (security-enhanced Linux) दोनों के साथ आता है। नीचे दी गई कमांड्स Podman 5 या उससे नए वर्ज़न मानकर दी गई हैं, और Quadlet यूनिट के लिए cgroup v2 की भी आवश्यकता होती है, जिसे Podman का डॉक्यूमेंटेशन Podman वर्ज़न की परवाह किए बिना एक Quadlet आवश्यकता के रूप में सूचीबद्ध करता है। शुरू करने से पहले दोनों की जाँच करें: पहले के लिए podman --version और दूसरे के लिए podman info | grep -i cgroup, जहाँ cgroupVersion लाइन में v2 लिखा होना चाहिए। Ubuntu 24.04 पर आर्काइव का podman पैकेज वर्ज़न 4.9.3 है, जो उस लाइन से पुराना है, इसलिए वहाँ पहले वर्ज़न की जाँच करें।

सर्वर पर लैपटॉप वर्ज़न में बदलाव की आवश्यकता क्यों है

Fedora Magazine ने 5 August 2026 को इस स्टैक पर एक स्पष्ट वॉकथ्रू प्रकाशित किया: Running Ollama Locally with Podman on Fedora Linux, जिसे Yazan Monshed ने लिखा है। इन टूल्स के साथ शुरुआत करने के लिए यह एक अच्छा लेख है। यह एक लैपटॉप को लक्षित करता है, और इसके चार विकल्प एक ऐसे मशीन पर अलग तरह से व्यवहार करते हैं जिसका पब्लिक IP एड्रेस होता है।

  • यह कंटेनर को एक साधारण podman run -d के साथ शुरू करता है। हाथ से शुरू किया गया कंटेनर रीबूट के बाद वापस नहीं आता है, क्योंकि इसे शुरू करने के लिए कभी कोई निर्देश नहीं दिया गया था।
  • यह मूविंग टैग ollama/ollama का उपयोग करता है। लैपटॉप पर आपको उस दिन पता चल जाता है जिस दिन व्यवहार बदलता है। सर्वर पर इसका पहला संकेत वह स्क्रिप्ट है जो रातों-रात काम करना बंद कर देती है।
  • यह -p 11434:11434 के साथ पब्लिश करता है, जो हर इंटरफ़ेस को बाइंड करता है। होम राउटर के पीछे यह इंटरनेट से पहुंच योग्य नहीं होता है। VPS पर यह बिना पासवर्ड वाली एक पब्लिक इन्फरेंस API बन जाती है।
  • यह आपके अपने लॉगिन यूजर के रूप में चलता है। सर्वर पर कंटेनर के मालिक अकाउंट के पास कुछ और नहीं होना चाहिए, ताकि ब्रेक-आउट होने पर वह एक खाली होम डायरेक्टरी में ही रहे।

जिस मशीन के लिए इसे लिखा गया था, उसके लिए इनमें से कुछ भी गलत नहीं है। प्रत्येक बिंदु केवल एक ऐसा निर्णय है जिसे आप तब दोबारा देखते हैं जब मशीन हर जगह से पहुंच योग्य हो और उसके सामने कोई न बैठा हो।

Unprivileged user बनाएँ और subuid की जाँच करें

Rootless Podman कंटेनर के आंतरिक user IDs (UID) को होस्ट पर unused IDs के एक ब्लॉक पर मैप करता है। उस ब्लॉक को /etc/subuid और /etc/subgid में घोषित किया जाता है। Podman सिंगल-UID मोड का भी समर्थन करता है, लेकिन इस सेटअप के लिए subordinate ranges को कॉन्फ़िगर करें।

sudo dnf install -y podman        # or: sudo apt install -y podman
sudo useradd --create-home --shell /bin/bash --comment "Ollama container owner" ollama
sudo passwd --lock ollama
grep ollama /etc/subuid /etc/subgid

grep को दो लाइनें प्रिंट करनी चाहिए, प्रत्येक फ़ाइल से एक, जिसमें से प्रत्येक 65536 IDs की एक रेंज का नाम बताए:

/etc/subuid:ollama:100000:65536
/etc/subgid:ollama:100000:65536

आपकी शुरुआती संख्या अलग होगी, और यह ठीक है। यदि grep कुछ भी प्रिंट नहीं करता है, तो useradd ने कोई रेंज आवंटित नहीं की है। Podman एक गायब मैपिंग की रिपोर्ट इस तरह के संदेश के साथ करता है:

Error: cannot find UID/GID for user ollama: no subuid ranges found for user "ollama" in /etc/subuid

एक ऐसी रेंज असाइन करें जिसे कोई अन्य उपयोगकर्ता न रखता हो, फिर Podman को बताएं कि उसकी पुरानी मैपिंग पुरानी (stale) हो चुकी है:

sudo usermod --add-subuids 100000-165535 --add-subgids 100000-165535 ollama
sudo -iu ollama podman system migrate

पासवर्ड को लॉक करना ollama के रूप में पासवर्ड लॉगिन को रोकता है; यह SSH keys जैसी अन्य प्रमाणीकरण विधियों को नहीं रोकता है। आप अपने एडमिन उपयोगकर्ता से sudo -iu ollama के साथ अकाउंट तक पहुँचते हैं।

Lingering को सक्षम करें ताकि service logout के बाद भी चलती रहे

एक user का systemd instance सामान्यतः login पर शुरू होता है और अंतिम logout के बाद बंद हो जाता है, और /run/user/<uid> भी उसके साथ हटा दिया जाता है। उस instance द्वारा प्रबंधित services उसके बंद होने पर रुक जाती हैं। Lingering user instance को बिना किसी session के चलते रहने देता है।

sudo loginctl enable-linger ollama
loginctl show-user ollama --property=Linger

यह Linger=yes प्रिंट करना चाहिए। unit बनाने से पहले इसे सक्षम करें ताकि user manager और उसकी runtime directory बिना login session के उपलब्ध हो सकें।

एक और कदम है जिसकी किसी को उम्मीद नहीं होती। sudo -iu ollama आपको shell तो देता है लेकिन session bus नहीं, इसलिए systemctl --user तुरंत विफल हो जाता है:

Failed to connect to bus: $DBUS_SESSION_BUS_ADDRESS and $XDG_RUNTIME_DIR not defined

systemd user bus को $XDG_RUNTIME_DIR/bus पर खोजता है, और sudo -i उस variable को set नहीं करता है। इसे हर उस admin shell में मैन्युअल रूप से set करें जहाँ आप इस service का प्रबंधन करते हैं:

sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user status

मॉडल ब्लब्स कहाँ स्टोर होते हैं और कितनी डिस्क स्पेस की योजना बनाएं

Ollama कंटेनर के अंदर /root/.ollama/models में वेट्स (weights) लिखता है। यूजर की होम डायरेक्टरी से एक डायरेक्टरी को इस पाथ पर बाइंड करें, जिससे फाइलें ऐसी जगह स्टोर होंगी जिन्हें आप माप सकें: /home/ollama/ollama-data/models। ब्लब्स models/blobs में कंटेंट-एड्रेस्ड फाइलों के रूप में जाते हैं, और models/manifests में वह छोटा इंडेक्स होता है जो उन्हें नाम देता है। यदि आप इसके बजाय नेम्ड वॉल्यूम का उपयोग करते हैं, जैसा कि Fedora Magazine पोस्ट में किया गया है, तो वही ट्री /home/ollama/.local/share/containers/storage/volumes/<volume>/_data के अंतर्गत रहता है। किसी भी स्थिति में ollama pull और ollama run एक ही ट्री में वेट्स लिखते हैं, और दोनों कमांड्स के बीच का अंतर केवल यह है कि डाउनलोड पूरा होने के बाद चैट सेशन खुलता है या नहीं।

कुछ भी पुल (pull) करने से पहले डिस्क का आकार निर्धारित करें। प्रकाशित डाउनलोड साइज आपको न्यूनतम सीमा बताते हैं।

चार्टPublished download size per Ollama model tag, ollama.com/library, checked 27 October 2026
इस चार्ट के पीछे का डेटा
[
  {
    "label": "gemma3:4b",
    "download_gb": 3.4
  },
  {
    "label": "mistral:7b",
    "download_gb": 4.4
  },
  {
    "label": "qwen3:8b",
    "download_gb": 5.2
  },
  {
    "label": "gemma3:12b",
    "download_gb": 8.2
  },
  {
    "label": "qwen3:14b",
    "download_gb": 9.3
  },
  {
    "label": "gemma3:27b",
    "download_gb": 17
  },
  {
    "label": "qwen3:30b",
    "download_gb": 19
  }
]

सभी 7 पंक्तियाँ ollama.com/library पर प्रकाशित आंकड़े हैं, न कि डिस्क पर मापे गए साइज। यहाँ सबसे छोटा टैग, gemma3:4b, 3.4 GB डाउनलोड करता है। सबसे बड़ा, qwen3:30b, 19 GB डाउनलोड करता है। कंटेनर इमेज स्वयं Podman के अपने स्टोरेज में इसके ऊपर रहती है, इसलिए podman system df और df -h /home के साथ दोनों संख्याओं की एक साथ जाँच करें। अच्छे प्रदर्शन के लिए, RAM में मॉडल के फाइल साइज के बराबर जगह और कॉन्टेक्स्ट विंडो के लिए अतिरिक्त जगह की योजना बनाएं। फिजिकल RAM कोई कठोर सीमा नहीं है: डिस्क-बेस्ड मेमोरी मैपिंग या पर्याप्त स्वैप (swap) 19 GB के मॉडल को 16 GB के VPS पर चलाने की अनुमति दे सकते हैं, हालांकि प्रदर्शन कम हो जाएगा।

इमेज टैग को पिन करें और पूर्ण रजिस्ट्री नाम का उपयोग करें

sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
mkdir -p ~/ollama-data ~/.config/containers/systemd
podman pull docker.io/ollama/ollama:0.32.9

एक रिलीज़ किए गए वर्ज़न टैग का उपयोग करें, अगस्त 2026 तक 0.32.9, न कि latest। तब से नए वर्ज़न रिलीज़ हो चुके हैं: 30 अक्टूबर 2026 को Docker Hub पर सबसे नया प्लेन वर्ज़न टैग 0.40.13 है, इसलिए टैग्स पेज देखें और pull कमांड तथा Image= लाइन दोनों में वर्तमान रिलीज़ का उपयोग करें। एक पिन किया गया वर्ज़न टैग उन रिलीज़ को सर्वर से दूर रखता है जिन्हें आपने नहीं चुना है, इसलिए व्यवहार में कोई भी बदलाव सामान्यतः आपके द्वारा किया गया बदलाव होता है। हालाँकि, एक टैग अभी भी केवल एक पॉइंटर है, फिंगरप्रिंट नहीं: जब भी कोई उसी नाम के तहत दोबारा पुश करता है, तो रजिस्ट्री इसे एक अलग इमेज पर ले जाती है, और केवल एक डाइजेस्ट ही स्थिर रहता है। Podman Image= में दोनों रूपों को स्वीकार करता है। यदि 04:00 बजे होने वाले रीस्टार्ट को बिल्कुल उसी बाइनरी को चलाना है जिसका आपने परीक्षण किया है, तो पुल करने के बाद podman images --digests docker.io/ollama/ollama चलाएं और इसके बजाय Image=docker.io/ollama/ollama@sha256:<digest> लिखें। Docker Hub समान वर्ज़न के लिए -rc और -rocm टैग भी प्रकाशित करता है; जब तक आपके पास AMD GPU न हो, तब तक प्लेन टैग ही चुनें।

रजिस्ट्री होस्ट भी लिखें। Fedora पर systemd यूनिट में एक छोटे नाम के पास प्रॉम्प्ट करने के लिए कोई टर्मिनल नहीं होता है, और यूनिट इस त्रुटि के साथ विफल हो जाती है:

Error: short-name "ollama/ollama" did not resolve to an alias and no unqualified-search registries are defined

हाथ से पुल करना वैकल्पिक है लेकिन उपयोगी है, क्योंकि यह मल्टी-गीगाबाइट डाउनलोड को यूनिट के स्टार्ट टाइमआउट से बाहर ले जाता है।

Quadlet unit जो रीबूट के बाद भी बना रहता है

Quadlet, Podman का systemd जनरेटर है। आप एक .container फ़ाइल लिखते हैं, systemd इसे बूट के समय एक सर्विस में बदल देता है, और podman generate systemd की आवश्यकता नहीं रहती। इसे /home/ollama/.config/containers/systemd/ollama.container के रूप में सेव करें, जिसका स्वामित्व ollama यूज़र के पास हो।

[Unit]
Description=Ollama API (rootless)
After=network-online.target
Wants=network-online.target

[Container]
Image=docker.io/ollama/ollama:0.32.9
ContainerName=ollama
PublishPort=127.0.0.1:11434:11434
Volume=/home/ollama/ollama-data:/root/.ollama:Z
Environment=OLLAMA_KEEP_ALIVE=30m
Environment=OLLAMA_MAX_LOADED_MODELS=1

[Service]
Restart=always
TimeoutStartSec=900

[Install]
WantedBy=default.target

फ़ाइल का नाम सर्विस का नाम निर्धारित करता है, इसलिए ollama.container का नाम ollama.service हो जाता है।

systemctl --user daemon-reload
systemctl --user start ollama.service
systemctl --user status ollama.service

status को active (running) दिखाना चाहिए। systemctl --user enable ollama.service को रन न करें। यह यूनिट डिस्क पर फ़ाइल के रूप में मौजूद नहीं है, इसलिए systemd इसे अस्वीकार कर देता है:

Failed to enable unit: Unit file /run/user/1001/systemd/generator/ollama.service is transient or generated.

[Install] सेक्शन पहले से ही यह काम करता है। Quadlet स्वयं daemon-reload के दौरान बूट-पर-स्टार्ट लिंक बनाता है, इसीलिए वह कमांड वैकल्पिक नहीं है। TimeoutStartSec=900 पहले स्टार्ट को कवर करता है जिसे अभी भी इमेज पुल करनी है, क्योंकि डिफ़ॉल्ट 90 सेकंड मल्टी-गीगाबाइट डाउनलोड के लिए पर्याप्त नहीं हैं और systemd स्टार्ट को विफल मानकर समाप्त कर देगा। OLLAMA_KEEP_ALIVE=30m पांच मिनट बाद मॉडल को अनलोड करने के बजाय अनुरोधों के बीच उसे मेमोरी में रखता है; इसके फायदे और नुकसान Ollama मॉडल को मेमोरी में लोड रखने में दिए गए हैं। यदि यहाँ उपयोग की गई systemd शब्दावली आपके लिए नई है, तो VPS पर systemd सर्विस और टाइमर कैसे काम करते हैं में यूनिट्स के बारे में विस्तार से बताया गया है।

SELinux के अंतर्गत model डायरेक्टरी permission denied क्यों दिखाती है

Fedora, RHEL, Rocky और AlmaLinux पर, SELinux डिफ़ॉल्ट रूप से लागू (enforcing) होता है। एक container process container_t डोमेन में चलती है, और उपयोगकर्ता की home डायरेक्टरी को user_home_t लेबल दिया जाता है। policy एक को दूसरे को छूने की अनुमति नहीं देती है, इसलिए Ollama अपनी model ट्री नहीं बना पाता और container बंद हो जाता है। इन सिस्टम पर getenforce चलाने पर Enforcing प्रिंट होता है, और denial रिकॉर्ड हो जाता है:

sudo ausearch -m avc -ts recent

आपको एक लाइन दिखाई देगी जिसमें डोमेन और target लेबल का नाम होगा:

avc:  denied  { write } for  pid=1842 comm="ollama" name="models" dev="vda1" ino=131077 scontext=system_u:system_r:container_t:s0:c214,c827 tcontext=unconfined_u:object_r:user_home_t:s0 tclass=dir permlisted=0

Volume= लाइन के अंत में दिया गया :Z इसका समाधान है। यह host डायरेक्टरी को container_file_t पर relabel करता है और उस पर एक private MCS (multi-category security) कैटेगरी लगा देता है जिसे केवल यही container धारण करता है। लोअरकेस :z इसके बजाय एक shared लेबल का उपयोग करता है, जो तब आवश्यक होता है जब दो containers एक ही डायरेक्टरी को पढ़ते हैं।

:Z के बारे में एक चेतावनी, क्योंकि यह विनाशकारी है और चुपचाप काम करती है। Relabelling रिकर्सिव (recursively) होती है। यदि आप इसे /home/ollama पर पॉइंट करते हैं, तो उस home डायरेक्टरी की हर फाइल relabel हो जाएगी, जिससे उस उपयोगकर्ता के लिए SSH key access टूट जाएगा। :Z को हमेशा एक समर्पित सब-डायरेक्टरी दें जिसमें कुछ और न हो। Named volumes के लिए इसकी आवश्यकता नहीं होती, क्योंकि Podman उन्हें बनाते समय सही ढंग से लेबल करता है। यदि आपको अधिक विस्तृत जानकारी चाहिए, तो SELinux basics for a server contexts और booleans की व्याख्या करता है। Ubuntu और Debian पर इसके बजाय AppArmor का उपयोग किया जाता है, वहाँ :Z एक no-op है, और इसे unit में छोड़ देना सुरक्षित है।

पोर्ट 11434 को बंद करें और SSH के माध्यम से API तक पहुँचें

PublishPort=127.0.0.1:11434:11434 होस्ट साइड को loopback पर bind करता है। इसकी पुष्टि करें:

ss -ltnp | grep 11434
curl http://127.0.0.1:11434

ss का आउटपुट 127.0.0.1:11434 दिखाना चाहिए, और curl का उत्तर Ollama is running होना चाहिए। यदि ss में 0.0.0.0:11434 या *:11434 दिखता है, तो पोर्ट हर interface पर listen कर रहा है। क्या इंटरनेट इसे एक्सेस कर सकता है, यह आपके firewall rules और सर्वर के सामने मौजूद नेटवर्क पर निर्भर करता है, इसलिए wildcard listener अपने आप expose नहीं होता है। फिर भी, इस पर निर्भर न रहें: Ubuntu का documentation बताता है कि ufw डिफ़ॉल्ट रूप से अक्षम (disabled) होता है, और firewall rule एक ऐसी चीज़ है जिसे हमेशा सही रहना चाहिए। bind address को ठीक करें ताकि पोर्ट कभी भी सार्वजनिक रूप से listen न करे।

इस बारे में सटीक रहें कि आप किस साइड को bind कर रहे हैं। PublishPort में दिया गया पता होस्ट का पता है। कंटेनर के अंदर, Ollama को सभी interfaces पर listen करना जारी रखना चाहिए, जो कि image का डिफ़ॉल्ट है। Environment=OLLAMA_HOST=127.0.0.1 सेट करने से Ollama कंटेनर के अपने loopback पर bind हो जाता है, और Podman पब्लिश किए गए traffic को कंटेनर के नेटवर्क पते पर भेजता है, इसलिए होस्ट से भी हर request रिजेक्ट हो जाती है।

एक खुला 11434 पोर्ट आपको दो तरह से नुकसान पहुँचाता है। Ollama में कोई authentication नहीं है, इसलिए जो कोई भी पोर्ट तक पहुँचता है, वह /api/tags के माध्यम से आपके models की सूची देख सकता है, /api/generate के माध्यम से आपके CPU और bandwidth का उपयोग करके inference चला सकता है, आपकी डिस्क पर नए models डाउनलोड कर सकता है, और आपके मौजूदा models को डिलीट कर सकता है। दूसरा, रिमोट पोर्ट पर plain HTTP प्रॉम्प्ट और कंप्लीशन को cleartext में भेजता है, इसलिए रास्ते में आने वाली हर मशीन उन्हें पढ़ सकती है। यदि पोर्ट कभी भी बॉक्स से बाहर नहीं जाता है, तो ये दोनों समस्याएँ खत्म हो जाती हैं।

अपने वर्कस्टेशन से, SSH के माध्यम से पोर्ट को फॉरवर्ड करें:

ssh -N -L 11434:127.0.0.1:11434 you@vps.example.com

अब आपके लैपटॉप पर http://127.0.0.1:11434 सर्वर का Ollama है, जो SSH सेशन के एन्क्रिप्शन के अंदर है। यदि आपका लैपटॉप पहले से ही Ollama चला रहा है, तो local bind bind [127.0.0.1]:11434: Address already in use के साथ विफल हो जाएगा; -L 11435:127.0.0.1:11434 का उपयोग करें और अपने क्लाइंट को 11435 पर पॉइंट करें।

जब किसी ब्राउज़र क्लाइंट को इसकी आवश्यकता हो, तो इसके सामने पासवर्ड के साथ एक reverse proxy लगाएँ। Caddy site block छोटा होता है, और caddy hash-password वह bcrypt hash प्रिंट करता है जिसकी उसे आवश्यकता है:

ollama.example.com {
  basic_auth {
    you $2a$14$replace_with_the_generated_hash
  }
  reverse_proxy 127.0.0.1:11434
}

Caddy अपने आप TLS (transport layer security) पर certificate प्राप्त कर लेता है, इसलिए traffic एन्क्रिप्टेड रहता है। पहले अपने क्लाइंट का परीक्षण करें: जो क्लाइंट Authorization header नहीं भेज सकते, वे basic auth के साथ 401 Unauthorized एरर के कारण विफल हो जाएंगे। SSH टनल में ऐसी कोई समस्या नहीं है, इसीलिए यहाँ इसे डिफ़ॉल्ट अनुशंसा के रूप में दिया गया है।

मॉडल को पुल करें और पूरे पाथ की जाँच करें

podman exec -it ollama ollama pull gemma3:4b
curl -s http://127.0.0.1:11434/api/tags
curl -s http://127.0.0.1:11434/api/generate -d '{"model":"gemma3:4b","prompt":"Reply with the single word: ready","stream":false}'
du -sh ~/ollama-data/models

/api/tags कमांड JSON लिस्टिंग लौटाता है जिसमें gemma3:4b शामिल होता है। /api/generate एक JSON ऑब्जेक्ट लौटाता है जिसमें response फील्ड होता है, डिस्क से वेट्स (weights) लोड होने के दौरान कुछ समय का पॉज़ होता है। du को प्रकाशित डाउनलोड साइज़ के करीब एक संख्या दिखानी चाहिए। इसके बाद उस हिस्से को प्रमाणित करें जिसके बारे में यह पूरी गाइड है:

sudo reboot
# reconnect, then:
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user is-active ollama.service

active का अर्थ है कि प्रोसेस अभी भी चल रही है, [Install] सेक्शन और daemon-reload ने अपना काम पूरा कर लिया है। यदि यह inactive रिपोर्ट करता है, तो पहले उन तीनों की जाँच करें, फिर स्टार्टअप एरर्स के लिए journalctl --user -u ollama.service का निरीक्षण करें।

विफलता के प्रकार और उनसे संबंधित संकेत

Reboot के बाद container गायब हो जाता है। सबसे पहले loginctl show-user ollama --property=Linger की जाँच करें, क्योंकि Linger=yes के बिना user का systemd instance boot के समय start नहीं होता है। यदि lingering चालू है, तो .container फ़ाइल में [Install] section देखें, systemctl --user daemon-reload चलाएँ, और startup त्रुटियों के लिए journalctl --user -u ollama.service का निरीक्षण करें।

Error: statfs /home/ollama/ollama-data: no such file or directory। Container start होने से पहले bind mount source का मौजूद होना आवश्यक है। Podman आपके लिए host directories नहीं बनाता है। ollama user के रूप में mkdir -p ~/ollama-data चलाएँ।

Start होने में 90 seconds पर विफलता। journalctl --user -u ollama.service में Start operation timed out. Terminating. दिखाई देता है क्योंकि image pull अभी भी चल रहा था। इसे मैन्युअल रूप से pull करें, या TimeoutStartSec=900 को बनाए रखें।

Container start होकर बंद हो जाता है। podman logs ollama और sudo ausearch -m avc -ts recent एक साथ आपको बताते हैं कि क्या यह SELinux label के कारण है। container_t और user_home_t को दर्शाने वाला AVC यह बताता है कि :Z अनुपस्थित है।

Host से requests अस्वीकार कर दी जाती हैं। Service active के साथ curl: (7) Failed to connect to 127.0.0.1 port 11434: Connection refused का अर्थ आमतौर पर यह है कि container के अंदर OLLAMA_HOST को loopback address पर set किया गया था। उस line को हटा दें।

Generation बहुत धीमी है, या container बंद हो जाता है। GPU न होने पर, inference CPU पर चलता है और एक बड़ा model स्वाभाविक रूप से धीमा होता है। जब model physical RAM में फिट नहीं होता है, तो disk-backed memory mapping या swap inference को और धीमा कर देते हैं। यदि logs में signal: killed के साथ कोई container request के बीच में ही बंद हो जाता है, तो उसके कारण की जाँच करें; यदि kernel log out-of-memory kill की पुष्टि करता है, तो ऊपर दिए गए chart से एक छोटा tag चुनें।

Pinned image को अपडेट करना

Pinning का अर्थ है कि अपडेट आप स्वयं करते हैं, वे अपने आप नहीं होते। Image= को ollama.container में एडिट करें, फिर reload और restart करें:

systemctl --user daemon-reload
systemctl --user restart ollama.service
podman exec ollama ollama --version

Models bind mount में रहते हैं, इसलिए image बदलने पर भी वे सुरक्षित रहते हैं। [Container] सेक्शन में AutoUpdate=registry registry के विरुद्ध digest checks को कॉन्फ़िगर करता है; podman auto-update, जिसे मैन्युअल रूप से या इसके systemd timer द्वारा चलाया जाता है, बदली हुई image को pull करता है और unit को restart करता है। यह एक moving tag के लिए उपयुक्त है। Version tag के साथ यह केवल तभी चलता है जब publisher उसी tag को दोबारा push करता है, जो कि वह अनियोजित बदलाव है जिसे रोकने के लिए pinning का उपयोग किया जाता है, इसलिए इसे यहाँ बंद रखें। /home/ollama/ollama-data/models/manifests और .container फ़ाइल का बैकअप लें, और blobs को छोड़ दें: वे बड़े होते हैं, और ollama pull उन्हें नए बॉक्स पर फिर से fetch कर लेता है।

FAQ

मेरा rootless Podman container लॉग आउट करने पर क्यों रुक जाता है?

किसी user का systemd instance और उसकी /run/user/<uid> directory सामान्यतः उस user के अंतिम session के समाप्त होने के बाद बंद कर दी जाती है, जिससे उस instance द्वारा प्रबंधित services भी रुक जाती हैं। sudo loginctl enable-linger ollama चलाएं और सुनिश्चित करें कि loginctl show-user ollama --property=Linger का आउटपुट Linger=yes है। Quadlet unit बनाने से पहले lingering को enable करें ताकि user manager और उसकी runtime directory बिना किसी login session के भी उपलब्ध रहे।

क्या मुझे Ollama model directory पर SELinux labels की आवश्यकता है?

Fedora, RHEL, Rocky और AlmaLinux पर, यदि आप host directory को bind mount करते हैं, तो हाँ। Container container_t domain में चलता है और home folder की directory को user_home_t लेबल किया जाता है, इसलिए write operation को अस्वीकार कर दिया जाता है और Ollama बंद हो जाता है। Volume= line में :Z जोड़ें और इसे एक समर्पित subdirectory दें, क्योंकि relabelling recursive होती है और :Z को पूरी home directory पर point करने से उस user का SSH key access टूट सकता है। Named volumes को Podman द्वारा सही ढंग से लेबल किया जाता है और उन्हें किसी अतिरिक्त कॉन्फ़िगरेशन की आवश्यकता नहीं होती।

Ollama model को कितनी disk space की आवश्यकता होती है?

ollama.com/library पर प्रकाशित download size से शुरुआत करें, जो gemma3:4b के लिए 3.4 GB से लेकर qwen3:30b के लिए 19 GB तक होती है। इसमें Podman image का आकार जोड़ें, और फिर कुछ अतिरिक्त जगह खाली रखें, क्योंकि दूसरा model disk पर पहले वाले को replace नहीं करता। pull करने से पहले df -h /home और बाद में du -sh ~/ollama-data/models की जाँच करें। बेहतर प्रदर्शन के लिए, model की file size के बराबर RAM और context window के लिए अतिरिक्त जगह की योजना बनाएं। Disk-backed memory mapping या पर्याप्त swap का उपयोग करके कम physical RAM के साथ भी बड़े model चलाए जा सकते हैं, हालांकि इससे प्रदर्शन कम हो जाता है।

क्या VPS पर port 11434 को expose करना सुरक्षित है?

नहीं। Ollama में किसी भी प्रकार का authentication नहीं होता है, इसलिए जो कोई भी इस port तक पहुँचता है, वह आपके models की सूची देख सकता है, उन्हें हटा सकता है, नए models disk पर download कर सकता है, और आपके CPU तथा bandwidth का उपयोग करके inference चला सकता है। इंटरनेट पर plain HTTP का उपयोग करने से हर prompt और completion cleartext में भेजा जाता है। Host side को PublishPort=127.0.0.1:11434:11434 के साथ 127.0.0.1 पर bind करें, ss -ltnp | grep 11434 से पुष्टि करें, और इसे केवल SSH tunnel या ऐसे reverse proxy के माध्यम से एक्सेस करें जिसमें password की आवश्यकता हो।

क्या यह लेख उपयोगी था?