SSD Nodes Learn Hosting plans →
गाइड Matt Connorलेखक: Matt Connor

Ollama pull और run में क्या अंतर है? मॉडल कहाँ सेव होते

Ollama pull और run के बीच का अंतर समझें। जानें कि ये मॉडल फाइलें VPS की डिस्क क्यों भरती हैं और उन्हें सुरक्षित रूप से दूसरे स्थान पर कैसे मूव किया जा सकता है।

ollama pull बनाम ollama run

ollama pull एक मॉडल को डाउनलोड करता है और रुक जाता है। एक लोकल चैट मॉडल के लिए, ollama run मॉडल को केवल तभी डाउनलोड करता है यदि वह मौजूद न हो, फिर उसे मेमोरी में लोड करता है और एक इंटरैक्टिव चैट खोलता है। डाउनलोड की प्रक्रिया समान है और फाइलें एक ही स्थान पर सेव होती हैं। केवल run इसके बाद भी चलता रहता है। एम्बेडिंग मॉडल चैट वाले हिस्से के अपवाद हैं: आधिकारिक डॉक्यूमेंटेशन दिखाता है कि ollama run embeddinggemma "Hello world" रिप्लाई के बजाय एम्बेडिंग को JSON ऐरे के रूप में प्रिंट करता है। इनपुट टेक्स्ट के बिना, ollama run एक एम्बेडिंग मॉडल को embedding models require input text के साथ रिजेक्ट कर देता है।

यह एक अंतर तय करता है कि कौन सा कमांड स्क्रिप्ट में इस्तेमाल होना चाहिए और कौन सा कीबोर्ड पर।

ollama pull gemma4
ollama run gemma4
ollama run gemma4 "Reply with one word: ready"

पहली लाइन मॉडल को फेच करती है और एग्जिट हो जाती है, इसलिए यह प्रोविजनिंग और systemd यूनिट में सुरक्षित है। दूसरी लाइन एक चैट सेशन खोलती है; इसे छोड़ने के लिए /bye टाइप करें या Ctrl+D दबाएं। तीसरी लाइन एक सिंगल प्रॉम्प्ट भेजती है, उत्तर प्रिंट करती है और एग्जिट हो जाती है, जो कि वह फॉर्म है जिसे स्क्रिप्ट तब चाहती है जब उसे सेशन के बजाय उत्तर की आवश्यकता हो। वह तीसरा फॉर्म अभी भी उत्तर की लंबाई को पूरी तरह से मॉडल पर छोड़ देता है, इसलिए एक लाइन का प्रश्न तीन पैराग्राफ के रूप में वापस आ सकता है, और num_predict के साथ उत्तर को सीमित करना वह तरीका है जो एक स्क्रिप्टेड run को उस आकार के भीतर रखता है जिसे कॉलर वास्तव में उपयोग कर सके। मॉडल के नाम तेजी से बदलते हैं, इसलिए यहाँ gemma4 को एक प्लेसहोल्डर मानें: यह वह उदाहरण है जिसका उपयोग आधिकारिक Ollama डॉक्यूमेंटेशन अक्टूबर 2026 तक करता है; उसी वर्कफ़्लो के लिए किसी अन्य लोकल चैट मॉडल को प्रतिस्थापित करें। :cloud पर समाप्त होने वाले टैग, जैसे कि gemma4:cloud, अलग हैं: Ollama उन्हें मॉडल वेट्स डाउनलोड किए बिना अपने स्वयं के सर्वर पर चलाता है, इसलिए नीचे दी गई डिस्क स्पेस लोकल मॉडल्स के लिए है। यदि आप किसी ऐसे मॉडल को प्रतिस्थापित करना पसंद करते हैं जिसे किसी ने पहले ही एक वास्तविक सर्वर के लिए साइज किया है, तो VPS पर Nemotron 3.5 Lightning चलाना पुल करने के लिए सटीक टैग और मेमोरी की जानकारी देता है जिसकी उसे आवश्यकता होती है।

Ollama को पहली बार चलाने पर वह रुका हुआ क्यों लगता है

एक नए VPS पर पहली बार run चलाने पर कई मिनटों तक कोई आउटपुट नहीं दिखता है। कुछ भी खराब नहीं हुआ है। चैट प्रॉम्प्ट तब तक दिखाई नहीं दे सकता जब तक मॉडल डिस्क पर न आ जाए और मेमोरी में लोड न हो जाए, इसलिए run आपको कुछ भी दिखाने से पहले कई गीगाबाइट का डाउनलोड कर रहा होता है।

दो चीजें इस काम को छिपा देती हैं। Ollama अपनी प्रोग्रेस बार को standard error पर लिखता है, इसलिए जहाँ भी उस स्ट्रीम को हटा दिया जाता है या बाद में पढ़ा जाता है, जैसे कि 2>/dev/null पर समाप्त होने वाली स्क्रिप्ट या cron job, वहाँ आपको डाउनलोड चलने की कोई सूचना नहीं मिलती। फिर, एक बार बाइट्स आ जाने के बाद, पहले टोकन से पहले फाइल को डिस्क से RAM में पढ़ा जाना चाहिए, और एक छोटे VPS पर यह रीडिंग धीमी होती है। यदि बॉक्स में मॉडल के लिए पर्याप्त मेमोरी नहीं है, तो कर्नल स्वैपिंग शुरू कर देता है और प्रतीक्षा का समय काफी बढ़ जाता है।

अनुमान लगाने के बजाय इसे दूसरे सेशन से देखें:

df -h /
watch -n5 df -h /

एक नए बॉक्स पर, खाली जगह का चरणों में कम होना यह दर्शाता है कि डाउनलोड अभी भी चल रहा है। खाली जगह का कम होना बंद हो जाना जबकि कमांड अभी भी व्यस्त है, यह साबित नहीं करता कि लोडिंग शुरू हो गई है: डाउनलोड करने के बाद, Ollama एक अलग verifying sha256 digest चरण निष्पादित करता है जो मैनिफेस्ट लिखने और पुल पूरा करने से पहले फाइलों को पढ़ता है। जिस बॉक्स में पहले से मॉडल मौजूद थे, वह Ollama 0.40.2 पर आपको भ्रमित कर सकता है: पुराने संस्करण के साथ डाउनलोड किए गए मॉडल को पहली बार चलाने पर बैकग्राउंड में एक अपग्रेडेड कॉपी लिखी जाती थी और मूल फाइल को बैकअप के रूप में रखा जाता था, इसलिए बिना किसी डाउनलोड के भी खाली जगह कम हो सकती थी। 11 अक्टूबर 2026 को जारी Ollama 0.40.3 ने उस बैकग्राउंड अपग्रेड को रोक दिया है।

यही कारण है कि पहले से पुल (pull) करके रखना बेहतर होता है। जो व्यक्ति ollama run टाइप करता है, उसे डाउनलोड के लिए इंतजार नहीं करना चाहिए।

किसी के द्वारा अनुरोध करने से पहले मॉडल को pull करें

यही बात उन सभी चीजों पर लागू होती है जो व्यक्ति नहीं हैं: आपके Ollama endpoint पर पॉइंट किया गया एक coding agent को 'model-not-found' त्रुटि मिलती है यदि अनुरोधित local मॉडल को pull नहीं किया गया है; एक inference अनुरोध इसे डाउनलोड नहीं करता है। एक नए सर्वर पर, उसी script में pull कमांड शामिल करें जो सर्वर को install करती है:

curl -fsSL https://ollama.com/install.sh | sh
ollama pull gemma4

यदि आप पहली बार सर्वर तैयार कर रहे हैं, तो VPS पर पूर्ण Ollama install सेवा और उसे एक्सेस करने की अनुमति प्राप्त उपयोगकर्ताओं को कवर करता है। उसके बाद, एक ऐसा pull सेटअप करना सार्थक है जो आपके terminal के बंद होने के बाद भी चलता रहे, क्योंकि बीच में बंद हुआ डाउनलोड ही वह कारण है जिससे लोगों का मॉडल स्टोर अधूरा रह जाता है।

इसे tmux के अंदर चलाएं, या इसे systemd को एक one-shot unit के रूप में दें जो boot के समय चलता है। /etc/systemd/system/ollama-pull.service लिखें:

[Unit]
Description=Pre-pull Ollama models
Wants=ollama.service network-online.target
After=ollama.service network-online.target

[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/bin/sh -c 'until ollama list >/dev/null 2>&1; do sleep 2; done'
ExecStart=/bin/sh -c 'ollama pull gemma4'

[Install]
WantedBy=multi-user.target

दोनों कमांड जानबूझकर /bin/sh -c के माध्यम से चलते हैं। एक साधारण ExecStart= एक absolute path या systemd के निश्चित search path के माध्यम से हल किए गए एक साधारण executable नाम को स्वीकार करता है; command -v ollama वह path दिखाता है जिसे आपका वर्तमान shell ढूंढता है। Shell के माध्यम से जाने पर, किसी गाइड से कॉपी किए गए path के बजाय service PATH का उपयोग होता है। पहला ExecStart भी मायने रखता है: After=ollama.service का अर्थ है कि सर्वर unit शुरू हो गई है, जो 'ready' होने के समान नहीं है, इसलिए loop तब तक प्रतीक्षा करता है जब तक कि ollama list उत्तर न दे दे, उसके बाद ही pull शुरू होता है।

sudo systemctl daemon-reload
sudo systemctl enable --now ollama-pull.service
journalctl -u ollama-pull.service

Journal में दिखना चाहिए कि pull बिना किसी त्रुटि के समाप्त हो गया है, और ollama list को तब मॉडल दिखाना चाहिए। एक moving tag को वर्तमान रखने के लिए, एक systemd timer या साप्ताहिक cron entry जोड़ें जो वही pull चलाए। एक ऐसे tag को फिर से pull करने पर जो बदल गया है, नए layers डाउनलोड हो जाते हैं और, अधिकांश मॉडलों के लिए, उस pull के अंत में उन पुरानी layers को हटा दिया जाता है जिनका उपयोग कोई अन्य नहीं कर रहा है।

जब pull बाधित हो जाए तो क्या होता है

मॉडल की प्रत्येक layer उसकी अपनी सामग्री के hash के अंतर्गत store की जाती है। इसलिए, बाधित हुआ pull व्यर्थ नहीं जाता है: उसी ollama pull को दोबारा चलाएं, और जो layers पहले ही पूरी हो चुकी हैं उन्हें पहचान कर छोड़ दिया जाएगा, जिससे download उस layer से जारी रहेगा जहाँ वह रुका था।

एक क्रिया उस प्रगति को नष्ट कर सकती है। जब Ollama server start होता है, तो यह partial downloads और उन stored layers को हटा देता है जिन्हें कोई भी model manifest refer नहीं करता है, और एक dead pull द्वारा छोड़े गए टुकड़े बिल्कुल वही होते हैं। वर्तमान releases (0.40.11, 26 October 2026 को जाँचा गया) पिछले एक घंटे में लिखी गई किसी भी file को छोड़ देते हैं, इसलिए pull के रुकने के तुरंत बाद restart करना सुरक्षित है, लेकिन घंटों बाद restart करने पर आपके द्वारा पहले ही download किया गया हिस्सा हट जाता है। पहले pull को retry करें और बाद में restart करें। यदि किसी partial download को restart के बाद भी बचाए रखना आवश्यक है, तो service environment में OLLAMA_NOPRUNE=1 set करें, और फिर उसे हटा दें, क्योंकि वह variable प्रत्येक pull के अंत में होने वाली सफाई (cleanup) को भी बंद कर देता है, और वे दो cleanups ही हैं जो orphaned layers को disk पर जमा होने से रोकते हैं।

यदि pull no space left on device के साथ रुक गया है, तो retry करने से पहले space खाली करें। यदि df disk के full होने की रिपोर्ट देता है और model directory पर du इसका हिसाब नहीं दे पा रहा है, तो वह space कहीं और इस्तेमाल हो रही है, और कुछ भी delete करने से पहले df और du के असहमत होने के कारण को पढ़ना उपयोगी है।

VPS पर Ollama मॉडल्स कहाँ स्टोर करता है?

किसी भी गाइड (जिसमें यह भी शामिल है) में दिए गए पाथ पर भरोसा करने के बजाय अपने सर्वर से ही पूछें। यह लोकेशन पैकेज इंस्टॉलेशन और कंटेनर के बीच अलग होती है, और यदि किसी ने OLLAMA_MODELS सेट किया है तो यह फिर से बदल जाती है।

systemctl cat ollama.service
getent passwd ollama
sudo find / -xdev -type d -name blobs 2>/dev/null

systemctl cat यूनिट फाइल को हर ड्रॉप-इन के साथ प्रिंट करता है, इसलिए आपके द्वारा सेट की गई या आपकी इमेज में पहले से मौजूद OLLAMA_MODELS लाइन वहाँ दिखाई देगी। यदि ऐसी कोई लाइन नहीं है, तो स्टोर उस अकाउंट की होम डायरेक्टरी के अंतर्गत होता है जिसके तहत सर्विस चलती है, और getent passwd उस होम डायरेक्टरी को छठे कोलन-सेपरेटेड फील्ड में प्रिंट करता है। find एक फाइलसिस्टम में blobs डायरेक्टरी को खोजता है, जहाँ वास्तव में लेयर्स लिखी जाती हैं। यदि मॉडल्स पहले से ही किसी अलग माउंट पर हो सकते हैं, तो -xdev को छोड़ दें।

अब मापें, और अपने स्वयं के आंकड़े पढ़ें:

ollama list
df -h /
sudo du -sh /the/directory/you/found
sudo du -h -d1 /the/directory/you/found

स्टोर में दो प्रकार की सामग्री होती है। मैनिफेस्ट डायरेक्टरीज (manifests, जो वर्तमान रिलीज में manifests-v2 द्वारा जुड़ी होती हैं) में छोटी फाइलें होती हैं जो प्रत्येक मॉडल टैग के लिए उन लेयर्स की सूची रखती हैं जिनसे वह बना है। blobs में स्वयं लेयर्स होती हैं, जिनमें से प्रत्येक का नाम उसकी सामग्री के हैश के आधार पर रखा जाता है, और अधिकांश साइज यहीं होता है। चूंकि लेयर्स को टैग्स के बीच साझा किया जाता है, इसलिए समान वेट्स पर बने दो मॉडल ollama list में अपना-अपना साइज दिखाते हैं जबकि डिस्क पर वे उस जगह को केवल एक बार घेरते हैं, इसलिए सूचीबद्ध साइज का योग du द्वारा डायरेक्टरी के लिए रिपोर्ट किए गए साइज से अधिक हो सकता है। इसके विपरीत, Ollama 0.40.2 से एक अलग तरह का आश्चर्य मिलता है: जिन मॉडल्स को इसने बैकग्राउंड में अपग्रेड किया है, वे अपनी मूल कॉपी को बैकअप के रूप में डिस्क पर रखते हैं, जिसे ollama list दो बार नहीं दिखाता है, इसलिए du लिस्ट के सुझाव से कहीं अधिक साइज रिपोर्ट कर सकता है। 0.40.2 रिलीज नोट्स में एक स्क्रिप्ट शामिल है जो केवल उन बैकअप्स को हटाती है।

मॉडल फाइलें एक छोटे VPS रूट फाइलसिस्टम को किसी भी अन्य चीज़ की तुलना में तेज़ी से भर देती हैं जिसे आप इंस्टॉल कर सकते हैं, और उनके साइज को नियंत्रित करने वाला सबसे बड़ा कारक वेट फॉर्मेट है। q4, q8 और fp16 के बीच चयन करना प्रति मॉडल गीगाबाइट्स की बचत करा सकता है।

OLLAMA_MODELS के साथ मॉडल्स को डेटा वॉल्यूम पर ले जाना

यदि प्लान में दूसरी डिस्क या बड़ा डेटा वॉल्यूम उपलब्ध है, तो रूट फाइलसिस्टम के भरने से पहले स्टोर को स्थानांतरित कर दें। सबसे पहले सर्वर को रोकें, ताकि आप ऐसी फाइल कॉपी न करें जो अभी भी लिखी जा रही हो।

sudo systemctl stop ollama
sudo mkdir -p /mnt/data/ollama-models
sudo rsync -a /the/directory/you/found/ /mnt/data/ollama-models/
sudo chown -R ollama:ollama /mnt/data/ollama-models
sudo systemctl edit ollama.service

systemctl edit एक ड्रॉप-इन फाइल पर एडिटर खोलता है, ताकि पैकेज्ड यूनिट में कोई बदलाव न हो और पैकेज अपग्रेड आपके बदलाव को ओवरराइट न कर सके। ये दो लाइनें जोड़ें:

[Service]
Environment="OLLAMA_MODELS=/mnt/data/ollama-models"
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment
ollama list

systemctl show को आपका नया पाथ प्रिंट करना चाहिए, और ollama list को वही मॉडल्स दिखाने चाहिए जो मूव करने से पहले दिख रहे थे। यदि लिस्ट खाली है, तो जाँचें कि नई डायरेक्टरी में कॉपी किया गया स्टोर मौजूद है और सर्वर उसे पढ़ सकता है। सर्विस ollama यूजर के रूप में चलती है, इसलिए उस यूजर को डेस्टिनेशन पर रीड और राइट एक्सेस की आवश्यकता होती है, जो ऊपर दी गई chown लाइन का कार्य है। नए पाथ का नाम बताने वाली परमिशन एरर्स के लिए journalctl -e -u ollama की जाँच करें। पुरानी कॉपी को केवल तभी डिलीट करें जब लिस्ट सही हो, क्योंकि मूव फेल होने और सोर्स डिलीट हो जाने का मतलब है कि सब कुछ दोबारा डाउनलोड करना पड़ेगा।

दूसरा विकल्प ओरिजिनल पाथ को बनाए रखना और उस पर डेटा वॉल्यूम को माउंट करना है:

echo '/mnt/data/ollama-models /the/directory/you/found none bind 0 0' | sudo tee -a /etc/fstab
sudo mount -a
findmnt /the/directory/you/found
df -h /

findmnt द्वारा माउंट प्रिंट होने का मतलब है कि बाइंड लाइव है। बाइंड माउंट तब उपयोगी होता है जब बॉक्स पर कोई अन्य चीज पहले से ही डिफॉल्ट लोकेशन की अपेक्षा कर रही हो। इसमें एक समस्या है: जो फाइलें आपने बाहर कॉपी की हैं, वे अभी भी रूट डिस्क पर माउंट पॉइंट के नीचे मौजूद हैं और माउंट द्वारा छिपी हुई हैं, इसलिए जब तक आप उन्हें अनमाउंट करके हटा नहीं देते, तब तक स्पेस वापस नहीं मिलता। एनवायरनमेंट वेरिएबल उन लोगों के लिए समझने में आसान है जो बाद में लॉग इन करेंगे।

कंटेनर इन्हें कहाँ रखता है

Official image मॉडल्स को उस स्थान पर स्टोर करता है जिसे आप माउंट करते हैं, न कि किसी ऐसे host directory में जो ollama user से संबंधित हो। प्रलेखित run command यह है:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

ollama कोलन से पहले एक named Docker volume है, और /root/.ollama वह स्थान है जहाँ सर्वर कंटेनर के अंदर लिखता है। इसलिए पिछले सेक्शन के paths के विरुद्ध du चलाने पर कुछ नहीं मिलता, क्योंकि वहाँ कुछ है ही नहीं। वास्तविक स्थान और आकार प्रिंट करें:

docker volume inspect ollama
docker system df -v
docker exec -it ollama ollama list

docker volume inspect से Mountpoint फ़ील्ड पढ़ें, फिर उसके विरुद्ध sudo du -sh चलाएँ। मॉडल्स को data volume पर रखने के लिए, named volume को एक host directory (-v /mnt/data/ollama:/root/.ollama) से बदलें और कंटेनर को फिर से बनाएँ। कंटेनर root के रूप में लिखता है, इसलिए वह host directory अंततः root के स्वामित्व में आ जाती है। rootless Podman के अंतर्गत, कंटेनर root डिफ़ॉल्ट रूप से आपके host user के UID और GID पर मैप होता है, जबकि अन्य कंटेनर IDs subordinate ranges का उपयोग करते हैं: rootless Podman के अंतर्गत Ollama चलाना उस मैपिंग को कवर करता है।

cleanup के बारे में एक चेतावनी। एक साधारण docker volume prune केवल anonymous volumes को हटाता है, इसलिए यह named ollama volume को सुरक्षित रखता है, लेकिन docker volume prune --all हर उस volume को हटा देता है जिसे कोई कंटेनर संदर्भित नहीं करता, जिसमें named volumes भी शामिल हैं। ollama कंटेनर को उसके volume के बिना हटाएँ या फिर से बनाएँ, तो बाद में चलाया गया prune --all आपके द्वारा डाउनलोड किए गए हर मॉडल को हटा देगा, और उन्हें फिर से डाउनलोड करने के अलावा उन्हें वापस पाने का कोई तरीका नहीं होगा। मॉडल्स होस्ट करने वाले बॉक्स पर prune चलाने से पहले VPS पर Docker disk usage को prune कैसे करें पढ़ें।

ollama rm का उपयोग करके मॉडल हटाएँ, rm का नहीं

ollama list
ollama rm gemma4
ollama list
df -h /

ollama rm उस टैग के लिए मैनिफेस्ट को हटा देता है, और फिर उन लेयर्स को हटा देता है जिन्हें कोई भी शेष मैनिफेस्ट संदर्भित नहीं करता है। जैसे ही वे फाइलें अनलिंक होती हैं, डिस्क स्पेस वापस मिल जाता है, इसलिए df तुरंत प्रभावी हो जाता है। चूंकि लेयर्स साझा (shared) होती हैं, इसलिए दो निकट संबंधित टैग्स में से एक को हटाने पर, उसके बगल में छपे ollama list आकार की तुलना में बहुत कम स्पेस खाली हो सकता है। यह सही व्यवहार है, न कि डिलीट प्रक्रिया की विफलता।

मैन्युअल रूप से फाइलें डिलीट करने से यह संतुलन बिगड़ जाता है। यदि आप rm से एक ब्लॉब (blob) हटाते हैं और मैनिफेस्ट में वह अभी भी सूचीबद्ध है, तो ollama list मॉडल को दिखाना जारी रखेगा, और जब भी उस गायब लेयर को पढ़ने का प्रयास किया जाएगा, तो उसका उपयोग विफल हो जाएगा। यदि आप मैनिफेस्ट को मैन्युअल रूप से हटाते हैं, तो उसकी लेयर्स डिस्क पर बनी रहती हैं और उन्हें कोई पॉइंट नहीं कर रहा होता है, जिससे वह स्पेस घेरे रहता है जिसकी जानकारी कोई भी Ollama कमांड आपको नहीं देगा। यदि आपने पहले ही कोई ब्लॉब डिलीट कर दिया है, तो टैग पर ollama rm चलाने से बचा हुआ एंट्री हट जाता है; यदि आपने मैनिफेस्ट ही डिलीट कर दिया है, तो हटाने के लिए कोई टैग एंट्री शेष नहीं बचती। सर्वर को रीस्टार्ट करने पर वे लेयर्स हट जाती हैं जिन्हें कोई संदर्भित नहीं करता, बशर्ते उन्हें एक घंटे से अधिक समय हो गया हो।

एक अंतिम अंतर, क्योंकि इन दोनों में अक्सर भ्रम होता है। ollama rm डिस्क से संबंधित है। ollama stop gemma4 मॉडल को मेमोरी से अनलोड करता है और डिस्क स्पेस बिल्कुल भी खाली नहीं करता है। डाउनलोड पूरा होने के बाद मॉडल RAM में कितनी देर तक रहता है, यह एक अलग सेटिंग है, और हर रिक्वेस्ट पर रीलोड करने के बजाय मॉडल को लोड रखना में इसे विस्तार से समझाया गया है।

FAQ

ollama pull और ollama run में क्या अंतर है?

ollama pull एक मॉडल को डिस्क पर डाउनलोड करता है और बंद हो जाता है। ollama run यह जाँचता है कि क्या मॉडल पहले से डिस्क पर मौजूद है, यदि नहीं तो उसे डाउनलोड करता है, उसे मेमोरी में लोड करता है और फिर, चैट मॉडल के मामले में, एक इंटरैक्टिव चैट सत्र खोलता है। दोनों ही एक ही डायरेक्टरी में एक जैसी फाइलें लिखते हैं। प्रोविजनिंग और स्क्रिप्ट में pull का उपयोग करें, और जब कोई व्यक्ति कीबोर्ड पर हो तो run का उपयोग करें। ollama run <model> "your prompt" एक प्रॉम्प्ट भेजता है और बंद हो जाता है, जो run का स्क्रिप्ट-योग्य रूप है।

मेरा पहला ollama run हैंग क्यों होता है?

यह डाउनलोड हो रहा हो सकता है, डाउनलोड को सत्यापित कर रहा हो सकता है या मॉडल को लोड कर रहा हो सकता है। चैट प्रॉम्प्ट तब तक दिखाई नहीं दे सकता जब तक मॉडल डिस्क पर न हो और मेमोरी में लोड न हो जाए, और एक मॉडल कई गीगाबाइट का होता है। Ollama अपनी प्रोग्रेस बार को standard error पर लिखता है, इसलिए स्क्रिप्ट के अंदर run जो उस स्ट्रीम को हटा देता है, या cron job के अंदर, काम करते समय आपको कुछ नहीं दिखाता। एक दूसरा सत्र खोलें और watch -n5 df -h / चलाएं: एक नए बॉक्स पर, खाली जगह का चरणों में कम होना यह दर्शाता है कि डाउनलोड प्रगति पर है। डाउनलोड और सत्यापन के इंतजार को खत्म करने के लिए मॉडल को पहले से ही pull कर लें; लोड होने में अभी भी समय लगता है।

Ollama अपने मॉडल कहाँ स्टोर करता है?

लोकेशन इंस्टॉलेशन पर निर्भर करती है, इसलिए अनुमान लगाने के बजाय इसे प्रिंट करें। यह देखने के लिए systemctl cat ollama.service चलाएं कि क्या यूनिट या drop-in में OLLAMA_MODELS सेट है। यदि यह सेट नहीं है, तो स्टोर उस अकाउंट की होम डायरेक्टरी के अंतर्गत रहता है जिसके रूप में सर्विस चलती है, जिसे getent passwd ollama प्रिंट करता है। sudo find / -xdev -type d -name blobs 2>/dev/null सीधे लेयर डायरेक्टरी का पता लगाता है। कंटेनर इमेज के लिए, स्टोर माउंटेड वॉल्यूम के अंदर होता है, और docker volume inspect ollama इसके होस्ट Mountpoint को प्रिंट करता है।

मैं Ollama मॉडल को दूसरी डिस्क पर कैसे ले जाऊं?

सर्विस को रोकें, rsync -a के साथ स्टोर को नई लोकेशन पर कॉपी करें, sudo chown -R ollama:ollama <directory> के साथ सर्विस अकाउंट को डायरेक्टरी का स्वामित्व दें, फिर sudo systemctl edit ollama.service चलाएं और [Service] लाइन के अंतर्गत Environment="OLLAMA_MODELS=<directory>" जोड़ें। sudo systemctl daemon-reload के साथ रिलोड करें और रीस्टार्ट करें। systemctl show ollama --property=Environment और ollama list के साथ पुष्टि करें। यदि सूची खाली है, तो जाँचें कि नई डायरेक्टरी में कॉपी किया गया स्टोर मौजूद है और ollama यूजर उसे पढ़ सकता है; परमिशन एरर के लिए journalctl -e -u ollama देखें।

क्या मॉडल फाइलें डिलीट करने से जगह खाली हो जाती है?

फाइलों को हाथ से डिलीट करने से बाइट्स तो खाली हो जाते हैं लेकिन स्टोर असंगत (inconsistent) हो जाता है। एक blob को हटाने पर भी मैनिफेस्ट में वह मॉडल सूचीबद्ध रहता है, इसलिए वह ollama list में दिखाई देता रहता है और उपयोग किए जाने पर विफल हो जाता है। एक मैनिफेस्ट को हटाने पर उसकी लेयर्स डिस्क पर बनी रहती हैं और उन्हें कोई रेफर नहीं कर रहा होता। ollama rm <model> का उपयोग करें, जो मैनिफेस्ट को डिलीट करता है और फिर उन लेयर्स को हटाता है जिनकी किसी अन्य मॉडल को आवश्यकता नहीं है। यदि कोई blob पहले ही हाथ से डिलीट कर दिया गया है, तो एंट्री को क्लियर करने के लिए टैग पर ollama rm चलाएं। यदि मैनिफेस्ट डिलीट कर दिया गया है, तो हटाने के लिए कोई टैग एंट्री नहीं बची है। उन लेयर्स को हटाने के लिए सर्वर को रीस्टार्ट करें जिन्हें कोई मैनिफेस्ट रेफर नहीं करता है, एक बार जब वे एक घंटे से अधिक पुरानी हो जाएं।

क्या यह लेख उपयोगी था?