Ollama model को memory में loaded कैसे रखें
Ollama 5 मिनट idle रहने पर model unload करता है। systemd override में OLLAMA_KEEP_ALIVE सेट करें और reboot के बाद preload करें, ताकि अगली request में reload न रुके।
Ollama कुछ मिनटों बाद model को unload क्यों करता है?
Ollama अंतिम request के बाद model को memory में पांच मिनट तक loaded रखता है, फिर उसे मुक्त कर देता है। अगली request में weights को RAM या VRAM में फिर से load करना पड़ता है, इसलिए पहला token आने से पहले थोड़ी देर रुकावट होती है। इसी कारण chat UI या coding agent पहले तेज लगता है, कुछ समय तक कोई गतिविधि नहीं होती, और फिर अगले message पर दोबारा धीमा लगता है। इसमें कुछ खराब नहीं है। Idle timer समाप्त हो गया।
इस timer को keep_alive कहा जाता है। यह प्रत्येक model के लिए अलग होता है और हर request पूरी होने पर फिर से शुरू होता है। जो model इस समय किसी request का उत्तर दे रहा हो, उसे कभी unload नहीं किया जाता, क्योंकि server केवल ऐसे model को expire करता है जिसके पास कोई active request न हो। October 2026 तक default पांच मिनट है और यह इस server द्वारा load किए जाने वाले प्रत्येक model पर लागू होता है।
Idle timeout सेट करने के दो स्थान हैं: अलग-अलग request में keep_alive field, या server default के रूप में OLLAMA_KEEP_ALIVE। systemd drop-in server default को restart के बाद भी लागू रखता है। इस guide में माना गया है कि Ollama पहले से service के रूप में चल रहा है। यदि ऐसा नहीं है, तो VPS पर Ollama install करना से शुरू करें और फिर यहां लौटें।
अभी कौन से models memory में loaded हैं और वे कब expire होंगे?
ollama psNAME ID SIZE PROCESSOR CONTEXT UNTIL
qwen3:8b 500a1f067a9f 6.6 GB 100% GPU 4096 4 minutes from nowखाली output का अर्थ है कि कुछ भी loaded नहीं है। इसलिए अगली request को पहले model load करना होगा। PROCESSOR बताता है कि weights कहाँ गए। 100% GPU और 100% CPU स्पष्ट स्थितियाँ हैं। 25%/75% CPU/GPU जैसा split बताता है कि model का केवल कुछ हिस्सा VRAM में है। बाकी processor पर चलता है, इसलिए generation धीमी होती है। आम तौर पर ऐसा तब होता है जब model memory में fit नहीं होता। लेकिन num_gpu setting भी इसी तरह का split बनाती है, यदि वह GPU पर भेजी जाने वाली layers की संख्या सीमित करती है।
UNTIL countdown है। यह 4 minutes from now जैसा relative time दिखाता है। यदि model को negative keep_alive के साथ load किया गया हो, तो यह Forever दिखाता है। Expiration के बाद यह Stopping... दिखाता है। Active requests unloading में देरी कर रही हों, तब भी यही स्थिति लागू होती है।
Releases के बीच columns का set बदल गया है। इसलिए script में fields गिनने के बजाय header पढ़ें। 2026-10-30 को जाँचा गया Ollama v0.40.5, CONTEXT और UNTIL के बीच RUNNER column भी दिखाता है। यह model को serve करने वाले runner का नाम बताता है। इसलिए आपके header में ऊपर दिए गए example से एक column अधिक हो सकता है। Automation के लिए API से पूछें:
curl -s http://localhost:11434/api/psहर entry में expires_at होता है। यह 2026-08-09T14:38:31.83753Z जैसा absolute timestamp है। इसमें size_vram भी होता है, जो बताता है कि उस model का कितना हिस्सा GPU memory में है। size_vram का मान 0 होने का अर्थ है कि model CPU पर चल रहा है।
वास्तविक reload की लागत
इसका अनुमान न लगाएँ। Ollama हर response में load time को load_duration के रूप में nanoseconds में report करता है।
sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'ollama stop के बाद ollama ps में model दिखना बंद होने तक प्रतीक्षा करें। इसके बाद ही दो API calls चलाएँ। पहली call model load करती है, इसलिए उसका load_duration बड़ा होता है। इसे seconds में पढ़ने के लिए 1000000000 से divide करें। दूसरी call तब चलती है जब model resident होता है और इसमें बहुत छोटी संख्या report होती है। इन दोनों figures का अंतर वह लागत है जिसे timer expire होने के बाद हर user चुकाता है। यही keep_alive बदलने का मुख्य कारण है। Unload के बाद kernel का page cache अक्सर model file को बनाए रखता है। इसलिए spare RAM वाले box पर reload, boot के बाद होने वाले पहले load से तेज हो सकता है। जब वह cache reclaim हो जाता है, तो weights disk से पढ़े जाते हैं। इसलिए यदि आपने model directory को दूसरे volume पर स्थानांतरित किया है, तो उस volume की speed हर cold load की न्यूनतम गति तय करती है। उस pause के दोनों ओर generation speed के लिए देखें: अपने box पर tokens per second मापने का तरीका।
एक request पर Ollama model को memory में loaded रखें
Request के साथ keep_alive भेजें। यह उस model पर request पूरी होने के समय से लागू होता है।
curl -s http://localhost:11434/api/chat -d '{
"model": "qwen3:8b",
"messages": [{"role": "user", "content": "hello"}],
"keep_alive": "30m"
}'चार value forms स्वीकार किए जाते हैं:
- duration string:
"30m","24h","90s" - plain number, जिसे seconds के रूप में पढ़ा जाता है:
3600 - negative value,
-1या"-1m", जिसका अर्थ है कि idle timeout बिल्कुल नहीं होगा 0, जिसका अर्थ है कि model की कोई active request न होने पर उसे unload कर दिया जाएगा
Request पर दी गई value server default को दोनों दिशाओं में override करती है। इसका प्रभाव महत्वपूर्ण है: अपना keep_alive भेजने वाला client server पर configured किसी भी value को override कर देता है।
आप कुछ generate किए बिना भी model load कर सकते हैं। केवल model name भेजें। Server उसे load करता है और "done": true के साथ empty response लौटाता है।
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'Reboot के बाद या नया model pull करने के बाद चलाने के लिए यही command है। इससे पहले real user request को model load होने का इंतजार नहीं करना पड़ता। CLI में यही काम एक flag के साथ किया जा सकता है:
ollama run --keepalive 30m qwen3:8b "hello"OLLAMA_KEEP_ALIVE के साथ इसे डिफ़ॉल्ट रूप से लोड रखें
सर्वर स्टार्टअप पर OLLAMA_KEEP_ALIVE को पढ़ता है और इसे हर उस मॉडल के लिए उपयोग करता है जिसका अपना कोई मान (value) नहीं होता है। यह request field के समान ही प्रारूप लेता है, इसलिए 30m, 3600 और -1 सभी काम करते हैं।
समस्या यह है कि यह किस environment में होना चाहिए। अपने SSH session में export OLLAMA_KEEP_ALIVE=30m चलाने से कुछ नहीं होता, क्योंकि packaged install सर्वर को एक systemd service के रूप में उसके अपने user और उसके अपने environment के तहत चलाता है। आपका login shell और वह service कभी एक-दूसरे से नहीं मिलते। यही सबसे आम कारण है कि यह सेटिंग अनदेखी (ignored) लगती है।
systemd drop-in के साथ restart के बाद भी इसे लागू रखें
sudo systemctl edit ollama.serviceEditor दो comment markers के साथ खुलता है। इनके बीच लिखें: systemd दूसरे marker के नीचे लिखी किसी भी सामग्री को हटा देता है।
[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"Save करने पर /etc/systemd/system/ollama.service.d/override.conf लिखा जाता है। यह shipped unit को edit करने के बजाय एक drop-in बनाता है, इसलिए Ollama package upgrade द्वारा ollama.service बदले जाने पर भी आपकी setting बनी रहती है। यदि drop-ins और unit files आपके लिए नए हैं, तो systemd service और timer guide में इसकी प्रक्रिया समझाई गई है।
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentअंतिम command दिखाती है कि service वास्तव में किस environment के साथ चलेगी। यदि उस line में OLLAMA_KEEP_ALIVE=30m मौजूद नहीं है, तो drop-in लागू नहीं हुआ। इसका कारण लगभग हमेशा missing [Service] header या marker के नीचे लिखी गई lines होती हैं। Restart के दौरान सभी loaded models हट जाते हैं, इसलिए अगली request पर cold load होगा। ऊपर दी गई preload call से इसे warm करें। Drop-in reboot के बाद setting बनाए रखता है, model को नहीं: service ollama serve पर बिना कुछ load किए शुरू होती है, इसलिए हर boot के बाद वही preload call चलाएँ।
किसी model को resident रखने की लागत
ollama ps में SIZE column पूरे idle window के दौरान allocated memory दिखाता है, केवल request के समय की memory नहीं। 4-bit quantisation वाला 8B model लगभग 5 से 6 GB memory लेता है। 27B model का मामला अलग है, और CPU-only VPS पर इसे चलाने की memory गणना उस model को resident रखने का निर्णय लेने से पहले समझना उपयोगी है। keep_alive को -1 पर set करने से idle expiration disable हो जाता है। बाद की समान model वाली requests उसका timeout बदल सकती हैं या runner options बदलने पर reload force कर सकती हैं। छोटे VPS पर यह आपके database, web app और build jobs के लिए उपलब्ध memory के साथ सीधा trade-off है।
Estimate पर भरोसा करने के बजाय वास्तविक numbers देखें। Model loaded होने पर यह command चलाएँ, फिर ollama stop के बाद दोबारा चलाएँ:
free -havailable column वह memory दिखाता है जिसे kernel अभी किसी नए process को दे सकता है। NVIDIA GPU box पर nvidia-smi VRAM में यही स्थिति दिखाता है। यदि box की memory समाप्त हो जाए, तो kernel memory recover करने के लिए किसी process को kill कर देता है:
sudo dmesg -T | grep -i "out of memory"ollama का नाम दिखाने वाली line का अर्थ है कि model server इसका victim था। आपकी database का नाम दिखाने वाली line का अर्थ है कि model को memory मिली और आपके लिए महत्वपूर्ण कोई process समाप्त हो गया। दोनों परिणाम एक ही निर्णय से आते हैं: ऐसे box पर लंबा keep-alive window रखना जिसमें पर्याप्त headroom नहीं है।
यहाँ दो costs आसानी से छूट जाती हैं। लंबी context length बड़ी KV cache reserve करती है। KV cache (key value cache) वह per-token attention state है जिसे model generation के दौरान रखता है। यह cache resident size का हिस्सा होती है। इसका आकार num_ctx पर निर्भर करता है, इसलिए context window बढ़ाने से resident model की memory पूरे idle period के लिए बढ़ती है, केवल उत्तर देते समय नहीं। OLLAMA_NUM_PARALLEL को 1 से अधिक रखने पर, जहाँ model उस parallelism को support करता है, यह cache प्रत्येक parallel slot के लिए एक बार reserve होती है। Ollama v0.40.16 उन models के लिए parallelism को 1 पर force करता है जिनमें completion capability नहीं होती, जिनमें embedding models भी शामिल हैं; इसका scheduler अब mllama या qwen3next को अलग तरीके से नहीं चुनता। यदि आप एक model से कई लोगों को serve करने की योजना बना रहे हैं, तो memory का आकार केवल weights के लिए नहीं, बल्कि slots के लिए भी तय करें।
एक उचित default यह है: headroom वाले box पर एक model -1 उपयोग कर सकता है। Shared box पर ऐसा window रखें जो आपकी requests के बीच के gaps को cover करे, जैसे 30m, ताकि काम रोकने पर memory वापस उपलब्ध हो जाए।
मॉडल को तुरंत unload करें
ollama stop qwen3:8bExpiration का अनुरोध करने के बाद यह बिना किसी output के return होता है। Unload होने में active requests के पूरा होने तक प्रतीक्षा होती है, इसलिए memory free होने से पहले command return कर सकता है। जिस model को आपने pull किया है, लेकिन जो अभी loaded नहीं है, उसके लिए भी यह बिना किसी output के return होता है। यह command resident models की जाँच कभी नहीं करता। यह unload request भेजता है और server success के साथ उत्तर देता है, चाहे memory में कोई model मौजूद हो या नहीं। couldn't find model "qwen3:8b" to stop error केवल तब दिखाई देता है जब इस server पर उस नाम का कोई model installed नहीं है। आम तौर पर इसका कारण name या tag में typo होता है। इसलिए silent ollama stop इस बात का प्रमाण नहीं है कि कोई memory free हुई। ollama ps इसका प्रमाण है। API form में बिना prompt के request भेजी जाती है और keep_alive को 0 पर set किया जाता है:
curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'उत्तर में "done_reason": "unload" होता है। Service को restart करने के बजाय इसका उपयोग करें। systemctl restart ollama भी memory free करता है, लेकिन इससे बाकी सभी loaded models drop हो जाते हैं और चल रही हर request समाप्त हो जाती है।
एक सर्वर पर एक से अधिक model चलाना
OLLAMA_MAX_LOADED_MODELS यह तय करता है कि एक साथ कितने models loaded रह सकते हैं। October 2026 तक default प्रति GPU तीन है, या केवल CPU वाले host पर भी तीन है। यह सीमा models की संख्या गिनती है, जबकि वास्तविक सीमा memory है। इसलिए तीन तक पहुँचने से बहुत पहले ही दूसरा बड़ा model अस्वीकार किया जा सकता है।
जब किसी नए model का अनुरोध किया जाता है और उसके लिए पर्याप्त memory नहीं होती, या सीमा पूरी हो चुकी होती है, तो scheduler जगह बनाने के लिए resident models में से एक को unload करता है। वह ऐसे model को प्राथमिकता देता है जिसके लिए कोई active request न हो। वह उस model को भी evict कर सकता है जिसका timer अभी समाप्त नहीं हुआ है, जिसमें -1 के साथ loaded model भी शामिल है, हालांकि वह पहले कम अवधि वाले windows वाले models को आजमाता है। इसलिए negative keep_alive का अर्थ है कि idle timeout नहीं है। यह weights को किसी दूसरे model के अनुरोध से सुरक्षित रूप से pinned नहीं रखता।
ये निर्णय service log में दिखाई देते हैं। सीमा से संबंधित स्थिति केवल debug level पर log होती है। उसी drop-in में दूसरी Environment="OLLAMA_DEBUG=1" line जोड़ें, service restart करें और log monitor करें:
sudo journalctl -u ollama -fUnload को trigger करने वाले request के पास दिया गया कारण पढ़ें। max runners achieved, unloading one to make room का अर्थ है कि OLLAMA_MAX_LOADED_MODELS सीमा पूरी हो गई। ऐसा तब भी हो सकता है जब दोनों models memory में समा सकते हों। इसलिए यदि free -h में headroom दिखे, तो सीमा बढ़ाएँ। यदि नई line में लिखा हो कि नया model उपलब्ध memory से अधिक memory लेने का अनुमान है और उसके बाद eviction हुआ हो, तो इसका अर्थ है कि scheduler की fit check ने उपलब्ध memory headroom के आधार पर दोनों models को साथ load करने से मना कर दिया। इसका समाधान इस host पर कम models रखना है। वैकल्पिक रूप से, उस model के लिए लंबा window रखें जिसे तुरंत उत्तर देना है और जिसे आप कम बार call करते हैं उसके लिए 0 रखें।
अगले release के बाद भी प्रभावी रहने वाले मार्गदर्शन
Ollama अक्सर release होता है और इसके defaults बदलते रहते हैं, इसलिए संख्याओं को याद रखने के बजाय अपने सामने मौजूद build की जाँच करें:
ollama --version
ollama serve --helpollama serve --help उन environment variables की सूची देता है जिन्हें वह build वास्तव में पढ़ता है, जिनमें OLLAMA_KEEP_ALIVE भी शामिल है। दो नियम सभी releases में स्थिर रहे हैं और उन पर भरोसा किया जा सकता है। request पर दिया गया मान server के default मान से अधिक प्रभावी होता है। और ollama ps ही वह सत्य है जो यह बताता है कि क्या load हुआ है, चाहे configuration file में कुछ भी लिखा हो।
यदि कोई editor या agent आपके server को संचालित करता है, तो server को दोष देने से पहले यह जाँच लें कि वह client क्या भेज रहा है। अपने Ollama server पर coding agent को point करना यह बताता है कि वे request settings कहाँ स्थित होती हैं।
FAQ
Ollama 5 मिनट बाद मेरे model को unload क्यों करता है?
पाँच मिनट default keep_alive है। यह वह idle timer है जिसे Ollama request पूरी होने पर शुरू करता है। इसके समाप्त होने पर server weights को free कर देता है। इसलिए अगली request में उन्हें फिर से load करना पड़ता है, और आपको महसूस होने वाला pause इसी reload के कारण होता है। एक request के लिए इसे बढ़ाने हेतु JSON body में "keep_alive": "30m" भेजें। पूरे server के लिए OLLAMA_KEEP_ALIVE environment variable का उपयोग करें।
मैं Ollama model को memory में स्थायी रूप से loaded कैसे रखूँ?
Negative value का उपयोग करें: request पर "keep_alive": -1 या server के लिए OLLAMA_KEEP_ALIVE=-1। इसके बाद ollama ps, UNTIL column में Forever दिखाता है। इससे केवल idle timer हटता है। यदि किसी अन्य model का अनुरोध किया जाता है और memory कम पड़ती है, तो scheduler स्थान बनाने के लिए इस model को फिर भी unload कर देता है। उसी model की बाद की requests उसका timeout भी बदल सकती हैं या runner options बदलने पर reload शुरू कर सकती हैं। Restart या reboot करने पर भी यह स्थिति समाप्त हो जाती है, इसलिए उसके बाद model को फिर से preload करें।
OLLAMA_KEEP_ALIVE को अनदेखा क्यों किया जा रहा है?
जाँचें कि आपने इसे कहाँ set किया है। systemctl show ollama --property=Environment चलाएँ। यदि variable उस output में नहीं है, तो server को यह मिला ही नहीं, क्योंकि आपके shell में exported variable systemd service तक नहीं पहुँचता। इसे sudo systemctl edit ollama.service से set करें। फिर sudo systemctl daemon-reload और sudo systemctl restart ollama चलाएँ। दूसरा कारण यह हो सकता है कि client request में अपना keep_alive भेज रहा हो। यह server default को override कर देता है।
Ollama को restart किए बिना memory कैसे free करूँ?
ollama stop qwen3:8b केवल उस model के expiration का अनुरोध करता है। इससे server और बाकी सभी loaded models चलते रहते हैं। Unload होने से पहले active requests पूरी होनी चाहिए। API के माध्यम से बिना prompt वाली request भेजें और "keep_alive": 0 का उपयोग करें। Reply में "done_reason": "unload" लौटेगा। ollama ps से पुष्टि करें। Unloading पूरी होने के बाद model इसमें सूचीबद्ध नहीं होना चाहिए।