Ollama मॉडेल memory मध्ये कायम loaded कसे ठेवावे
Ollama चे मॉडेल 5 मिनिटे idle राहिल्यावर unload होते. systemd override मध्ये OLLAMA_KEEP_ALIVE सेट करा आणि reboot नंतर मॉडेल preload करा.
काही मिनिटांनंतर Ollama मॉडेल unload का करते?
शेवटची request पूर्ण झाल्यानंतर Ollama मॉडेल पाच मिनिटे memory मध्ये loaded ठेवते आणि त्यानंतर ते मुक्त करते. पुढील request वेळी weights पुन्हा RAM किंवा VRAM मध्ये load करावे लागतात. त्यामुळे पहिला token मिळण्यापूर्वी विलंब होतो. म्हणून chat UI किंवा coding agent सुरुवातीला जलद वाटतो, काही काळ शांत राहतो आणि पुढील message वेळी पुन्हा धीमा वाटतो. काहीही बिघडलेले नाही. Idle timer ची मुदत संपली आहे.
या timer ला keep_alive म्हणतात. तो प्रत्येक मॉडेलसाठी स्वतंत्र असतो आणि प्रत्येक request पूर्ण झाल्यावर पुन्हा सुरू होतो. एखादे मॉडेल सध्या request चे उत्तर देत असेल, तर ते कधीही unload केले जात नाही. कारण server कोणतेही active request नसलेले मॉडेलच expire करतो. October 2026 पर्यंत default पाच मिनिटे आहे आणि हा default या server ने load केलेल्या प्रत्येक मॉडेलला लागू होतो.
Idle timeout सेट करण्यासाठी दोन ठिकाणे आहेत: स्वतंत्र request मधील keep_alive field किंवा server default म्हणून OLLAMA_KEEP_ALIVE. Server default restart नंतरही लागू राहण्यासाठी systemd drop-in आवश्यक आहे. या मार्गदर्शकात Ollama आधीपासून service म्हणून चालू आहे असे गृहीत धरले आहे. तसे नसल्यास VPS वर Ollama install करणे येथून सुरुवात करा आणि नंतर येथे परत या.
सध्या कोणते models resident आहेत आणि ते कधी expire होतील?
ollama psNAME ID SIZE PROCESSOR CONTEXT UNTIL
qwen3:8b 500a1f067a9f 6.6 GB 100% GPU 4096 4 minutes from nowरिकामा output म्हणजे काहीही load केलेले नाही. त्यामुळे पुढील request ने आधी model load करावा लागतो. PROCESSOR मधून weights कुठे ठेवले आहेत ते समजते. 100% GPU आणि 100% CPU ही स्पष्ट स्थिती आहेत. 25%/75% CPU/GPU सारख्या split चा अर्थ model चा काही भाग VRAM मध्ये आहे. उर्वरित भाग processor वर चालतो आणि generation धीमे होते. साधारणपणे असे model पूर्णपणे fit न झाल्यामुळे होते. मात्र GPU वर पाठवायच्या layers ची संख्या मर्यादित करणारी num_gpu setting वापरल्यासही असाच split दिसतो.
UNTIL हे countdown आहे. त्यात 4 minutes from now सारखी relative time दिसते. model negative keep_alive सह load केले असल्यास Forever दिसते. expiration नंतर Stopping... दिसते. सक्रिय requests मुळे unloading ला विलंब होत असतानाही हे लागू होते.
Releases नुसार column set बदलले आहे. त्यामुळे script मध्ये fields मोजण्याऐवजी header वाचा. 2026-10-30 रोजी तपासलेल्या Ollama v0.40.5 मध्ये CONTEXT आणि UNTIL यांच्या मध्ये RUNNER column देखील दिसतो. यात model serve करणाऱ्या runner चे नाव दिलेले असते. त्यामुळे तुमच्या header मध्ये वरील उदाहरणापेक्षा एक column अधिक असू शकतो. Automated कामांसाठी API ला query करा:
curl -s http://localhost:11434/api/psप्रत्येक entry मध्ये expires_at, म्हणजे 2026-08-09T14:38:31.83753Z सारखा absolute timestamp, आणि size_vram असतो. size_vram मधून त्या model चा किती भाग GPU memory मध्ये आहे ते समजते. size_vram चे मूल्य 0 असल्यास model CPU वर चालत आहे.
प्रत्यक्ष reload ची किंमत
याचा अंदाज लावू नका. Ollama प्रत्येक response मध्ये load time nanoseconds मध्ये load_duration म्हणून दाखवते.
sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'ollama stop चालवल्यानंतर ollama ps मध्ये model दिसेनासा होईपर्यंत प्रतीक्षा करा. त्यानंतरच दोन API calls चालवा. पहिल्या call मध्ये model load होते, त्यामुळे त्याचे load_duration मोठे असते. ते seconds मध्ये वाचण्यासाठी 1000000000 ने भागा. दुसरी call model memory मध्ये resident असताना चालते आणि खूपच लहान संख्या दाखवते. या दोन आकड्यांमधील फरक म्हणजे timer संपल्यानंतर प्रत्येक user ला भरावी लागणारी किंमत. keep_alive बदलण्याचे हेच मुख्य कारण आहे. Unload केल्यानंतर kernel च्या page cache मध्ये model file अनेकदा अजूनही राहते. त्यामुळे पुरेशी RAM उपलब्ध असलेल्या मशीनवर reboot नंतरच्या पहिल्या load पेक्षा reload जलद होऊ शकते. हा cache reclaim झाल्यावर weights disk मधून read केले जातात. त्यामुळे तुम्ही model directory दुसऱ्या volume वर हलवली असेल, तर त्या volume चा वेग प्रत्येक cold load साठी किमान मर्यादा ठरवतो. त्या pause च्या आधी आणि नंतरची generation speed मोजण्यासाठी तुमच्या मशीनवर tokens per second कसे मोजायचे हे पहा.
एका विनंतीवर Ollama मॉडेल मेमरीमध्ये लोड ठेवणे
विनंतीसोबत keep_alive पाठवा. विनंती पूर्ण झाल्यापासून ते त्या मॉडेलवर लागू होते.
curl -s http://localhost:11434/api/chat -d '{
"model": "qwen3:8b",
"messages": [{"role": "user", "content": "hello"}],
"keep_alive": "30m"
}'चार मूल्यरूपे स्वीकारली जातात:
- कालावधीची string:
"30m","24h","90s" - साधी संख्या, सेकंद म्हणून वाचली जाते:
3600 - ऋण मूल्य,
-1किंवा"-1m", म्हणजे idle timeout अजिबात नाही 0, म्हणजे मॉडेलवर सक्रिय विनंत्या नसतील तेव्हा ते unload करणे
विनंतीवरील मूल्य server default ला दोन्ही दिशांनी override करते. हे दिसते त्यापेक्षा अधिक महत्त्वाचे आहे: client ने स्वतःचे keep_alive पाठवल्यास, server वर तुम्ही configure केलेल्या कोणत्याही मूल्यापेक्षा तेच लागू होते.
काहीही generate न करताही तुम्ही मॉडेल load करू शकता. फक्त मॉडेलचे नाव पाठवा. server ते load करतो आणि "done": true सह रिकामा response परत करतो.
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'रीबूटनंतर किंवा नवीन मॉडेल pull केल्यानंतर चालवायची ही command आहे. त्यामुळे पहिल्या प्रत्यक्ष user request साठी मॉडेल load होण्याचा वेळ लागत नाही. CLI मध्ये flag वापरून तेच करता येते:
ollama run --keepalive 30m qwen3:8b "hello"OLLAMA_KEEP_ALIVE वापरून सर्व्हरवर मॉडेल लोड ठेवा
सर्व्हर सुरू होताना OLLAMA_KEEP_ALIVE वाचतो आणि ज्या मॉडेलसाठी स्वतःचे मूल्य दिलेले नाही, अशा प्रत्येक मॉडेलसाठी याचा वापर करतो. हे विनंती फील्डप्रमाणेच विविध स्वरूपात स्वीकारले जाते, त्यामुळे 30m, 3600 आणि -1 हे सर्व पर्याय काम करतात.
येथे मुख्य अडचण ही आहे की हे environment variable नेमके कुठे सेट करायचे. तुमच्या SSH सेशनमध्ये export OLLAMA_KEEP_ALIVE=30m चालवल्याने काहीही फरक पडत नाही, कारण पॅकेज्ड इन्स्टॉलमध्ये सर्व्हर हा एक systemd सर्व्हिस म्हणून त्याच्या स्वतःच्या युजर आणि environment अंतर्गत चालतो. तुमचे लॉगिन शेल आणि ती सर्व्हिस यांचा एकमेकांशी संबंध नसतो. ही सेटिंग दुर्लक्षित केल्यासारखी वाटण्याचे हे सर्वात सामान्य कारण आहे.
systemd drop-in वापरून रीबूटनंतरही सेटिंग कायम ठेवा
sudo systemctl edit ollama.serviceएडिटरमध्ये दोन comment markers दिसतात. त्यांच्या मध्ये मजकूर टाइप करा: दुसऱ्या marker च्या खाली लिहिलेला कोणताही मजकूर systemd टाकून देते.
[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"सेव्ह केल्यावर /etc/systemd/system/ollama.service.d/override.conf लिहिले जाते. हे वितरित केलेल्या unit मध्ये केलेला बदल नसून drop-in आहे. त्यामुळे ollama.service बदलणारे Ollama package upgrade झाले तरी तुमची सेटिंग तशीच राहते. Drop-in आणि unit files तुमच्यासाठी नवीन असल्यास, systemd service आणि timer मार्गदर्शक यामध्ये त्यांची कार्यपद्धती स्पष्ट केली आहे.
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentशेवटची command सेवा प्रत्यक्षात कोणत्या environment सह चालेल ते दाखवते. त्या ओळीत OLLAMA_KEEP_ALIVE=30m नसेल, तर drop-in लागू झालेला नाही. याचे कारण जवळजवळ नेहमी [Service] header नसणे किंवा marker च्या खाली ओळी टाइप करणे हे असते. Restart केल्यावर सर्व loaded model काढले जातात. त्यामुळे पुढील request वेळी model पुन्हा cold load होतो. वरील preload call वापरून तो आधी load करा. Drop-in मुळे ही सेटिंग reboot नंतरही कायम राहते; model मात्र कायम राहत नाही. सेवा ollama serve स्थितीत सुरू होते आणि कोणताही model loaded नसतो. त्यामुळे प्रत्येक boot नंतर तीच preload call चालवा.
मॉडेल कायम मेमरीमध्ये ठेवण्याचे परिणाम
ollama ps मधील SIZE कॉलममध्ये दिलेली मेमरी ही केवळ विनंती (request) पूर्ण करतानाच नाही, तर संपूर्ण आयडल (idle) कालावधीत व्यापलेली असते. 4-bit क्वांटायझेशन असलेले 8B मॉडेल साधारणपणे 5 ते 6 GB मेमरी घेते. 27B मॉडेलची बाब पूर्णपणे वेगळी आहे, आणि केवळ CPU असलेल्या VPS वर मॉडेल चालवण्यासाठी लागणाऱ्या मेमरीचे गणित समजून घेणे फायदेशीर ठरते, विशेषतः जर तुम्हाला ते मॉडेल कायम मेमरीमध्ये ठेवण्याचा विचार करायचा असेल. जर तुम्ही keep_alive हे -1 वर सेट केले, तर आयडल एक्सपायरेशन (idle expiration) बंद होते; त्यानंतर त्याच मॉडेलसाठी येणाऱ्या विनंत्या त्याचा टाइमआउट बदलू शकतात किंवा रनर ऑप्शन्स बदलल्यावर मॉडेल पुन्हा लोड करण्यास भाग पाडू शकतात. लहान VPS वर, हा निर्णय तुमच्या डेटाबेस, वेब ॲप आणि बिल्ड जॉब्सच्या उपलब्धतेशी थेट संबंधित असतो.
केवळ अंदाजावर अवलंबून न राहता प्रत्यक्ष आकडेवारी तपासा. मॉडेल लोड असताना खालील कमांड चालवा आणि पुन्हा ollama stop नंतर तपासा:
free -havailable कॉलममध्ये ती मेमरी दर्शवली जाते जी कर्नल नवीन प्रोसेसला देऊ शकते. NVIDIA GPU असलेल्या बॉक्सवर, nvidia-smi मध्ये VRAM बाबत अशीच माहिती दिसते. जर बॉक्सची मेमरी संपली, तर मेमरी रिकव्हर करण्यासाठी कर्नल एखादी प्रोसेस बंद (kill) करते:
sudo dmesg -T | grep -i "out of memory"जर ओळीमध्ये ollama चे नाव असेल, तर मॉडेल सर्व्हर बळी ठरला आहे असे समजावे. जर ओळीमध्ये तुमच्या डेटाबेसचे नाव असेल, तर मॉडेलने मेमरी जिंकली आणि तुमच्या महत्त्वाच्या प्रोसेसचा बळी गेला. दोन्ही परिणाम एकाच निर्णयामुळे घडतात: पुरेशी जागा नसतानाही बॉक्सवर लांब ठेवलेला कीप-अलाईव्ह (keep-alive) कालावधी.
येथे दोन गोष्टींकडे दुर्लक्ष होणे सोपे आहे. लांब कॉन्टेक्स्ट लेंथ (context length) मुळे मोठा KV कॅशे (key value cache, मॉडेल जनरेट करताना प्रत्येक टोकनची अटेंशन स्टेट साठवते) रिझर्व्ह केला जातो आणि हा कॅशे रेसिडेंट साईजचाच एक भाग असतो. तो किती मोठा असेल हे num_ctx वरून ठरते, त्यामुळे कॉन्टेक्स्ट विंडो वाढवल्यास रेसिडेंट मॉडेल संपूर्ण आयडल कालावधीत किती मेमरी व्यापून ठेवेल हे वाढते, केवळ उत्तर देतानाच नाही. जेव्हा मॉडेल पॅरललिझम (parallelism) ला सपोर्ट करते, तेव्हा 1 पेक्षा जास्त OLLAMA_NUM_PARALLEL व्हॅल्यू प्रत्येक पॅरलल स्लॉटसाठी तो कॅशे रिझर्व्ह करते. Ollama v0.40.16 अशा मॉडेल्ससाठी पॅरललिझम 1 वर सक्तीचे करते ज्यांना कंप्लीशन क्षमता नाही, ज्यामध्ये एम्बेडिंग मॉडेल्सचाही समावेश आहे; त्याचे शेड्युलर आता mllama किंवा qwen3next ला वेगळे मानत नाही. जर तुम्ही एकाच मॉडेलवरून अनेक वापरकर्त्यांना सेवा देण्याचे नियोजन करत असाल, तर मेमरीचे नियोजन केवळ वेट्ससाठी (weights) न करता स्लॉट्ससाठी करा.
एक योग्य डिफॉल्ट: पुरेशी जागा असलेल्या बॉक्सवर एक मॉडेल -1 वापरू शकते. शेअर केलेल्या बॉक्सवर असा कालावधी वापरा जो तुमच्या विनंत्यांमधील अंतर भरून काढेल, जसे की 30m, जेणेकरून तुम्ही काम थांबवल्यावर मेमरी पुन्हा मोकळी होईल.
मॉडेल त्वरित unload करा
ollama stop qwen3:8bexpiration ची विनंती केल्यानंतर हे कोणतेही output न देता परत येते; सक्रिय विनंत्या पूर्ण होईपर्यंत unloading थांबते. त्यामुळे memory मुक्त होण्यापूर्वी command परत येऊ शकते. तुम्ही pull केलेला पण सध्या loaded नसलेला मॉडेल दिल्यासही हे कोणतेही output न देता परत येते. ही command कोणते मॉडेल memory मध्ये resident आहे हे तपासत नाही. ती unload विनंती पाठवते आणि memory मध्ये काहीही असो किंवा नसो, server success उत्तर देतो. couldn't find model "qwen3:8b" to stop ही error त्या नावाचा कोणताही मॉडेल या server वर installed नसतानाच दिसते. याचा सामान्य अर्थ name किंवा tag मध्ये typo आहे. त्यामुळे शांतपणे परत आलेले ollama stop memory मुक्त झाल्याचा पुरावा नाही. ollama ps आहे. API पद्धतीत prompt नसलेली विनंती पाठवली जाते आणि keep_alive हे 0 वर सेट केले जाते:
curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'उत्तरामध्ये "done_reason": "unload" असते. service restart करण्याऐवजी हे वापरा. systemctl restart ollama memory देखील मुक्त करते, परंतु इतर सर्व loaded models हटवते आणि सुरू असलेली कोणतीही request बंद करते.
एका सर्व्हरवर एकापेक्षा जास्त model चालवणे
OLLAMA_MAX_LOADED_MODELS एकाच वेळी किती models loaded राहू शकतात यावर मर्यादा घालते. October 2026 पासून default मर्यादा प्रत्येक GPU साठी तीन models किंवा केवळ CPU असलेल्या सर्व्हरसाठी तीन models आहे. ही मर्यादा models ची संख्या मोजते; प्रत्यक्ष मर्यादा memory असते. त्यामुळे तीन models पूर्ण होण्यापूर्वीच दुसऱ्या मोठ्या model साठी जागा नाकारली जाऊ शकते.
नवीन model मागवला असता त्यासाठी पुरेशी memory उपलब्ध नसेल किंवा ही मर्यादा गाठली असेल, तर scheduler जागा करण्यासाठी loaded models पैकी एक unload करतो. तो active request नसलेला model प्राधान्याने निवडतो. -1 वापरून load केलेल्या model चा timer अद्याप संपलेला नसला तरी तो model evict केला जाऊ शकतो. मात्र scheduler आधी कमी कालावधीचे windows असलेले models निवडण्याचा प्रयत्न करतो. त्यामुळे नकारात्मक keep_alive म्हणजे idle timeout नाही. दुसऱ्या model च्या request पासून weights सुरक्षित ठेवण्यासाठी तो model pin करत नाही.
हे निर्णय service log मध्ये दिसतात. मर्यादा गाठल्याची घटना मात्र फक्त debug level वर log केली जाते. त्याच drop-in मध्ये दुसरी Environment="OLLAMA_DEBUG=1" line जोडा, service restart करा आणि log monitor करा:
sudo journalctl -u ollama -funload सुरू करणाऱ्या request च्या शेजारी दिलेले कारण वाचा. max runners achieved, unloading one to make room म्हणजे OLLAMA_MAX_LOADED_MODELS मर्यादा गाठली आहे. दोन्ही models memory मध्ये बसत असले तरी हे घडू शकते. त्यामुळे free -h मध्ये पुरेशी headroom दिसत असेल, तर मर्यादा वाढवा. नवीन model उपलब्ध memory पेक्षा जास्त memory वापरेल असा अंदाज दर्शविणारी line आणि त्यानंतरचे eviction याचा अर्थ scheduler ने memory headroom लक्षात घेऊन दोन्ही models एकत्र load करण्यास नकार दिला. या परिस्थितीत या server वरील models ची संख्या कमी करा. किंवा त्वरित उत्तर देणे आवश्यक असलेल्या model साठी मोठे window आणि क्वचित वापरल्या जाणाऱ्या model साठी 0 ठेवा.
पुढील रिलीजच्या पलीकडे टिकणारे मार्गदर्शन
Ollama वारंवार रिलीज केले जाते आणि त्याचे डीफॉल्ट बदलत असतात, त्यामुळे आकडे पाठ करण्याऐवजी तुमच्या समोर असलेल्या बिल्डची तपासणी करा:
ollama --version
ollama serve --helpollama serve --help मध्ये त्या एनवायरमेंट व्हेरिएबल्सची यादी असते जी प्रत्यक्ष बिल्ड वाचते, त्यापैकी OLLAMA_KEEP_ALIVE एक आहे. दोन नियम सर्व रिलीजमध्ये कायम राहिले आहेत आणि त्यावर अवलंबून राहणे सुरक्षित आहे. विनंतीवर (request) दिलेले मूल्य सर्व्हरच्या डीफॉल्ट मूल्यापेक्षा प्रभावी ठरते. आणि ollama ps हे काय लोड झाले आहे याचे सत्य सांगते, मग कॉन्फिगरेशन फाईलमध्ये काहीही लिहिलेले असो.
जर एखादा एडिटर किंवा एजंट तुमचा सर्व्हर चालवत असेल, तर सर्व्हरला दोष देण्यापूर्वी तो क्लायंट काय पाठवत आहे ते तपासा. तुमच्या स्वतःच्या Ollama सर्व्हरकडे कोडिंग एजंट निर्देशित करणे या लेखात त्या विनंती सेटिंग्ज कुठे असतात हे स्पष्ट केले आहे.
FAQ
Ollama माझे मॉडेल 5 मिनिटांनंतर unload का करते?
5 मिनिटे हा default keep_alive आहे. Request पूर्ण झाल्यावर Ollama सुरू करणारा हा idle timer आहे. Timer संपल्यावर server weights मुक्त करतो. त्यामुळे पुढील request साठी ते पुन्हा load करावे लागतात. तुम्हाला जाणवणारा विलंब हा याच reload मुळे होतो. एका request साठी तो वाढवण्यासाठी JSON body मध्ये "keep_alive": "30m" पाठवा. संपूर्ण server साठी OLLAMA_KEEP_ALIVE environment variable वापरा.
Ollama चे मॉडेल memory मध्ये कायमचे loaded कसे ठेवायचे?
Negative value वापरा: request साठी "keep_alive": -1 किंवा server साठी OLLAMA_KEEP_ALIVE=-1. त्यानंतर ollama ps मधील UNTIL column मध्ये Forever दिसते. यामुळे idle timer काढला जातो. इतर कोणताही बदल होत नाही. दुसरे मॉडेल मागितले गेले आणि memory कमी पडली, तर जागा उपलब्ध करून देण्यासाठी scheduler हे मॉडेल तरीही unload करतो. त्याच मॉडेलसाठी नंतर केलेल्या requests त्याचा timeout बदलू शकतात किंवा runner options बदलल्यास reload सुरू करू शकतात. Restart किंवा reboot केल्यावरही ते memory मधून काढले जाते. त्यामुळे त्यानंतर मॉडेल पुन्हा preload करा.
OLLAMA_KEEP_ALIVE दुर्लक्षित का केले जात आहे?
ते कुठे set केले आहे ते तपासा. systemctl show ollama --property=Environment चालवा. त्या output मध्ये variable दिसत नसेल, तर server ला ते मिळालेले नाही. कारण तुमच्या shell मध्ये export केलेले variable systemd service पर्यंत पोहोचत नाही. sudo systemctl edit ollama.service वापरून ते set करा. त्यानंतर sudo systemctl daemon-reload आणि sudo systemctl restart ollama चालवा. दुसरे कारण म्हणजे request वर स्वतःचे keep_alive पाठवणारा client. त्यामुळे server default override होते.
Ollama restart न करता memory कशी मुक्त करायची?
ollama stop qwen3:8b त्या एका मॉडेलची expiration मागते. Server आणि इतर सर्व loaded मॉडेल्स चालू राहतात. Unload होण्यापूर्वी active requests पूर्ण होणे आवश्यक आहे. API द्वारे prompt शिवाय आणि "keep_alive": 0 सह request पाठवा. Reply मध्ये "done_reason": "unload" परत येते. ollama ps वापरून खात्री करा. Unloading पूर्ण झाल्यावर त्यात ते मॉडेल यापुढे सूचीबद्ध नसावे.