Ollama model memory-তে loaded রাখার উপায়
Ollama পাঁচ মিনিট idle থাকলে model unload করে। systemd override-এ OLLAMA_KEEP_ALIVE সেট করুন এবং reboot-এর পর preload করে reload-এর অপেক্ষা এড়ান।
কয়েক মিনিট পর Ollama কেন model unload করে?
শেষ request-এর পর Ollama পাঁচ মিনিট model-টিকে memory-তে loaded রাখে, তারপর তা মুক্ত করে। পরের request এলে weights আবার RAM বা VRAM-এ load করতে হয়। তাই প্রথম token আসার আগে কিছুক্ষণ অপেক্ষা করতে হয়। এ কারণেই chat UI বা coding agent দ্রুত সাড়া দেয়, কিছুক্ষণ নীরব থাকে, তারপর পরের message-এ আবার ধীর মনে হয়। কোনো কিছু নষ্ট হয়নি। Idle timer-এর সময়সীমা শেষ হয়েছে।
এই timer-এর নাম keep_alive। এটি প্রতি model-এর জন্য আলাদা এবং প্রতিবার কোনো request শেষ হলে আবার শুরু হয়। কোনো model বর্তমানে request-এর উত্তর দিলে সেটি কখনো unload হয় না, কারণ server কোনো active request না থাকা model-কেই শুধু expire করে। October 2026 অনুযায়ী default হলো পাঁচ মিনিট, এবং এই server যে প্রতিটি model load করে, তার ক্ষেত্রেই এটি প্রযোজ্য।
Idle timeout সেট করার দুটি জায়গা আছে: পৃথক request-এর keep_alive field-এ অথবা server default হিসেবে OLLAMA_KEEP_ALIVE-এ। Server default restart-এর পরেও কার্যকর রাখতে systemd drop-in ব্যবহার করতে হয়। এই guide ধরে নিচ্ছে যে Ollama ইতিমধ্যে service হিসেবে চলছে। তা না হলে VPS-এ Ollama install করা দিয়ে শুরু করে এখানে ফিরে আসুন।
এই মুহূর্তে কোন মডেলগুলো মেমরিতে আছে এবং কখন সেগুলোর মেয়াদ শেষ হবে?
ollama psNAME ID SIZE PROCESSOR CONTEXT UNTIL
qwen3:8b 500a1f067a9f 6.6 GB 100% GPU 4096 4 minutes from nowখালি আউটপুটের অর্থ হলো কোনো মডেল লোড করা নেই। তাই পরবর্তী অনুরোধে প্রথমে মডেলটি লোড করতে হবে। PROCESSOR দেখায় weights কোথায় রাখা হয়েছে। 100% GPU এবং 100% CPU স্পষ্ট অবস্থা নির্দেশ করে। 25%/75% CPU/GPU-এর মতো split-এর অর্থ হলো মডেলের কেবল একটি অংশ VRAM-এ আছে। বাকি অংশ processor-এ চলে, তাই generation ধীর হয়। সাধারণত মডেলটি সম্পূর্ণভাবে VRAM-এ না ধরার কারণে এটি ঘটে। তবে GPU-তে কতগুলো layer পাঠানো হবে তা সীমিত করা num_gpu setting ব্যবহার করলেও একই ধরনের split দেখা যায়।
UNTIL হলো countdown। এটি 4 minutes from now-এর মতো relative time দেখায়। মডেলটি negative keep_alive দিয়ে লোড করা হলে এটি Forever দেখায়। মেয়াদ শেষ হওয়ার পরে এটি Stopping... দেখায়। সক্রিয় request unload বিলম্বিত করলেও এই অবস্থা দেখা যায়।
Release পরিবর্তনের কারণে column set বদলেছে। তাই script-এ field গুনে নির্ভর না করে header পড়ুন। 2026-10-30 তারিখে পরীক্ষা করা Ollama v0.40.5-এ CONTEXT এবং UNTIL-এর মধ্যে একটি RUNNER column-ও দেখানো হয়। এই column-এ মডেল পরিবেশনকারী runner-এর নাম থাকে। তাই আপনার header উপরের উদাহরণের তুলনায় একটি column বেশি হতে পারে। Automation-এর জন্য API ব্যবহার করুন:
curl -s http://localhost:11434/api/psপ্রতিটি entry-তে expires_at, 2026-08-09T14:38:31.83753Z-এর মতো একটি absolute timestamp, এবং size_vram থাকে। size_vram হলো ওই মডেলের যে অংশ GPU memory-তে রয়েছে। size_vram-এর মান 0 হলে মডেলটি CPU-তে চলছে।
আসলে reload করতে কত খরচ হয়
অনুমান করবেন না। Ollama প্রতিটি response-এ load time জানায়, যা load_duration হিসেবে nanosecond-এ দেওয়া হয়।
sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'ollama stop চালানোর পরে ollama ps-এ model আর তালিকাভুক্ত না হওয়া পর্যন্ত অপেক্ষা করুন। এরপর দুটি API call চালান। প্রথম call-টি model load করে, তাই এর load_duration মান বড় হয়। এটিকে 1000000000 দিয়ে ভাগ করলে সময়টি second হিসেবে পাওয়া যায়। দ্বিতীয় call-টি model resident থাকা অবস্থায় চলে এবং অনেক ছোট মান দেখায়। এই দুটি মানের পার্থক্যই timer শেষ হওয়ার পরে প্রতিটি user-কে দিতে হয়। keep_alive পরিবর্তন করার মূল কারণ এটিই। unload-এর পরে kernel-এর page cache-এ model file প্রায়ই থেকে যায়। তাই পর্যাপ্ত RAM থাকা সিস্টেমে boot-এর পরে প্রথম load-এর তুলনায় reload দ্রুত হতে পারে। cache reclaim হয়ে গেলে weights disk থেকে পড়তে হয়। তাই আপনি যদি model directory-টি দ্বিতীয় volume-এ সরিয়ে নিয়ে থাকেন, সেই volume-এর গতি প্রতিটি cold load-এর সর্বনিম্ন সময় নির্ধারণ করে। এই বিরতির আগে ও পরে generation speed মাপার পদ্ধতির জন্য দেখুন নিজের box-এ tokens per second কীভাবে মাপবেন।
একটি অনুরোধে Ollama model মেমরিতে লোড রাখা
অনুরোধের সঙ্গে keep_alive পাঠান। অনুরোধ সম্পূর্ণ হওয়ার মুহূর্ত থেকে এটি ওই model-এর ক্ষেত্রে প্রযোজ্য হয়।
curl -s http://localhost:11434/api/chat -d '{
"model": "qwen3:8b",
"messages": [{"role": "user", "content": "hello"}],
"keep_alive": "30m"
}'চার ধরনের value গ্রহণ করা হয়:
- একটি duration string:
"30m","24h","90s" - একটি সাধারণ সংখ্যা, যা seconds হিসেবে পড়া হয়:
3600 - একটি negative value,
-1বা"-1m", যার অর্থ কোনো idle timeout থাকবে না 0, যার অর্থ model-এর কোনো active request না থাকলে সেটি unload করা হবে
অনুরোধে দেওয়া value উভয় ক্ষেত্রেই server default-কে override করে। এর গুরুত্ব বেশি: কোনো client নিজস্ব keep_alive পাঠালে server-এ কনফিগার করা যেকোনো মানের ওপর সেটিই কার্যকর হয়।
কোনো output generate না করেও model load করা যায়। শুধু model name পাঠান। server এটি load করে এবং "done": true সহ একটি empty response ফেরত দেয়।
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'reboot-এর পরে অথবা নতুন model pull করার পরে চালানোর জন্য এটিই command। এতে প্রথম প্রকৃত user request-কে model load করার সময় অপেক্ষা করতে হয় না। CLI-তেও একটি flag দিয়ে একই কাজ করা যায়:
ollama run --keepalive 30m qwen3:8b "hello"OLLAMA_KEEP_ALIVE দিয়ে ডিফল্টভাবে লোড করে রাখুন
সার্ভারটি startup-এর সময় OLLAMA_KEEP_ALIVE পড়ে এবং যেসব model-এর নিজস্ব মান নেই, সেগুলোর জন্য এই মান ব্যবহার করে। এটি request field-এর মতো একই format গ্রহণ করে। তাই 30m, 3600 এবং -1—সবই কাজ করে।
মূল বিষয় হলো, variable-টি কোন environment-এ থাকতে হবে। আপনার SSH session-এ export OLLAMA_KEEP_ALIVE=30m চালালে কোনো ফল হবে না, কারণ packaged install server-টিকে systemd service হিসেবে নিজস্ব user এবং নিজস্ব environment-এর অধীনে চালায়। আপনার login shell এবং ওই service-এর environment কখনো এক হয় না। Setting-টি উপেক্ষিত হচ্ছে বলে মনে হওয়ার সবচেয়ে সাধারণ কারণ এটি।
systemd drop-in ব্যবহার করে রিবুট-এর পরেও সেটিংস বজায় রাখা
sudo systemctl edit ollama.serviceএডিটরটি দুটি কমেন্ট মার্কারসহ ওপেন হবে। মার্কার দুটির মাঝখানে লিখুন: দ্বিতীয় মার্কারের নিচে আপনি যা লিখবেন, systemd তা উপেক্ষা করবে।
[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"ফাইলটি সেভ করলে /etc/systemd/system/ollama.service.d/override.conf তৈরি হয়। এটি মূল ইউনিটে সরাসরি এডিট করার পরিবর্তে একটি drop-in হিসেবে কাজ করে, তাই Ollama প্যাকেজ আপডেট হয়ে ollama.service প্রতিস্থাপিত হলেও আপনার সেটিংস অপরিবর্তিত থাকে। যদি drop-in এবং unit file আপনার কাছে নতুন মনে হয়, তবে systemd service এবং timer গাইড-এ এর কার্যপদ্ধতি সম্পর্কে বিস্তারিত জানতে পারবেন।
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentশেষ কমান্ডটি সেই এনভায়রনমেন্ট প্রদর্শন করে যেখানে সার্ভিসটি প্রকৃতপক্ষে রান করবে। যদি সেই লাইনে OLLAMA_KEEP_ALIVE=30m অনুপস্থিত থাকে, তবে বুঝতে হবে drop-in কার্যকর হয়নি। এর কারণ সাধারণত [Service] হেডার না থাকা অথবা মার্কারের নিচে লাইন লেখা। রিবুট করার সময় লোড করা সমস্ত মডেল মুছে যায়, তাই পরবর্তী রিকোয়েস্টটি কোল্ড লোড হিসেবে গণ্য হয়। উপরের preload কলটি ব্যবহার করে মডেলটি পুনরায় ওয়ার্ম-আপ করুন। drop-in ফাইলটি রিবুট-এর পরেও সেটিংস বজায় রাখে, কিন্তু মডেল নয়: সার্ভিসটি রিবুট-এর পর ollama serve হিসেবে কোনো মডেল লোড ছাড়াই শুরু হয়, তাই প্রতিবার বুট করার পর preload কলটি পুনরায় রান করুন।
একটি model resident রাখার খরচ
SIZE-এর ollama ps column-এ পুরো idle window জুড়ে ধরে রাখা memory দেখানো হয়; শুধু request চলাকালীন নয়। 4-bit quantisation-এ একটি 8B model-এর জন্য প্রায় 5 থেকে 6 GB লাগে। 27B model-এর ক্ষেত্রে হিসাবটি আলাদা, তাই সেটিকে resident রাখার সিদ্ধান্ত নেওয়ার আগে CPU-only VPS-এ একটি model চালানোর memory হিসাব করে দেখা উচিত। keep_alive-কে -1 সেট করলে idle expiration বন্ধ হয়; পরে একই model-এর request এলে তার timeout প্রতিস্থাপিত হতে পারে, অথবা runner option পরিবর্তিত হলে model reload হতে পারে। ছোট VPS-এ এটি আপনার database, web app এবং build job-এর সঙ্গে সরাসরি resource trade-off তৈরি করে।
কোনো estimate-এর ওপর নির্ভর না করে বাস্তব সংখ্যা দেখুন। একটি model loaded থাকা অবস্থায় এটি চালান, তারপর ollama stop-এর পরে আবার চালান:
free -havailable column-এ kernel একটি নতুন process-কে এখনও যে memory দিতে পারে, তা দেখানো হয়। NVIDIA GPU box-এ nvidia-smi একই বিষয় VRAM-এর ক্ষেত্রে দেখায়। box-এর memory শেষ হয়ে গেলে kernel memory পুনরুদ্ধারের জন্য একটি process kill করে:
sudo dmesg -T | grep -i "out of memory"ollama-এর নাম থাকা line-এর অর্থ model server-টি victim হয়েছে। আপনার database-এর নাম থাকা line-এর অর্থ model জিতেছে এবং আপনার গুরুত্বপূর্ণ কোনো service ক্ষতিগ্রস্ত হয়েছে। উভয় ফলাফলের কারণ একই: headroom না থাকা box-এ দীর্ঘ keep-alive window।
এখানে দুটি খরচ সহজে চোখ এড়ায়। দীর্ঘ context length বড় KV cache reserve করে। KV cache হলো key value cache, অর্থাৎ model generating করার সময় প্রতি token-এর জন্য ধরে রাখা attention state। এই cache resident size-এর অংশ। এর আকার num_ctx-এর ওপর নির্ভর করে। তাই context window বাড়ালে model উত্তর দেওয়ার সময় নয়, পুরো idle period জুড়ে resident model-এর memory usage বাড়ে। OLLAMA_NUM_PARALLEL 1-এর বেশি হলে, model সেই parallelism সমর্থন করলে প্রতি parallel slot-এর জন্য একবার করে cache reserve করে। Completion capability না থাকা model-এর ক্ষেত্রে, embedding model-সহ, Ollama v0.40.16 parallelism 1-এ বাধ্য করে; এর scheduler আর mllama বা qwen3next-কে আলাদাভাবে চিহ্নিত করে না। আপনি যদি একটি model থেকে একাধিক ব্যক্তিকে service দিতে চান, শুধু weights-এর জন্য নয়, slot-গুলোর জন্যও memory হিসাব করুন।
যুক্তিসংগত default হলো: headroom থাকা box-এ একটি model -1 ব্যবহার করতে পারে। Shared box-এ এমন একটি window ব্যবহার করুন যা আপনার request-গুলোর মধ্যকার বিরতি ঢেকে রাখে, যেমন 30m। এতে আপনি কাজ বন্ধ করলে memory আবার available হবে।
একটি model অবিলম্বে unload করুন
ollama stop qwen3:8bexpiration অনুরোধ করার পরে এটি কোনো output ছাড়াই ফিরে আসে; active request শেষ না হওয়া পর্যন্ত unloading অপেক্ষা করে, তাই memory মুক্ত হওয়ার আগেই command ফিরে আসতে পারে। বর্তমানে loaded নয়, কিন্তু pull করা আছে—এমন model-এর ক্ষেত্রেও এটি কোনো output ছাড়াই ফিরে আসে। commandটি memory-তে কী রয়েছে তা কখনো যাচাই করে না: এটি unload request পাঠায়, এবং memory-তে কিছু থাকুক বা না থাকুক server success জানায়। couldn't find model "qwen3:8b" to stop error শুধু তখনই দেখা যায়, যখন এই server-এ ওই নামে কোনো model installed নেই। সাধারণত এর কারণ name বা tag-এ typo। তাই নীরব ollama stop কোনো কিছু freed হওয়ার প্রমাণ নয়। ollama ps-ই প্রমাণ। API form-এ কোনো prompt থাকে না এবং keep_alive-এর মান 0 সেট করা থাকে:
curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'উত্তরে "done_reason": "unload" থাকে। service restart করার পরিবর্তে এটি ব্যবহার করুন। systemctl restart ollama-ও memory মুক্ত করে, কিন্তু অন্য সব loaded model সরিয়ে দেয় এবং চলমান যেকোনো request বন্ধ করে দেয়।
একটি সার্ভারে একাধিক মডেল চালানো
OLLAMA_MAX_LOADED_MODELS একসঙ্গে কতগুলো মডেল loaded থাকবে তা সীমিত করে। October 2026 অনুযায়ী, default হলো প্রতি GPU-তে তিনটি মডেল, অথবা CPU-only box-এ তিনটি। এই cap মডেলের সংখ্যা গণনা করে, কিন্তু প্রকৃত সীমা হলো memory। তাই তিনটিতে পৌঁছানোর অনেক আগেই দ্বিতীয় বড় মডেলটির জন্য পর্যাপ্ত memory না থাকায় সেটি প্রত্যাখ্যাত হতে পারে।
নতুন কোনো মডেলের জন্য request এলে এবং সেটি load করার মতো পর্যাপ্ত memory না থাকলে, অথবা cap-এ পৌঁছে গেলে, scheduler জায়গা তৈরি করতে resident মডেলগুলোর একটি unload করে। এটি এমন মডেলকে অগ্রাধিকার দেয় যার কোনো active request নেই। তবে timer শেষ না হলেও কোনো মডেল evict করতে পারে। এর মধ্যে -1 দিয়ে loaded মডেলও আছে, যদিও প্রথমে কম সময়ের window-যুক্ত মডেলগুলো বিবেচনা করে। তাই ঋণাত্মক keep_alive-এর অর্থ হলো কোনো idle timeout নেই। অন্য মডেলের request-এর জন্য এটি weights pin করে রাখে না।
এই সিদ্ধান্তগুলো service log-এ দেখা যায়। তবে cap-সংক্রান্ত ঘটনা শুধু debug level-এ log করা হয়। একই drop-in-এ দ্বিতীয় Environment="OLLAMA_DEBUG=1" line যোগ করুন, restart করুন, তারপর log monitor করুন:
sudo journalctl -u ollama -funload ঘটানোর request-এর পাশে দেওয়া কারণটি পড়ুন। max runners achieved, unloading one to make room মানে OLLAMA_MAX_LOADED_MODELS cap-এ পৌঁছে গেছে। উভয় মডেল memory-তে fit করলেও এটি ঘটতে পারে। তাই free -h পর্যাপ্ত headroom দেখালে cap বাড়ান। নতুন মডেলটি available memory ছাড়িয়ে যাবে বলে পূর্বাভাস দেওয়া হয়েছে—এরপর eviction দেখা গেলে বুঝতে হবে, memory headroom বিবেচনা করে scheduler-এর fit check দুটি মডেলকে একসঙ্গে load করার অনুমতি দেয়নি। এ ক্ষেত্রে সমাধান হলো এই box-এ কম মডেল রাখা, অথবা যে মডেলটিকে দ্রুত উত্তর দিতে হবে তার জন্য দীর্ঘ window রাখা এবং যে মডেলটি কম ব্যবহার করেন তার জন্য 0 ব্যবহার করা।
পরবর্তী release-এর পরেও কার্যকর নির্দেশনা
Ollama ঘন ঘন release প্রকাশ করে এবং এর default পরিবর্তিত হয়। তাই সংখ্যা মুখস্থ না করে আপনার সামনে থাকা build পরীক্ষা করুন:
ollama --version
ollama serve --helpollama serve --help-এ ওই build আসলে যে environment variable পড়ে, সেগুলোর তালিকা আছে। এর মধ্যে OLLAMA_KEEP_ALIVE-ও রয়েছে। সব release-এ দুটি নিয়ম কার্যকর থেকেছে এবং এগুলোর ওপর নির্ভর করে configuration তৈরি করা নিরাপদ। Request-এ দেওয়া value server default-এর ওপর অগ্রাধিকার পায়। আর configuration file-এ যা নির্ধারিত থাকুক না কেন, কী loaded হয়েছে তার প্রকৃত তথ্য হলো ollama ps।
কোনো editor বা agent আপনার server পরিচালনা করলে server-কে দোষ দেওয়ার আগে client কী পাঠাচ্ছে তা পরীক্ষা করুন। নিজের Ollama server-এ coding agent নির্দেশ করা-এ request setting-গুলো কোথায় থাকে তা ব্যাখ্যা করা হয়েছে।
FAQ
Ollama 5 মিনিট পরে আমার model unload করে কেন?
পাঁচ মিনিট হলো default keep_alive, অর্থাৎ request শেষ হলে Ollama যে idle timer চালু করে। Timer-এর সময় শেষ হলে server weights মুক্ত করে। তাই পরের request-এ সেগুলো আবার load করতে হয়। আপনি যে বিরতি অনুভব করেন, সেটি এই reload-এর কারণে হয়। একটি request-এর জন্য সময় বাড়াতে JSON body-তে "keep_alive": "30m" পাঠান। পুরো server-এর জন্য OLLAMA_KEEP_ALIVE environment variable ব্যবহার করুন।
Ollama-এর model কীভাবে স্থায়ীভাবে memory-তে loaded রাখব?
একটি negative value ব্যবহার করুন: request-এ "keep_alive": -1 অথবা server-এর জন্য OLLAMA_KEEP_ALIVE=-1। এরপর ollama ps-এর UNTIL column-এ Forever দেখা যাবে। এতে শুধু idle timer সরানো হয়। অন্য কোনো model-এর request এলে এবং memory কম থাকলে scheduler জায়গা তৈরি করতে এই model-টিও unload করতে পারে। একই model-এর পরের request-গুলো timeout পরিবর্তন করতে পারে। Runner option পরিবর্তন হলে reload-ও শুরু হতে পারে। Restart বা reboot হলেও এই অবস্থা মুছে যায়। তাই পরে model-টি আবার preload করুন।
OLLAMA_KEEP_ALIVE উপেক্ষা করা হচ্ছে কেন?
আপনি এটি কোথায় set করেছেন তা পরীক্ষা করুন। systemctl show ollama --property=Environment চালান। Output-এ variable না থাকলে server এটি পায়নি। কারণ shell-এ exported variable systemd service-এ পৌঁছায় না। sudo systemctl edit ollama.service দিয়ে এটি set করুন। এরপর sudo systemctl daemon-reload এবং sudo systemctl restart ollama চালান। আরেকটি কারণ হতে পারে এমন কোনো client, যা request-এ নিজের keep_alive পাঠায়। এটি server-এর default মানকে override করে।
Ollama restart না করে memory কীভাবে মুক্ত করব?
ollama stop qwen3:8b শুধু ওই model-এর expiration অনুরোধ করে। Server এবং অন্য সব loaded model চলতে থাকে। Unload করার আগে active request-গুলো শেষ হতে হবে। API-এর মাধ্যমে prompt ছাড়া এবং "keep_alive": 0 সহ একটি request পাঠান। Reply-তে "done_reason": "unload" ফিরে আসবে। ollama ps দিয়ে নিশ্চিত করুন। Unloading শেষ হলে সেখানে model-টি আর তালিকাভুক্ত থাকার কথা নয়।