SSD Nodes Learn Hosting plans →
تعلیمی Matt Connorتحریر: Matt Connor · اپ ڈیٹ شدہ 2026-11-16

Ollama model کو memory میں loaded کیسے رکھیں

Ollama idle کے بعد model کو 5 منٹ میں unload کرتا ہے۔ systemd override میں OLLAMA_KEEP_ALIVE سیٹ کریں، پھر reboot کے بعد model preload کریں تاکہ اگلی request پر reload کا انتظار نہ ہو۔

Ollama چند منٹ بعد model کو unload کیوں کرتا ہے؟

Ollama آخری request کے بعد model کو memory میں پانچ منٹ تک loaded رکھتا ہے، پھر اسے free کر دیتا ہے۔ اگلی request پر weights کو دوبارہ RAM یا VRAM میں load کرنا پڑتا ہے، اس لیے پہلا token آنے سے پہلے تاخیر ہوتی ہے۔ اسی وجہ سے chat UI یا coding agent تیز محسوس ہوتا ہے، کچھ دیر خاموش رہتا ہے، پھر اگلے message پر دوبارہ سست محسوس ہوتا ہے۔ کوئی خرابی نہیں ہے۔ Idle timer ختم ہو گیا ہے۔

اس timer کو keep_alive کہا جاتا ہے۔ یہ ہر model کے لیے الگ ہوتا ہے اور ہر request مکمل ہونے پر دوبارہ شروع ہو جاتا ہے۔ جو model اس وقت request کا جواب دے رہا ہو، اسے کبھی unload نہیں کیا جاتا، کیونکہ server صرف ایسے model کو expire کرتا ہے جس کی کوئی active request نہ ہو۔ October 2026 تک default پانچ منٹ ہے، اور یہ اس server کے load کیے گئے ہر model پر لاگو ہوتا ہے۔

Idle timeout مقرر کرنے کے دو مقامات ہیں: انفرادی request میں keep_alive field، یا server default کے طور پر OLLAMA_KEEP_ALIVE۔ systemd drop-in server default کو restart کے بعد برقرار رکھتا ہے۔ یہ guide فرض کرتی ہے کہ Ollama پہلے ہی service کے طور پر چل رہا ہے۔ اگر ایسا نہیں ہے تو VPS پر Ollama انسٹال کرنے سے شروع کریں اور پھر واپس آئیں۔

اس وقت کون سے models loaded ہیں، اور ان کی میعاد کب ختم ہوگی؟

ollama ps
NAME        ID              SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3:8b    500a1f067a9f    6.6 GB    100% GPU     4096       4 minutes from now

خالی output کا مطلب ہے کہ کچھ بھی loaded نہیں، اس لیے اگلی request کو پہلے model load کرنا ہوگا۔ PROCESSOR بتاتا ہے کہ weights کہاں load ہوئے ہیں۔ 100% GPU اور 100% CPU واضح حالتیں ہیں۔ 25%/75% CPU/GPU جیسی split کا مطلب ہے کہ model کا صرف ایک حصہ VRAM میں ہے، جبکہ باقی processor پر چل رہا ہے، اس لیے generation سست ہے۔ عموماً ایسا اس لیے ہوتا ہے کہ model کے لیے پوری جگہ دستیاب نہیں تھی، لیکن num_gpu setting بھی اسی طرح کی split پیدا کرتی ہے، کیونکہ یہ محدود کرتی ہے کہ کتنی layers GPU پر بھیجی جائیں۔

UNTIL باقی رہنے والا وقت دکھاتا ہے، اور 4 minutes from now جیسا relative time print کرتا ہے۔ جب model کو منفی keep_alive کے ساتھ load کیا گیا ہو تو یہ Forever print کرتا ہے۔ expiration کے بعد یہ Stopping... print کرتا ہے، اس وقت بھی جب active requests unloading میں تاخیر کر رہی ہوں۔

Releases کے درمیان columns کا مجموعہ تبدیل ہوا ہے، اس لیے script میں fields گننے کے بجائے header پڑھیں۔ 2026-10-30 کو checked Ollama v0.40.5، CONTEXT اور UNTIL کے درمیان RUNNER column بھی print کرتا ہے۔ یہ اس runner کا نام بتاتا ہے جو model کو serve کر رہا ہے، اس لیے آپ کا header اوپر دی گئی مثال سے ایک column زیادہ وسیع ہو سکتا ہے۔ Automation کے لیے API سے معلومات لیں:

curl -s http://localhost:11434/api/ps

ہر entry میں expires_at، 2026-08-09T14:38:31.83753Z جیسا absolute timestamp، اور size_vram شامل ہوتے ہیں۔ size_vram اس model کا وہ حصہ ہے جو GPU memory میں موجود ہے۔ size_vram کی value 0 ہو تو model CPU پر چل رہا ہے۔

اصل reload کی لاگت

اس کا اندازہ نہ لگائیں۔ Ollama ہر response میں load time کو load_duration کے طور پر nanoseconds میں رپورٹ کرتا ہے۔

sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'

ollama stop کے بعد ollama ps میں model کا نام آنا بند ہونے تک انتظار کریں، پھر دونوں API calls چلائیں۔ پہلی call model کو load کرتی ہے، اس لیے اس کی load_duration بڑی ہوتی ہے۔ اسے seconds میں پڑھنے کے لیے 1000000000 سے تقسیم کریں۔ دوسری call اس وقت چلتی ہے جب model memory میں موجود ہوتا ہے، اس لیے اس میں بہت کم number رپورٹ ہوتا ہے۔ ان دونوں اعداد کے درمیان فرق وہ لاگت ہے جو timer ختم ہونے کے بعد ہر user کو برداشت کرنی پڑتی ہے، اور یہی keep_alive تبدیل کرنے کی بنیادی وجہ ہے۔ unload کے بعد kernel کا page cache اکثر model file کو اب بھی محفوظ رکھتا ہے، اس لیے spare RAM والے server پر reload، boot کے بعد ہونے والے پہلے load سے زیادہ تیز ہو سکتا ہے۔ جب یہ cache reclaim ہو جائے تو weights disk سے پڑھے جاتے ہیں۔ اس صورت میں، اگر آپ نے model directory کو دوسرے volume پر منتقل کیا ہے، تو ہر cold load کی کم از کم رفتار اسی volume کی رفتار طے کرتی ہے۔ اس pause کے دونوں طرف generation speed کے لیے اپنے server پر tokens per second ناپنے کا طریقہ دیکھیں۔

درخواست پر Ollama ماڈل کو میموری میں loaded رکھیں

درخواست کے ساتھ keep_alive بھیجیں۔ درخواست مکمل ہوتے ہی یہ اسی ماڈل پر لاگو ہو جاتا ہے۔

curl -s http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "hello"}],
  "keep_alive": "30m"
}'

چار value formats قبول کیے جاتے ہیں:

  • duration string: "30m"، "24h"، "90s"
  • plain number، جسے seconds کے طور پر پڑھا جاتا ہے: 3600
  • negative value، -1 یا "-1m"، جس کا مطلب ہے کہ idle timeout بالکل نہیں ہوگا
  • 0، جس کا مطلب ہے کہ ماڈل کی کوئی active request باقی نہ رہنے پر اسے unload کر دیا جائے

درخواست میں دی گئی value سرور کی default value کو دونوں سمتوں میں override کرتی ہے۔ اس کی اہمیت توقع سے زیادہ ہے: جو client اپنی keep_alive بھیجتا ہے، وہ سرور پر configured کسی بھی value پر غالب آتی ہے۔

آپ کوئی output generate کیے بغیر بھی ماڈل load کر سکتے ہیں۔ صرف model name بھیجیں۔ سرور اسے load کرتا ہے اور "done": true کے ساتھ empty response واپس کرتا ہے۔

curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'

reboot کے بعد یا نیا model pull کرنے کے بعد چلانے کے لیے یہی command ہے، تاکہ پہلے حقیقی user request کو model load ہونے کا انتظار نہ کرنا پڑے۔ CLI بھی flag کے ذریعے یہی کام کرتا ہے:

ollama run --keepalive 30m qwen3:8b "hello"

OLLAMA_KEEP_ALIVE کے ذریعے اسے بطور ڈیفالٹ loaded رکھیں

Server startup کے وقت OLLAMA_KEEP_ALIVE پڑھتا ہے اور اسے ہر ایسے model کے لیے استعمال کرتا ہے جس میں اپنی value موجود نہ ہو۔ یہ request field جیسی ہی forms قبول کرتا ہے، اس لیے 30m، 3600 اور -1 سب کام کرتے ہیں۔

اصل مسئلہ یہ ہے کہ یہ environment کس user کے لیے set کیا گیا ہے۔ اپنی SSH session میں export OLLAMA_KEEP_ALIVE=30m چلانے سے کچھ نہیں ہوگا، کیونکہ packaged install server کو اس کے اپنے user اور اپنے environment کے تحت systemd service کے طور پر چلاتا ہے۔ آپ کی login shell اور وہ service ایک دوسرے کے environment تک رسائی نہیں رکھتیں۔ یہی سب سے عام وجہ ہے کہ یہ setting نظرانداز ہوتی محسوس ہوتی ہے۔

systemd drop-in کے ذریعے اسے restart کے بعد بھی برقرار رکھیں

sudo systemctl edit ollama.service

ایڈیٹر دو comment markers کے ساتھ کھلتا ہے۔ ان دونوں کے درمیان لکھیں: systemd دوسرے marker کے نیچے لکھی ہوئی ہر چیز نظرانداز کر دیتا ہے۔

[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"

محفوظ کرنے سے /etc/systemd/system/ollama.service.d/override.conf لکھا جاتا ہے۔ یہ shipped unit میں ترمیم کے بجائے drop-in ہے، اس لیے جب Ollama package upgrade کے دوران ollama.service تبدیل ہو جائے تو بھی آپ کی setting برقرار رہتی ہے۔ اگر drop-ins اور unit files آپ کے لیے نئے ہیں تو systemd service اور timer guide میں اس طریقۂ کار کی وضاحت موجود ہے۔

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

آخری command وہ environment دکھاتی ہے جس کے ساتھ service حقیقتاً چلے گی۔ اگر اس سطر میں OLLAMA_KEEP_ALIVE=30m موجود نہ ہو تو drop-in لاگو نہیں ہوا۔ اس کی وجہ تقریباً ہمیشہ missing [Service] header یا marker کے نیچے لکھی گئی lines ہوتی ہیں۔ Restart کے دوران تمام loaded models خارج ہو جاتے ہیں، اس لیے اگلی request cold load ہوگی۔ اوپر دیا گیا preload call چلا کر اسے دوبارہ load کریں۔ Drop-in یہ setting reboot کے بعد بھی برقرار رکھتا ہے، model کو نہیں: service ollama serve خالی حالت میں start ہوتی ہے، اس لیے ہر boot کے بعد وہی preload call چلائیں۔

ماڈل کو resident رکھنے کی لاگت

ollama ps میں SIZE کالم اس memory کو ظاہر کرتا ہے جو پورے idle window کے دوران مختص رہتی ہے، صرف request کے دوران نہیں۔ 4-bit quantisation والا 8B model تقریباً 5 سے 6 GB memory لیتا ہے۔ 27B model کا معاملہ مختلف ہے، اور CPU-only VPS پر اسے چلانے کے لیے memory کا حساب اس model کو resident رکھنے کا فیصلہ کرنے سے پہلے کرنا مفید ہے۔ keep_alive کو -1 پر set کرنے سے idle expiration غیر فعال ہو جاتی ہے؛ بعد کی requests اسی model کے لیے اس timeout کو بدل سکتی ہیں یا runner options تبدیل ہونے پر reload پر مجبور کر سکتی ہیں۔ چھوٹے VPS پر یہ آپ کے database، web app اور build jobs کے ساتھ براہِ راست وسائل کا سمجھوتا ہے۔

تخمینے پر انحصار کرنے کے بجائے اصل اعداد دیکھیں۔ یہ command اس وقت چلائیں جب model loaded ہو، پھر ollama stop کے بعد دوبارہ چلائیں:

free -h

available کالم وہ memory دکھاتا ہے جو kernel ابھی نئے process کو دے سکتا ہے۔ NVIDIA GPU box پر nvidia-smi VRAM کے بارے میں یہی صورتِ حال دکھاتا ہے۔ اگر box کی memory ختم ہو جائے تو kernel memory واپس حاصل کرنے کے لیے کسی process کو ختم کر دیتا ہے:

sudo dmesg -T | grep -i "out of memory"

ollama کا نام دکھانے والی line کا مطلب ہے کہ model server متاثر ہوا۔ آپ کے database کا نام دکھانے والی line کا مطلب ہے کہ model بچ گیا اور آپ کی اہم سروس میں سے کوئی ایک ختم کر دی گئی۔ دونوں نتائج ایک ہی فیصلے سے پیدا ہوتے ہیں: ایسے box پر طویل keep-alive window رکھنا جس میں اضافی memory موجود نہ ہو۔

یہاں دو لاگتیں آسانی سے نظر انداز ہو جاتی ہیں۔ زیادہ context length بڑا KV cache محفوظ کرتی ہے۔ KV cache سے مراد key value cache ہے، یعنی ہر token کے لیے وہ attention state جسے model generation کے دوران برقرار رکھتا ہے، اور یہ resident size کا حصہ ہے۔ اس کا حجم num_ctx سے طے ہوتا ہے، اس لیے context window بڑھانے سے resident model کی پوری idle مدت کے لیے مختص memory بڑھ جاتی ہے، صرف جواب دیتے وقت نہیں۔ OLLAMA_NUM_PARALLEL کو 1 سے زیادہ رکھنے پر، جہاں model اس parallelism کو support کرتا ہو، ہر parallel slot کے لیے یہ cache ایک بار محفوظ ہوتی ہے۔ Ollama v0.40.16 ان models کے لیے parallelism کو 1 پر مقرر کرتا ہے جن میں completion capability نہیں ہوتی، جن میں embedding models بھی شامل ہیں؛ اس کا scheduler اب mllama یا qwen3next کو الگ طور پر منتخب نہیں کرتا۔ اگر آپ ایک ہی model سے کئی افراد کو service دینے کا منصوبہ رکھتے ہیں تو memory کا حجم صرف weights کے لیے نہیں بلکہ slots کے لیے مقرر کریں۔

معقول default یہ ہے: اضافی memory والے box پر ایک model -1 استعمال کر سکتا ہے۔ shared box پر ایسی window استعمال کریں جو آپ کی requests کے درمیان وقفوں کو cover کرے، مثلاً 30m، تاکہ کام روکنے پر memory واپس دستیاب ہو جائے۔

فوری طور پر ماڈل unload کریں

ollama stop qwen3:8b

expiration کی درخواست کے بعد یہ بغیر کسی output کے واپس آتا ہے۔ unload ہونے سے پہلے فعال requests مکمل ہونے کا انتظار کیا جاتا ہے، اس لیے memory آزاد ہونے سے پہلے command واپس آ سکتی ہے۔ اگر آپ نے کوئی model pull کیا ہو لیکن وہ اس وقت loaded نہ ہو، تب بھی یہ command بغیر کسی output کے واپس آتی ہے۔ یہ command کبھی یہ جانچ نہیں کرتی کہ کون سا model memory میں موجود ہے۔ یہ صرف unload request بھیجتی ہے، اور server کامیابی کا جواب دیتا ہے، خواہ memory میں کچھ موجود ہو یا نہ ہو۔ couldn't find model "qwen3:8b" to stop error صرف اس وقت ظاہر ہوتی ہے جب اس نام کا کوئی model اس server پر installed نہ ہو۔ عموماً اس کی وجہ نام یا tag میں typo ہوتا ہے۔ اس لیے خاموش ollama stop اس بات کا ثبوت نہیں ہے کہ memory آزاد ہوئی ہے۔ ollama ps ہے۔ API کی شکل ایک ایسی request ہے جس میں کوئی prompt نہیں ہوتا اور keep_alive کو 0 پر set کیا جاتا ہے:

curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'

جواب میں "done_reason": "unload" شامل ہوتا ہے۔ service کو restart کرنے کے بجائے یہ طریقہ استعمال کریں۔ systemctl restart ollama بھی memory آزاد کرتا ہے، لیکن یہ تمام دوسرے loaded models کو ہٹا دیتا ہے اور جاری رہنے والی ہر request کو ختم کر دیتا ہے۔

ایک سرور پر ایک سے زیادہ ماڈل چلانا

OLLAMA_MAX_LOADED_MODELS بیک وقت loaded رہنے والے ماڈلز کی تعداد محدود کرتا ہے۔ اکتوبر 2026 تک default ہر GPU کے لیے تین ماڈلز ہے، یا صرف CPU والے سسٹم پر بھی تین ماڈلز ہیں۔ یہ حد ماڈلز کی تعداد گنتی ہے، جبکہ اصل حد memory ہے۔ اس لیے تین تک پہنچنے سے بہت پہلے دوسرا بڑا ماڈل load ہونے سے انکار ہو سکتا ہے۔

جب نئے ماڈل کی درخواست کی جائے اور اس کے لیے کافی memory نہ ہو، یا مقررہ حد پوری ہو چکی ہو، تو scheduler جگہ بنانے کے لیے resident ماڈلز میں سے ایک کو unload کر دیتا ہے۔ یہ پہلے ایسے ماڈل کو منتخب کرتا ہے جس کی کوئی active request نہ ہو۔ یہ ایسے ماڈل کو بھی evict کر سکتا ہے جس کا timer ابھی ختم نہ ہوا ہو، بشمول -1 کے ساتھ loaded ماڈل کے، تاہم پہلے کم مدت والے windows آزمائے جاتے ہیں۔ اس لیے منفی keep_alive کا مطلب ہے کہ idle timeout مقرر نہیں ہے۔ یہ weights کو کسی دوسرے ماڈل کی request سے محفوظ نہیں رکھتا۔

یہ فیصلے service log میں ظاہر ہوتے ہیں، اور cap کی صورت صرف debug level پر log ہوتی ہے۔ اسی drop-in میں دوسری Environment="OLLAMA_DEBUG=1" line شامل کریں، service restart کریں، اور log monitor کریں:

sudo journalctl -u ollama -f

اس request کے ساتھ دی گئی وجہ پڑھیں جس نے unload شروع کیا۔ max runners achieved, unloading one to make room کا مطلب ہے کہ OLLAMA_MAX_LOADED_MODELS cap پوری ہو گئی ہے۔ یہ اس وقت بھی ہو سکتا ہے جب دونوں ماڈلز memory میں سما سکتے ہوں، اس لیے اگر free -h میں کافی headroom دکھائی دے تو cap بڑھا دیں۔ اگر ایک line میں لکھا ہو کہ نیا ماڈل available memory سے زیادہ استعمال کرنے کا متوقع ہے اور اس کے بعد eviction ہو، تو اس کا مطلب ہے کہ scheduler کی fit check نے memory headroom کی بنیاد پر دونوں ماڈلز کو ایک ساتھ load کرنے سے انکار کیا۔ اس صورت میں اس سرور پر ماڈلز کی تعداد کم کریں، یا اس ماڈل کے لیے طویل window رکھیں جسے فوری جواب دینا ہوتا ہے، اور کم استعمال ہونے والے ماڈل کے لیے 0 رکھیں۔

اگلی release کے بعد بھی قابلِ استعمال رہنے والی رہنمائی

Ollama بار بار release ہوتا ہے اور اس کے default settings بدلتے رہتے ہیں، اس لیے نمبرز یاد رکھنے کے بجائے اپنے سامنے موجود build کو چیک کریں:

ollama --version
ollama serve --help

ollama serve --help ان environment variables کی فہرست دیتا ہے جنہیں وہ build حقیقتاً پڑھتا ہے، جن میں OLLAMA_KEEP_ALIVE بھی شامل ہے۔ دو اصول مختلف releases میں برقرار رہے ہیں اور ان پر اعتماد کیا جا سکتا ہے۔ request میں دی گئی value server default پر مقدم ہوتی ہے۔ اور ollama ps اس بات کا معتبر ذریعہ ہے کہ حقیقت میں کیا load ہوا ہے، چاہے config file میں کچھ اور درج ہو۔

اگر کوئی editor یا agent آپ کے server کو چلا رہا ہے تو server کو ذمہ دار ٹھہرانے سے پہلے دیکھیں کہ وہ client کیا بھیج رہا ہے۔ اپنے Ollama server کی طرف coding agent کی رہنمائی میں بتایا گیا ہے کہ request settings کہاں موجود ہوتی ہیں۔

FAQ

Ollama 5 منٹ بعد میرا model کیوں unload کر دیتا ہے؟

پانچ منٹ default keep_alive ہیں۔ یہ وہ idle timer ہے جسے Ollama request مکمل ہونے پر شروع کرتا ہے۔ اس کی مدت ختم ہونے پر server weights کو memory سے آزاد کر دیتا ہے۔ اس لیے اگلی request پر انہیں دوبارہ load کرنا پڑتا ہے، اور یہی reload آپ کو تاخیر کی صورت میں محسوس ہوتا ہے۔ ایک request کے لیے اسے بڑھانے کی خاطر JSON body میں "keep_alive": "30m" بھیجیں، یا پورے server کے لیے OLLAMA_KEEP_ALIVE environment variable استعمال کریں۔

Ollama model کو memory میں مستقل loaded کیسے رکھوں؟

منفی value استعمال کریں: request پر "keep_alive": -1، یا server کے لیے OLLAMA_KEEP_ALIVE=-1۔ اس کے بعد ollama ps، UNTIL column میں Forever دکھاتا ہے۔ اس سے صرف idle timer ختم ہوتا ہے، کوئی اور تبدیلی نہیں ہوتی۔ اگر کسی دوسرے model کی request آئے اور memory کم ہو، تو scheduler جگہ بنانے کے لیے اس model کو پھر بھی unload کر دیتا ہے۔ اسی model کی بعد والی requests اس کا timeout بھی تبدیل کر سکتی ہیں، یا runner options تبدیل ہونے پر reload شروع کر سکتی ہیں۔ Restart یا reboot سے یہ حالت بھی ختم ہو جاتی ہے، اس لیے بعد میں model کو دوبارہ preload کریں۔

OLLAMA_KEEP_ALIVE کو نظرانداز کیوں کیا جا رہا ہے؟

دیکھیں کہ اسے کہاں set کیا گیا ہے۔ systemctl show ollama --property=Environment چلائیں۔ اگر variable اس output میں موجود نہ ہو تو server اسے کبھی نہیں دیکھ سکا، کیونکہ آپ کے shell میں export کیا گیا variable systemd service تک نہیں پہنچتا۔ اسے sudo systemctl edit ollama.service کے ذریعے set کریں، پھر sudo systemctl daemon-reload اور sudo systemctl restart ollama چلائیں۔ دوسری وجہ یہ client ہو سکتا ہے جو request میں اپنا keep_alive بھیجتا ہے۔ یہ server default کو override کر دیتا ہے۔

Ollama کو restart کیے بغیر memory کیسے آزاد کروں؟

ollama stop qwen3:8b صرف اس model کے expiration کی request کرتا ہے۔ Server اور باقی تمام loaded models چلتے رہتے ہیں۔ Unload ہونے سے پہلے active requests مکمل ہونی چاہییں۔ API کے ذریعے prompt کے بغیر اور "keep_alive": 0 کے ساتھ request بھیجیں۔ جواب "done_reason": "unload" کے ساتھ واپس آئے گا۔ ollama ps سے تصدیق کریں۔ Unloading مکمل ہونے کے بعد model اس میں موجود نہیں ہونا چاہیے۔

کیا یہ مضمون مفید تھا؟