آموزش ثابت نگه داشتن مدل در حافظه Ollama
نرمافزار Ollama مدلها را پس از 5 دقیقه بیکاری از حافظه خارج میکند. با تنظیم متغیر محیطی OLLAMA_KEEP_ALIVE در systemd، از بارگذاری مجدد و تأخیر در پاسخدهی جلوگیری کنید.
چرا Ollama مدل را پس از چند دقیقه از حافظه خارج میکند؟
Ollama مدل را تا 5 دقیقه پس از آخرین درخواست در حافظه نگه میدارد و پس از آن، حافظه را آزاد میکند. در درخواست بعدی، مدل باید دوباره وزنها را در RAM یا VRAM بارگذاری کند؛ به همین دلیل پیش از تولید اولین توکن، تأخیری ایجاد میشود. به همین علت است که رابط کاربری چت یا ابزار برنامهنویسی در ابتدا سریع عمل میکند، مدتی ساکت میماند و در پیام بعدی دوباره کند میشود. هیچ خرابیای وجود ندارد؛ تایمر بیکاری (idle timer) به پایان رسیده است.
این تایمر keep_alive نام دارد. این تنظیم برای هر مدل بهصورت جداگانه اعمال میشود و با پایان یافتن هر درخواست، دوباره از نو شروع میشود. مدلی که در حال پاسخدهی به یک درخواست است، هرگز از حافظه خارج نمیشود، زیرا سرور فقط مدلهایی را که هیچ درخواست فعالی ندارند، غیرفعال میکند. تا اکتبر 2026، مقدار پیشفرض 5 دقیقه است و برای تمام مدلهایی که این سرور بارگذاری میکند، اعمال میشود.
دو مکان برای تنظیم زمان انتظار بیکاری (idle timeout) وجود دارد: فیلد keep_alive در هر درخواست بهصورت مجزا، یا OLLAMA_KEEP_ALIVE بهعنوان مقدار پیشفرض سرور. استفاده از یک فایل drop-in در systemd باعث میشود که مقدار پیشفرض سرور پس از راهاندازی مجدد (restart) باقی بماند. این راهنما فرض میکند که Ollama هماکنون بهعنوان یک سرویس در حال اجرا است. اگر چنین نیست، با نصب Ollama روی یک VPS شروع کنید و سپس به اینجا بازگردید.
کدام مدلها در حال حاضر در حافظه مستقر هستند و چه زمانی منقضی میشوند؟
ollama psNAME ID SIZE PROCESSOR CONTEXT UNTIL
qwen3:8b 500a1f067a9f 6.6 GB 100% GPU 4096 4 minutes from nowخروجی خالی به این معنی است که هیچ مدلی بارگذاری نشده است، بنابراین درخواست بعدی باید ابتدا مدل را بارگذاری کند. PROCESSOR به شما میگوید که وزنها در کجا قرار گرفتهاند. 100% GPU و 100% CPU موارد واضح هستند. تقسیمی مانند 25%/75% CPU/GPU به این معنی است که تنها بخشی از مدل در VRAM قرار دارد، بنابراین باقی آن روی پردازنده اجرا میشود و سرعت تولید کاهش مییابد. معمولاً این اتفاق به این دلیل رخ میدهد که مدل در حافظه جا نشده است، اما تنظیم num_gpu که تعداد لایههای ارسالی به GPU را محدود میکند نیز منجر به همین نوع تقسیمبندی میشود.
UNTIL شمارش معکوس است و زمان نسبی مانند 4 minutes from now را چاپ میکند. اگر مدل با keep_alive منفی بارگذاری شده باشد، Forever را چاپ میکند. پس از انقضا، از جمله زمانی که درخواستهای فعال تخلیه مدل را به تأخیر میاندازند، Stopping... را چاپ میکند.
مجموعه ستونها بین نسخههای مختلف تغییر کرده است، بنابراین به جای شمارش فیلدها در اسکریپت، عنوان ستونها را بخوانید. نسخه Ollama v0.40.5 که در تاریخ 2026-10-30 بررسی شد، یک ستون RUNNER نیز بین CONTEXT و UNTIL چاپ میکند که نام runner سرویسدهنده مدل را نشان میدهد، بنابراین عنوان ستونهای شما ممکن است یک ستون بیشتر از مثال بالا باشد. برای هرگونه عملیات خودکار، از API پرسوجو کنید:
curl -s http://localhost:11434/api/psهر ورودی شامل expires_at، یک برچسب زمانی مطلق مانند 2026-08-09T14:38:31.83753Z، و size_vram است که بخشی از آن مدل را نشان میدهد که در حافظه GPU قرار دارد. مقدار size_vram برابر با 0 به این معنی است که مدل روی CPU در حال اجرا است.
هزینه واقعی بارگذاری مجدد
در این مورد حدس نزنید. Ollama زمان بارگذاری را در هر پاسخ، به صورت load_duration و با واحد نانوثانیه گزارش میکند.
sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'پیش از اجرای دو فراخوانی API، صبر کنید تا ollama ps پس از اجرای ollama stop دیگر نام مدل را نمایش ندهد. فراخوانی اول مدل را بارگذاری میکند، بنابراین مقدار load_duration آن بزرگ است. برای خواندن آن به ثانیه، عدد را بر 1000000000 تقسیم کنید. فراخوانی دوم در حالی اجرا میشود که مدل در حافظه مستقر است و عدد بسیار کوچکتری را گزارش میکند. اختلاف بین این دو عدد، هزینهای است که هر کاربر پس از پایان زمان تایمر متحمل میشود و همین موضوع دلیل اصلی تغییر keep_alive است. پس از تخلیه مدل (unload)، کش صفحه (page cache) هسته سیستمعامل اغلب همچنان فایل مدل را نگه میدارد؛ بنابراین در سیستمی که RAM آزاد دارد، بارگذاری مجدد میتواند سریعتر از اولین بارگذاری پس از بوت باشد. هنگامی که آن کش بازپسگیری شود، وزنها از دیسک خوانده میشوند؛ بنابراین اگر دایرکتوری مدل را به یک volume دوم منتقل کردهاید، سرعت آن volume تعیینکننده حداقل زمان برای هر بارگذاری سرد (cold load) خواهد بود. برای مشاهده سرعت تولید متن در دو طرف این وقفه، به نحوه اندازهگیری توکن بر ثانیه روی سیستم خود مراجعه کنید.
نگه داشتن مدل Ollama در حافظه پس از یک درخواست
با ارسال keep_alive همراه با درخواست، این تنظیم از لحظه پایان یافتن درخواست برای آن مدل اعمال میشود.
curl -s http://localhost:11434/api/chat -d '{
"model": "qwen3:8b",
"messages": [{"role": "user", "content": "hello"}],
"keep_alive": "30m"
}'چهار نوع مقدار برای این تنظیم پذیرفته میشود:
- یک رشته زمانی:
"30m"،"24h"،"90s" - یک عدد ساده که به عنوان ثانیه خوانده میشود:
3600 - یک مقدار منفی،
-1یا"-1m"، به معنای عدم وجود زمان انتظار (timeout) برای بیکاری 0، به معنای تخلیه مدل از حافظه بلافاصله پس از پایان درخواستهای فعال
مقدار ارسالی در درخواست، پیشفرض سرور را در هر دو جهت نادیده میگیرد (override میکند). این موضوع اهمیت زیادی دارد: اگر کلاینتی keep_alive اختصاصی خود را ارسال کند، بر هر تنظیمی که روی سرور اعمال کردهاید اولویت خواهد داشت.
شما همچنین میتوانید یک مدل را بدون تولید هیچ خروجی (generation) بارگذاری کنید. تنها کافی است نام مدل را ارسال کنید. سرور آن را بارگذاری کرده و یک پاسخ خالی با کد "done": true برمیگرداند.
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'این دستوری است که باید پس از reboot یا پس از دریافت (pull) یک مدل جدید اجرا کنید تا اولین درخواست کاربر واقعی، منتظر بارگذاری مدل نماند. رابط خط فرمان (CLI) نیز همین کار را با یک flag انجام میدهد:
ollama run --keepalive 30m qwen3:8b "hello"نگهداری مدل در حافظه بهصورت پیشفرض با OLLAMA_KEEP_ALIVE
سرور مقدار OLLAMA_KEEP_ALIVE را هنگام راهاندازی میخواند و برای هر مدلی که مقدار اختصاصی خود را نداشته باشد، از آن استفاده میکند. این متغیر همان فرمتهای فیلد درخواست را میپذیرد، بنابراین 30m، 3600 و -1 همگی کار میکنند.
نکته مهم این است که این متغیر باید در محیط (environment) مناسب تنظیم شود. اجرای export OLLAMA_KEEP_ALIVE=30m در نشست SSH شما هیچ تأثیری ندارد، زیرا نصب بستهبندیشده، سرور را بهعنوان یک سرویس systemd تحت کاربر مخصوص خود و با محیط اختصاصی آن اجرا میکند. shell ورود شما و آن سرویس هیچگاه با هم تلاقی ندارند. این رایجترین دلیلی است که باعث میشود به نظر برسد این تنظیم نادیده گرفته شده است.
با یک drop-in در systemd، تنظیم را پس از restart نیز حفظ کنید
sudo systemctl edit ollama.serviceویرایشگر با دو نشانگر توضیح باز میشود. متن را بین این دو نشانگر وارد کنید: systemd هر چیزی را که زیر نشانگر دوم بنویسید، نادیده میگیرد.
[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"با ذخیرهسازی، /etc/systemd/system/ollama.service.d/override.conf نوشته میشود. این فایل یک drop-in است، نه ویرایش unitای که همراه بسته ارائه شده است؛ بنابراین اگر ارتقای بسته Ollama، ollama.service را جایگزین کند، تنظیم شما باقی میماند. اگر drop-inها و unit fileها برایتان جدید هستند، راهنمای سرویس و timer در systemd سازوکار آنها را توضیح میدهد.
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentآخرین command محیطی را چاپ میکند که سرویس واقعاً با آن اجرا خواهد شد. اگر OLLAMA_KEEP_ALIVE=30m در آن خط وجود نداشته باشد، drop-in اعمال نشده است و علت تقریباً همیشه نبودن header مربوط به [Service] یا وارد کردن خطوط زیر نشانگر است. خود restart همه مدلهای بارگذاریشده را خارج میکند؛ بنابراین درخواست بعدی با یک cold load انجام میشود. با فراخوانی preload بالا آن را گرم کنید. drop-in این تنظیم را پس از reboot حفظ میکند، نه مدل را: سرویس در هر بار شروع، ollama serve و بدون هیچ مدل بارگذاریشده اجرا میشود؛ بنابراین پس از هر boot همان فراخوانی preload را اجرا کنید.
هزینههای نگه داشتن مدل در حافظه (Resident)
ستون SIZE در ollama ps نشاندهنده حافظهای است که در تمام طول بازه زمانی بیکاری (idle window) اشغال میماند، نه فقط در زمان پردازش درخواست. یک مدل 8B با کوانتایزیشن 4-bit حدود 5 تا 6 گیگابایت فضا اشغال میکند. مدل 27B بحث متفاوتی دارد و محاسبات حافظه برای اجرای آن روی یک VPS بدون GPU موضوعی است که پیش از تصمیم به نگه داشتن دائمی مدل در حافظه، باید بررسی شود. اگر keep_alive را روی -1 تنظیم کنید، انقضای زمان بیکاری غیرفعال میشود؛ درخواستهای بعدی برای همان مدل میتوانند تایماوت آن را جایگزین کنند یا در صورت تغییر گزینههای اجرا (runner options)، مدل را مجبور به بارگذاری مجدد کنند. در یک VPS کوچک، این کار مستقیماً به قیمت کاهش منابع دیتابیس، وباپلیکیشن و کارهای build شما تمام میشود.
به جای اعتماد به تخمینها، اعداد واقعی را زیر نظر بگیرید. این دستور را در حالی که مدل بارگذاری شده اجرا کنید، و سپس دوباره پس از ollama stop:
free -hستون available حافظهای است که کرنل هنوز میتواند به یک پردازش جدید اختصاص دهد. در سرورهای دارای GPU انویدیا، nvidia-smi همین وضعیت را برای VRAM نشان میدهد. اگر حافظه سرور تمام شود، کرنل برای بازیابی منابع، یک پردازش را متوقف (kill) میکند:
sudo dmesg -T | grep -i "out of memory"خطی که نام ollama را ذکر میکند، یعنی سرور مدل قربانی شده است. خطی که نام دیتابیس شما را ذکر میکند، یعنی مدل برنده شده و سرویس مهم شما از دست رفته است. هر دو نتیجه ناشی از یک تصمیم واحد هستند: تنظیم یک بازه زمانی طولانی برای keep-alive روی سروری که فضای خالی کافی ندارد.
دو هزینه در اینجا وجود دارد که نادیده گرفتن آنها آسان است. طول context بیشتر، یک KV cache (حافظه کش کلید-مقدار؛ وضعیت توجه به ازای هر توکن که مدل هنگام تولید حفظ میکند) بزرگتر رزرو میکند و این کش بخشی از حجم حافظه resident است. اندازه آن از num_ctx تبعیت میکند، بنابراین افزایش پنجره context باعث میشود مدل resident در تمام طول دوره بیکاری، نه فقط هنگام پاسخدهی، حافظه بیشتری اشغال کند. مقدار OLLAMA_NUM_PARALLEL بالاتر از 1، به ازای هر اسلات موازی (parallel slot) آن کش را رزرو میکند (در صورتی که مدل از آن موازیسازی پشتیبانی کند). نسخه Ollama v0.40.16 برای مدلهایی که قابلیت completion ندارند، از جمله مدلهای embedding، موازیسازی را به 1 محدود میکند؛ زمانبند (scheduler) آن دیگر mllama یا qwen3next را متمایز نمیکند. اگر قصد دارید به چندین کاربر از طریق یک مدل سرویس دهید، حافظه را بر اساس تعداد اسلاتها محاسبه کنید، نه فقط بر اساس وزنهای مدل.
یک مقدار پیشفرض معقول: یک مدل روی سروری که فضای کافی دارد میتواند از -1 استفاده کند. در یک سرور اشتراکی، باید از بازهای استفاده کنید که فواصل بین درخواستهای شما را پوشش دهد، مانند 30m، تا وقتی کار شما تمام شد، حافظه آزاد شود.
تخلیه فوری مدل
ollama stop qwen3:8bاین دستور پس از درخواست انقضا، بدون خروجی بازمیگردد؛ عملیات تخلیه منتظر پایان درخواستهای فعال میماند، بنابراین ممکن است دستور پیش از آزاد شدن حافظه بازگردد. همچنین برای مدلی که دانلود کردهاید اما در حال حاضر بارگذاری نشده است نیز بدون خروجی بازمیگردد. این دستور هرگز بررسی نمیکند که چه چیزی در حافظه مقیم است: دستور تخلیه را ارسال میکند و سرور فارغ از اینکه چیزی در حافظه بوده یا خیر، پاسخ موفقیتآمیز میدهد. خطای couldn't find model "qwen3:8b" to stop تنها زمانی ظاهر میشود که هیچ مدلی با آن نام روی این سرور نصب نشده باشد، که معمولاً به معنای اشتباه تایپی در نام یا تگ است. بنابراین، یک ollama stop بیصدا، اثباتی بر آزاد شدن چیزی نیست. ollama ps این موضوع را اثبات میکند. فرمت API یک درخواست بدون prompt است که در آن keep_alive روی 0 تنظیم شده است:
curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'پاسخ شامل "done_reason": "unload" است. بهجای راهاندازی مجدد سرویس، از این روش استفاده کنید. systemctl restart ollama نیز حافظه را آزاد میکند، اما تمام مدلهای بارگذاریشدهٔ دیگر را حذف کرده و هر درخواستی که در حال اجرا بوده را متوقف میکند.
اجرای بیش از یک مدل روی یک سرور
OLLAMA_MAX_LOADED_MODELS تعداد مدلهایی که همزمان در حافظه بارگذاری میشوند را محدود میکند. از اکتبر 2026، مقدار پیشفرض این محدودیت برای هر GPU یا برای یک سیستم بدون GPU، سه مدل است. این محدودیت بر اساس تعداد مدلها اعمال میشود، اما محدودیت واقعی، حافظه است؛ بنابراین ممکن است پیش از رسیدن به تعداد سه مدل، فضای کافی برای یک مدل بزرگ دوم وجود نداشته باشد.
هنگامی که درخواستی برای یک مدل جدید ارسال میشود و حافظه کافی وجود ندارد یا به سقف محدودیت رسیدهایم، زمانبندیکننده (scheduler) یکی از مدلهای موجود در حافظه را تخلیه (unload) میکند تا فضا باز شود. اولویت با مدلی است که درخواست فعالی ندارد. سیستم حتی مدلی که تایمر آن منقضی نشده یا با -1 بارگذاری شده باشد را نیز تخلیه میکند، هرچند ابتدا مدلهایی با پنجره زمانی کوتاهتر را بررسی میکند. بنابراین، مقدار منفی برای keep_alive به معنای عدم وجود timeout برای مدلهای بیکار است. این تنظیم، وزنهای مدل را در برابر درخواست مدل دیگر ثابت (pin) نمیکند.
این تصمیمات در لاگ سرویس ثبت میشوند، اما مورد مربوط به سقف محدودیت (cap) فقط در سطح debug لاگ میشود. یک خط Environment="OLLAMA_DEBUG=1" دوم به همان فایل drop-in اضافه کنید، سرویس را restart کنید و لاگها را زیر نظر بگیرید:
sudo journalctl -u ollama -fدلیل ذکر شده در کنار درخواستی که باعث تخلیه مدل شده است را بخوانید. max runners achieved, unloading one to make room به این معناست که سقف OLLAMA_MAX_LOADED_MODELS پر شده است؛ این اتفاق حتی زمانی که هر دو مدل در حافظه جا میشوند نیز ممکن است رخ دهد، بنابراین اگر free -h فضای خالی کافی را نشان میدهد، سقف را افزایش دهید. اگر خطی مشاهده کردید که میگوید مدل جدید احتمالاً از حافظه موجود فراتر میرود و به دنبال آن یک تخلیه (eviction) رخ داده است، یعنی بررسیِ تناسبِ حافظه توسط زمانبندیکننده، اجازه بارگذاری همزمان آنها را نداده است. راه حل این است که تعداد مدلها روی این سرور کمتر شود، یا برای مدلی که باید سریع پاسخ دهد یک پنجره زمانی طولانی در نظر بگیرید و برای مدلی که بهندرت فراخوانی میکنید از 0 استفاده کنید.
راهنماییهایی که پس از انتشار نسخههای بعدی نیز معتبر میمانند
نرمافزار Ollama بهطور مکرر بهروزرسانی میشود و مقادیر پیشفرض آن تغییر میکنند؛ بنابراین بهجای حفظ کردن اعداد، همیشه نسخهای که در اختیار دارید را بررسی کنید:
ollama --version
ollama serve --helpollama serve --help متغیرهای محیطی (environment variables) که نسخهٔ فعلی واقعاً میخواند را فهرست میکند که OLLAMA_KEEP_ALIVE نیز در میان آنهاست. دو قانون در تمامی نسخهها ثابت ماندهاند و میتوانید با اطمینان بر آنها تکیه کنید. مقداری که در درخواست (request) ارسال میشود، بر مقدار پیشفرض سرور اولویت دارد. همچنین ollama ps مرجع نهایی برای وضعیت بارگذاریشده است، فارغ از اینکه فایل پیکربندی چه مقداری را تعیین کرده باشد.
اگر یک ویرایشگر یا عامل (agent) سرور شما را مدیریت میکند، پیش از آنکه سرور را مقصر بدانید، بررسی کنید که آن کلاینت چه چیزی ارسال میکند. اتصال یک عامل برنامهنویسی به سرور Ollama شخصی توضیح میدهد که تنظیمات آن درخواستها کجا قرار دارند.
FAQ
چرا Ollama مدل من را پس از 5 دقیقه از حافظه خارج میکند؟
5 دقیقه مقدار پیشفرض برای keep_alive است؛ تایمر عدم فعالیتی که Ollama پس از پایان هر درخواست شروع میکند. با اتمام این زمان، سرور وزنهای مدل را از حافظه آزاد میکند، بنابراین درخواست بعدی باید دوباره آنها را بارگذاری کند و آن وقفه، همان زمانی است که برای بارگذاری مجدد حس میکنید. برای افزایش این زمان در یک درخواست خاص، "keep_alive": "30m" را در بدنه JSON ارسال کنید، یا برای کل سرور از متغیر محیطی OLLAMA_KEEP_ALIVE استفاده کنید.
چگونه یک مدل Ollama را بهطور دائمی در حافظه نگه دارم؟
از یک مقدار منفی استفاده کنید: "keep_alive": -1 در درخواست، یا OLLAMA_KEEP_ALIVE=-1 برای سرور. در این حالت، ollama ps مقدار Forever را در ستون UNTIL نشان میدهد. این کار فقط تایمر عدم فعالیت را حذف میکند. اگر مدل دیگری درخواست شود و حافظه کافی نباشد، زمانبند (scheduler) همچنان این مدل را برای ایجاد فضای خالی از حافظه خارج میکند. درخواستهای بعدی برای همان مدل نیز میتوانند زمان انقضای آن را تغییر دهند یا در صورت تغییر تنظیمات runner، باعث بارگذاری مجدد شوند. راهاندازی مجدد سرویس یا سیستم نیز حافظه را پاک میکند، بنابراین پس از آن باید مدل را دوباره پیشبارگذاری کنید.
چرا OLLAMA_KEEP_ALIVE نادیده گرفته میشود؟
بررسی کنید که آن را کجا تنظیم کردهاید. دستور systemctl show ollama --property=Environment را اجرا کنید؛ اگر متغیر در خروجی نباشد، سرور هرگز آن را ندیده است، زیرا متغیری که در shell شما export شده به سرویس systemd نمیرسد. آن را با sudo systemctl edit ollama.service تنظیم کنید، سپس sudo systemctl daemon-reload و sudo systemctl restart ollama را اجرا نمایید. دلیل دیگر، کلاینتی است که keep_alive اختصاصی خود را در درخواست ارسال میکند که جایگزین مقدار پیشفرض سرور میشود.
چگونه بدون راهاندازی مجدد Ollama حافظه را آزاد کنم؟
ollama stop qwen3:8b درخواست انقضای همان مدل خاص را میدهد و سرور و سایر مدلهای بارگذاریشده را در حال اجرا نگه میدارد. درخواستهای فعال باید پیش از خروج مدل از حافظه به پایان برسند. از طریق API، درخواستی بدون prompt و با "keep_alive": 0 ارسال کنید؛ پاسخ با "done_reason": "unload" بازمیگردد. با استفاده از ollama ps تأیید کنید که پس از اتمام عملیات تخلیه حافظه، دیگر نباید آن مدل در لیست باشد.