SSD Nodes Learn Hosting plans →
Hướng dẫn Matt ConnorBởi Matt Connor · Cập nhật ngày 2026-10-17

Giữ Ollama model trong memory bằng keep_alive

Ollama unload model sau 5 phút idle khiến request kế tiếp phải reload weights. Đặt keep_alive trong systemd override, giữ model qua reboot rồi preload để giảm độ trễ.

Vì sao Ollama unload model sau vài phút?

Ollama giữ model trong memory trong 5 phút sau request cuối cùng, sau đó giải phóng model. Request tiếp theo phải nạp lại weights vào RAM hoặc VRAM, nên bị chậm trước khi token đầu tiên xuất hiện. Vì vậy, chat UI hoặc coding agent có thể phản hồi nhanh, im lặng một lúc, rồi lại chậm ở message tiếp theo. Không có gì bị hỏng. Idle timer đã hết hạn.

Timer này có tên là keep_alive. Timer áp dụng riêng cho từng model và được khởi động lại mỗi khi request kết thúc. Model đang xử lý request sẽ không bao giờ bị unload, vì server chỉ hết hạn model khi model không có request đang hoạt động. Tính đến October 2026, giá trị mặc định là 5 phút và áp dụng cho mọi model mà server này load.

Có 2 nơi để đặt keep_alive: trong từng request hoặc làm giá trị mặc định của server. systemd drop-in là cách để giá trị mặc định của server vẫn được giữ sau khi restart. Hướng dẫn này giả định Ollama đã chạy dưới dạng service. Nếu chưa, hãy bắt đầu với cài đặt Ollama trên VPS rồi quay lại.

Model nào hiện đang được giữ trong bộ nhớ và khi nào chúng hết hạn?

ollama ps
NAME        ID              SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3:8b    500a1f067a9f    6.6 GB    100% GPU     4096       4 minutes from now

Kết quả trống nghĩa là không có model nào được load, nên request tiếp theo phải load model trước. PROCESSOR cho biết weights được đặt ở đâu. 100% GPU và 100% CPU là các trường hợp rõ ràng. Một trạng thái phân chia như 25%/75% CPU/GPU nghĩa là chỉ một phần model nằm trong VRAM, nên phần còn lại chạy trên processor và tốc độ generation chậm hơn. Thông thường, nguyên nhân là model không vừa, nhưng thiết lập num_gpu giới hạn số layer được đưa lên GPU cũng tạo ra kiểu phân chia tương tự.

UNTIL là bộ đếm ngược và hiển thị thời gian tương đối như 4 minutes from now. Nó hiển thị Forever khi model được load với keep_alive âm. Nó hiển thị Stopping... trong khoảng thời gian ngắn khi server đang unload model.

Bộ cột đã thay đổi giữa các bản release, nên hãy đọc header thay vì đếm các field trong script. Ollama v0.40.5, là bản release hiện tại tại thời điểm kiểm tra vào 2026-10-16, cũng in một cột RUNNER giữa CONTEXT và UNTIL. Cột này cho biết runner phục vụ model, nên header của bạn có thể rộng hơn ví dụ trên một cột. Với mọi tác vụ tự động hóa, hãy truy vấn API:

curl -s http://localhost:11434/api/ps

Mỗi entry có expires_at, một timestamp tuyệt đối như 2026-08-09T14:38:31.83753Z, và size_vram, tức phần của model đang nằm trong GPU memory. Giá trị size_vram bằng 0 nghĩa là model đang chạy trên CPU.

Chi phí thực tế của thao tác reload

Không nên đoán. Ollama báo thời gian load trong mọi response, tại trường load_duration, với đơn vị nanosecond.

sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'

Lần gọi đầu tiên load model, nên load_duration có giá trị lớn. Chia cho 1000000000 để đọc theo đơn vị giây. Lần gọi thứ hai chạy khi model vẫn đang resident và báo một giá trị nhỏ hơn nhiều. Chênh lệch giữa hai giá trị đó là chi phí mà mọi user phải chịu sau khi timer hết hạn. Đây là toàn bộ lý do cần thay đổi keep_alive. Sau khi unload, page cache của kernel thường vẫn giữ file model. Vì vậy, trên máy còn thừa RAM, reload có thể nhanh hơn lần load đầu tiên sau khi boot. Khi cache này bị thu hồi, weights được đọc từ disk. Nếu bạn đã di chuyển thư mục model sang một volume thứ hai, tốc độ của volume đó sẽ quyết định giới hạn thấp nhất của mọi lần cold load. Để xem tốc độ generation ở hai phía của khoảng dừng này, hãy xem cách đo số token mỗi giây trên máy của bạn.

Giữ model Ollama trong memory cho một request

Gửi keep_alive cùng với request. Thiết lập này áp dụng cho model đó ngay khi request hoàn tất.

curl -s http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "hello"}],
  "keep_alive": "30m"
}'

Có 4 dạng giá trị được chấp nhận:

  • chuỗi thời lượng: "30m", "24h", "90s"
  • số nguyên không kèm đơn vị, được hiểu là số giây: 3600
  • giá trị âm, -1 hoặc "-1m", nghĩa là không đặt idle timeout
  • 0, nghĩa là unload ngay khi request này hoàn tất

Giá trị trên request sẽ ghi đè server default theo cả hai hướng. Điều này quan trọng hơn bạn nghĩ: client gửi keep_alive riêng sẽ được ưu tiên hơn mọi giá trị bạn đã cấu hình trên server.

Bạn cũng có thể load model mà không generate nội dung nào. Chỉ gửi tên model. Server sẽ load model và trả về response rỗng cùng với "done": true.

curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'

Đó là command cần chạy sau khi reboot hoặc sau khi pull model mới, để request đầu tiên của user thực sự không phải chờ load model. CLI cũng làm được việc tương tự bằng một flag:

ollama run --keepalive 30m qwen3:8b "hello"

Giữ model đã load mặc định bằng OLLAMA_KEEP_ALIVE

Server đọc OLLAMA_KEEP_ALIVE khi khởi động và dùng giá trị này cho mọi model không có giá trị riêng. Biến này dùng cùng các dạng như field trong request, nên 30m, 3600 và -1 đều hoạt động.

Điểm cần lưu ý là biến môi trường phải nằm trong environment của tiến trình nào. Chạy export OLLAMA_KEEP_ALIVE=30m trong phiên SSH của bạn không có tác dụng, vì bản cài đặt dạng package chạy server dưới dạng systemd service, bằng user riêng và environment riêng. Login shell của bạn không chia sẻ environment với service đó. Đây là lý do phổ biến nhất khiến thiết lập này có vẻ bị bỏ qua.

Giữ cấu hình sau khi restart bằng systemd drop-in

sudo systemctl edit ollama.service

Trình soạn thảo mở ra với hai marker chú thích. Hãy nhập nội dung giữa hai marker này: systemd sẽ loại bỏ mọi nội dung bạn viết bên dưới marker thứ hai.

[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"

Lệnh lưu sẽ ghi vào /etc/systemd/system/ollama.service.d/override.conf. Đây là một drop-in, không phải chỉnh sửa unit được package cung cấp, nên khi package Ollama nâng cấp và thay thế ollama.service, cấu hình của bạn vẫn được giữ nguyên. Nếu drop-in và unit file còn mới với bạn, hướng dẫn về service và timer của systemd giải thích cơ chế này.

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Lệnh cuối cùng in ra environment mà service thực sự sẽ chạy cùng. Nếu OLLAMA_KEEP_ALIVE=30m không xuất hiện trong dòng đó, drop-in chưa được áp dụng. Nguyên nhân gần như luôn là thiếu header [Service] hoặc đã nhập dòng bên dưới marker. Bản thân thao tác restart sẽ loại bỏ mọi model đã load, nên request tiếp theo sẽ phải load lạnh. Hãy làm nóng model bằng lệnh preload ở trên. Drop-in giữ cấu hình sau khi reboot, không giữ model: service khởi động với ollama serve và chưa load model nào, nên hãy chạy lại lệnh preload đó sau mỗi lần boot.

Chi phí của việc giữ model trong memory

Cột SIZE trong ollama ps là lượng memory được giữ trong toàn bộ thời gian idle, không chỉ trong lúc xử lý request. Model 8B với quantisation 4-bit thường chiếm khoảng 5 đến 6 GB. Model 27B là một bài toán khác, và cách tính memory để chạy model này trên VPS chỉ có CPU đáng được tính trước khi bạn quyết định giữ model resident. Đặt keep_alive thành -1 nghĩa là model sẽ giữ lượng memory đó trong suốt thời gian server chạy, trừ khi request của model khác buộc nó phải bị đẩy ra. Trên VPS nhỏ, đây là phần tài nguyên phải đánh đổi trực tiếp với database, web app và các build job.

Hãy theo dõi số liệu thực tế thay vì chỉ tin vào ước tính. Chạy lệnh này khi model đã được load, rồi chạy lại sau ollama stop:

free -h

Cột available là lượng memory mà kernel vẫn có thể cấp cho process mới. Trên máy có NVIDIA GPU, nvidia-smi cho thấy tình trạng tương tự trong VRAM. Nếu máy hết memory, kernel sẽ kill một process để thu hồi tài nguyên:

sudo dmesg -T | grep -i "out of memory"

Dòng có tên ollama nghĩa là model server đã bị kill. Dòng có tên database của bạn nghĩa là model đã chiếm phần tài nguyên đó, còn database bị ảnh hưởng. Cả hai kết quả đều xuất phát từ cùng một quyết định: đặt thời gian keep-alive dài trên một máy không có headroom.

Có 2 chi phí ở đây thường dễ bị bỏ qua. Context length lớn hơn sẽ reserve một KV cache lớn hơn (key value cache, trạng thái attention theo từng token mà model giữ trong lúc generate), và cache này nằm trong resident size. Kích thước của cache phụ thuộc vào num_ctx, vì vậy tăng context window sẽ làm tăng lượng memory mà model resident giữ trong toàn bộ thời gian idle, không chỉ khi model đang trả lời. OLLAMA_NUM_PARALLEL lớn hơn 1 sẽ reserve cache đó một lần cho mỗi parallel slot. Nếu bạn dự định phục vụ nhiều người từ một model, hãy tính memory theo số slot, không chỉ theo dung lượng weights.

Thiết lập mặc định hợp lý: một model trên máy còn đủ headroom có thể dùng -1. Máy dùng chung nên dùng một window bao phủ khoảng thời gian giữa các request của bạn, chẳng hạn 30m, để memory được giải phóng khi bạn ngừng làm việc.

Dỡ model ngay lập tức

ollama stop qwen3:8b

Lệnh này không trả về output và model biến mất khỏi ollama ps. Với model đã được pull nhưng hiện chưa load, lệnh cũng không trả về output. Lệnh không bao giờ kiểm tra những gì đang resident: nó gửi yêu cầu unload, và server trả về thành công dù trong memory có model hay không. Lỗi couldn't find model "qwen3:8b" to stop chỉ xuất hiện khi server này chưa cài model có tên đó. Nguyên nhân thường là gõ sai tên hoặc tag. Vì vậy, ollama stop im lặng không chứng minh rằng memory đã được giải phóng. ollama ps mới là dấu hiệu xác nhận. Ở dạng API, đây là request không có prompt và keep_alive được đặt thành 0:

curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'

Phản hồi chứa "done_reason": "unload". Dùng cách này thay vì restart service. systemctl restart ollama cũng giải phóng memory, nhưng nó dỡ mọi model khác đang load và dừng mọi request đang chạy.

Chạy nhiều model trên cùng một server

OLLAMA_MAX_LOADED_MODELS giới hạn số model được load đồng thời. Tính đến tháng 10 năm 2026, giá trị mặc định là 3 model cho mỗi GPU, hoặc 3 model trên máy chỉ dùng CPU. Giới hạn này đếm số model, còn bộ nhớ mới là giới hạn thực tế. Vì vậy, một model lớn thứ hai có thể bị từ chối cấp chỗ từ lâu trước khi đạt đến 3 model.

Khi có yêu cầu dùng một model mới nhưng không đủ bộ nhớ, hoặc đã đạt giới hạn, scheduler sẽ unload một model đang được giữ trong bộ nhớ để tạo chỗ trống. Scheduler ưu tiên model không có request đang hoạt động. Nó vẫn có thể evict một model chưa hết timer, kể cả model được load bằng -1, nhưng sẽ thử các model có window ngắn hơn trước. Vì vậy, keep_alive âm có nghĩa là không có idle timeout. Thiết lập này không pin weights để ngăn request của model khác sử dụng bộ nhớ.

Các quyết định này xuất hiện trong service log. Trường hợp đạt giới hạn chỉ được ghi ở mức debug. Thêm một dòng Environment="OLLAMA_DEBUG=1" thứ hai vào cùng drop-in, restart service rồi monitor log:

sudo journalctl -u ollama -f

Đọc lý do hiển thị bên cạnh request đã kích hoạt việc unload. max runners achieved, unloading one to make room có nghĩa là đã đạt giới hạn OLLAMA_MAX_LOADED_MODELS. Điều này có thể xảy ra ngay cả khi cả hai model đều vừa bộ nhớ, nên hãy tăng giới hạn nếu free -h cho thấy còn đủ headroom. Nếu log cho biết model mới được dự đoán sẽ vượt quá bộ nhớ khả dụng, sau đó là một lần eviction, thì hai model này không thể chạy cùng nhau trên máy này. Cách xử lý là giảm số model trên máy này, hoặc đặt window dài cho model phải trả lời nhanh và dùng 0 cho model chỉ được gọi không thường xuyên.

Hướng dẫn vẫn dùng được sau các bản release tiếp theo

Ollama thường xuyên phát hành bản release mới và các giá trị mặc định có thể thay đổi. Vì vậy, hãy kiểm tra build đang chạy thay vì ghi nhớ các con số:

ollama --version
ollama serve --help

ollama serve --help liệt kê các biến môi trường mà build đó thực sự đọc, trong đó có OLLAMA_KEEP_ALIVE. Có 2 quy tắc vẫn đúng qua các bản release và có thể dùng làm cơ sở cấu hình. Giá trị trong request sẽ ưu tiên hơn giá trị mặc định của server. Và ollama ps mới phản ánh chính xác những gì đã được load, bất kể file cấu hình khai báo thế nào.

Nếu một editor hoặc agent điều khiển server, hãy kiểm tra client đó gửi gì trước khi quy trách nhiệm cho server. Trỏ coding agent vào Ollama server của bạn giải thích nơi lưu các thiết lập trong request đó.

FAQ

Vì sao Ollama unload model sau 5 phút?

Năm phút là keep_alive mặc định, tức bộ đếm thời gian idle mà Ollama bắt đầu khi một request kết thúc. Khi hết thời gian, server giải phóng các weight. Request tiếp theo phải load lại chúng, và khoảng thời gian reload đó chính là lúc bạn thấy bị tạm dừng. Tăng giá trị này cho một request bằng cách gửi "keep_alive": "30m" trong JSON body, hoặc áp dụng cho toàn bộ server bằng biến môi trường OLLAMA_KEEP_ALIVE.

Làm cách nào để giữ model Ollama luôn được load trong memory?

Dùng một giá trị âm: "keep_alive": -1 cho request, hoặc OLLAMA_KEEP_ALIVE=-1 cho server. Khi đó ollama ps hiển thị Forever trong cột UNTIL. Cách này chỉ tắt bộ đếm thời gian idle, không thay đổi điều gì khác. Nếu có request cho model khác và memory không đủ, scheduler vẫn unload model này để giải phóng chỗ. Restart hoặc reboot cũng xóa trạng thái này, nên sau đó hãy preload lại model.

Vì sao OLLAMA_KEEP_ALIVE bị bỏ qua?

Kiểm tra nơi bạn đặt biến này. Chạy systemctl show ollama --property=Environment. Nếu biến không xuất hiện trong output đó, server chưa bao giờ nhận được biến này, vì biến được export trong shell của bạn không được truyền đến systemd service. Đặt biến bằng sudo systemctl edit ollama.service, sau đó chạy sudo systemctl daemon-reload và sudo systemctl restart ollama. Nguyên nhân khác là client tự gửi keep_alive trong request, khiến giá trị mặc định của server bị ghi đè.

Làm cách nào để giải phóng memory mà không restart Ollama?

ollama stop qwen3:8b unload ngay model đó và giữ server cùng mọi model khác đang được load tiếp tục chạy. Qua API, gửi một request không có prompt kèm "keep_alive": 0. Phản hồi sẽ trả về "done_reason": "unload". Xác nhận bằng ollama ps; model đó không còn xuất hiện trong danh sách.

Bài viết này có hữu ích không?