Ollama num_ctx: cách tăng context cho prompt dài
Ollama có thể âm thầm cắt prompt dài vì context mặc định thấp. Xem cách đặt num_ctx theo request hoặc toàn server, rồi tính RAM cho KV cache trước khi tăng.
Ý nghĩa của num_ctx và lý do prompt dài bị cắt
Độ dài context của Ollama là số token mà model đã load có thể giữ trong bộ nhớ cùng lúc, còn num_ctx là tùy chọn đặt giá trị này. Ollama chọn giá trị mặc định thấp hơn nhiều so với mức tối đa mà model công bố, vì vậy prompt dài hơn sẽ bị cắt trước khi model đọc. Phản hồi không cho bạn biết việc này đã xảy ra.
Llama 3.1 8B được liệt kê với context window 128k trên thư viện model của Ollama. Server dùng cấu hình mặc định sẽ không cấp cho bạn mức đó. Tài liệu riêng của Ollama đưa ra các giá trị mặc định khác nhau trên từng trang: FAQ nói 4096 token, tài liệu tham chiếu Modelfile nói num_ctx mặc định là 2048, còn trang context length nói giá trị mặc định được chọn dựa trên VRAM khả dụng (video RAM): 4k khi dưới 24 GiB, 32k từ 24 GiB đến dưới 48 GiB, và 256k khi từ 48 GiB trở lên. Mỗi giá trị đều từng đúng với một số build. Bài học hữu ích từ sự không nhất quán này là: hãy đọc giá trị từ server đang chạy của bạn thay vì tin vào bất kỳ trang nào, kể cả trang này.
Việc cắt context diễn ra âm thầm vì model vẫn trả lời và câu trả lời vẫn có vẻ hợp lý. Nhưng nó được tạo từ phần cuối của input. Một bản tóm tắt bỏ sót nửa đầu tài liệu trông giống như do model yếu. Thông thường nguyên nhân là context window quá nhỏ.
Kiểm tra độ dài context mà server Ollama thực sự áp dụng
Cách kiểm tra hiệu quả trên mọi bản build là prompt_eval_count, số lượng token trong prompt mà server báo cáo đã xử lý. Hãy gửi nhiều hơn mức context cho phép, con số đó sẽ dừng lại ở giới hạn.
sudo apt update && sudo apt install -y jq
LONG=$(python3 -c "print('the quick brown fox jumps over the lazy dog. ' * 2000)")
jq -n --arg p "$LONG" '{model:"llama3.1:8b", prompt:$p, stream:false, options:{num_ctx:4096}}' |
curl -s http://localhost:11434/api/generate -d @- |
jq '{prompt_eval_count, prompt_eval_duration}'Prompt đó dài khoảng 18,000 từ, lớn hơn nhiều so với 4096 token. prompt_eval_count trả về gần mức 4096 thay vì gần với số lượng token thực tế, vì server đã cắt bỏ phần còn lại. Chạy lại với "num_ctx":16384 và con số sẽ tăng lên. Nếu bản build của bạn trả về lỗi thay vì cắt bớt, đó cũng là kết quả tương tự với tín hiệu cảnh báo rõ ràng hơn.
ollama psCột CONTEXT, trên các bản build có hiển thị, chứa độ dài context mà model đang chạy tại thời điểm hiện tại. Cột PROCESSOR ngay bên cạnh cho biết vị trí của model. 100% CPU là trạng thái bình thường trên VPS không có GPU. Việc phân tách như 30%/70% CPU/GPU trên máy có GPU nghĩa là trọng số (weights) cộng với cache không còn nằm vừa trong VRAM, và nguyên nhân thường do num_ctx bị tăng lên.
journalctl -u ollama --no-pager | grep -i n_ctx | tail -n 5Trình chạy inference in ra kích thước context trong một dòng chứa n_ctx. Cách diễn đạt chính xác có thể thay đổi giữa các bản release, vì vậy nếu không thấy dòng này, hãy coi đó là do đổi tên chứ không phải bằng chứng cho bất kỳ vấn đề nào.
Bốn vị trí để thiết lập num_ctx
Trong request. Gửi "options": {"num_ctx": 16384} đến /api/generate hoặc /api/chat. Thiết lập này ghi đè mọi cài đặt khác và chỉ áp dụng cho một lần gọi đó. Nếu giá trị khác với giá trị mà model đang chạy, server sẽ reload lại model trước, bạn có thể thấy điều này trong load_duration ở phần response: thời gian sẽ nhảy từ gần bằng 0 lên đến vài giây. Độ trễ tương tự cũng xuất hiện khi model đã ở trạng thái idle đủ lâu để bị unload, vì vậy khi đã chốt được kích thước context, bạn nên giữ model thường trú với keep_alive.
Trong phiên tương tác. Bên trong ollama run, gõ /set parameter num_ctx 16384. Thiết lập này chỉ có hiệu lực trong phiên đó.
Trong Modelfile. Cách này "đóng băng" giá trị vào một model đã đặt tên, nhờ đó mọi client đều nhận được giá trị này mà không cần thay đổi gì ở phía client.
FROM llama3.1:8b
PARAMETER num_ctx 16384ollama create llama3.1-16k -f ./Modelfile
ollama run llama3.1-16kTrên server. OLLAMA_CONTEXT_LENGTH thiết lập giá trị mặc định cho mọi request không mang theo num_ctx riêng. Với systemd, hãy thêm một file drop-in thay vì sửa trực tiếp file unit.
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_CONTEXT_LENGTH=16384"sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama psThứ tự ưu tiên rất quan trọng khi bạn debug client của người khác. Một request mang theo num_ctx sẽ ghi đè giá trị mặc định của server, vì vậy một chat front end hoặc một agent tự gửi giá trị nhỏ của riêng nó sẽ âm thầm vô hiệu hóa thay đổi của bạn trong systemd. Khi bạn trỏ một coding agent vào server Ollama của mình, hãy kiểm tra xem client gửi gì trước khi đổ lỗi cho server.
Vì sao không thể chỉ đặt num_ctx bằng mức tối đa của model
Attention khiến mỗi token nhìn vào mọi token đứng trước nó. Các key và value được tính cho những token trước đó được giữ lại để không phải tính lại khi sinh từng token mới. Phần lưu trữ đó là KV cache (key/value cache). KV cache được cấp phát cho toàn bộ num_ctx khi model được load, không tăng dần theo độ dài conversation. Vì vậy, context lớn vẫn chiếm bộ nhớ tương ứng ngay cả khi prompt chỉ có một dòng.
Mỗi layer giữ một vector key và một vector value cho mỗi head key/value của từng token. Phép tính có thể viết gọn như sau:
kv_bytes_per_token = 2 * layers * kv_heads * head_dim * bytes_per_valueSố 2 là do key và value được tính riêng. Hãy lấy các số còn lại từ chính model của bạn.
curl -s http://localhost:11434/api/show -d '{"model":"llama3.1:8b"}' |
jq '.model_info | {ctx: ."llama.context_length", layers: ."llama.block_count", heads: ."llama.attention.head_count", kv_heads: ."llama.attention.head_count_kv", embed: ."llama.embedding_length"}'Llama 3.1 8B có 32 layer và 8 head key/value. Kích thước head bằng embed chia cho heads, nên ở đây là 4096 / 32 = 128. Một số model công bố trực tiếp giá trị này dưới tên llama.attention.key_length. Cache mặc định dùng giá trị f16, nên bytes_per_value bằng 2. Phép tính 2 32 8 128 2 cho kết quả 131,072 byte. Như vậy, mỗi token trong context chiếm 128 KiB cache. Nhân với độ dài context, chi phí bộ nhớ không còn là con số lý thuyết.
Dữ liệu đằng sau biểu đồ này
[
{
"label": "4k",
"kv_cache_gib": 0.5,
"total_ram_gib": 5.1
},
{
"label": "8k",
"kv_cache_gib": 1,
"total_ram_gib": 5.6
},
{
"label": "16k",
"kv_cache_gib": 2,
"total_ram_gib": 6.6
},
{
"label": "32k",
"kv_cache_gib": 4,
"total_ram_gib": 8.6
},
{
"label": "64k",
"kv_cache_gib": 8,
"total_ram_gib": 12.6
},
{
"label": "128k",
"kv_cache_gib": 16,
"total_ram_gib": 20.6
}
]6 hàng đó được tính từ công thức trên, không phải số đo thực tế. Cột tổng cộng thêm 4.9 GB dung lượng download mà thư viện Ollama liệt kê cho llama3.1:8b vào tháng 10 năm 2026, tương đương 4.6 GiB, và không tính các compute buffer cũng như chính server process. Hãy xem đây là mức tối thiểu.
Điểm cần chú ý là xu hướng tăng. Ở 8k, cache chiếm 1 GiB, không đáng kể so với weights. Ở mức đầy đủ 128k của model, cache chiếm 16 GiB, lớn hơn ba lần weights, đưa tổng bộ nhớ lên gần 20.6 GiB. Vì vậy, VPS 4 GB không thể load model này với context hữu ích. VPS 8 GB chạy thoải mái ở 8k. VPS 16 GB đạt 32k và vẫn còn bộ nhớ cho các thành phần khác của máy. Các ngưỡng này đều tăng theo dung lượng weights. Nếu bạn đang cân nhắc một model lớn hơn model 8B này, các phép tính tương tự trong tag Qwen 27B trên VPS chỉ dùng CPU cho thấy từ 8 đến 64 GB, weights còn lại rất ít bộ nhớ cho context.
Điều gì xảy ra khi KV cache không vừa bộ nhớ
Trên VPS chỉ có CPU, tiến trình sẽ tiếp tục tăng mức sử dụng bộ nhớ. Hãy theo dõi khi model đang được load và khi một request dài đang chạy.
free -m
ps -eo rss,comm --sort=-rss | head -n 5RSS (resident set size) được in theo đơn vị kilobyte. Nếu swap đã dùng trong free -m bắt đầu tăng, hãy giảm context. KV cache nằm trong swap sẽ khiến quá trình sinh nội dung bị dừng vài giây cho mỗi token, vì mỗi token mới phải đọc toàn bộ cache.
Nếu máy hết hoàn toàn bộ nhớ, kernel sẽ chọn một tiến trình để kill, thường là tiến trình đang giữ nhiều bộ nhớ nhất.
sudo dmesg | grep -i "killed process"Dòng có nội dung Out of memory: Killed process 1234 (ollama) nghĩa là Ollama là tiến trình được kernel chọn để kill, không nhất thiết là tiến trình đã dùng hết bộ nhớ. Trên máy mà Ollama là tiến trình lớn duy nhất, context quá lớn so với bộ nhớ thường là nguyên nhân. Hãy kiểm tra các tiến trình khác đang chạy trước khi giảm num_ctx. Ollama thường sẽ từ chối request trước khi đến bước này, và request sẽ fail với thông báo nêu rõ lượng bộ nhớ nó cần so với lượng bộ nhớ còn trống.
Trên máy có GPU, lỗi ít rõ ràng hơn. Một số layer sẽ spill sang system RAM, ollama ps hiển thị phần phân bổ giữa CPU và GPU, còn throughput giảm mạnh. Mức giảm phụ thuộc vào hardware của bạn, vì vậy hãy đo số token mỗi giây trên chính máy của bạn ở từng mức context thay vì tin vào một con số từ máy của người khác.
Thời gian prefill tăng nhanh hơn độ dài prompt
Prefill là công việc được thực hiện trên input của bạn trước khi token output đầu tiên xuất hiện. Mỗi token trong prompt đều phải xử lý mọi token đứng trước nó, vì vậy tổng khối lượng công việc tăng theo bình phương độ dài input. Việc tăng gấp đôi độ dài prompt sẽ khiến thời gian chờ token đầu tiên tăng hơn gấp đôi.
Phản hồi của hệ thống sẽ hiển thị các thông số đo lường, vì vậy bạn không cần phải tin tưởng một cách mù quáng.
jq -n --arg p "$LONG" '{model:"llama3.1:8b", prompt:$p, stream:false, options:{num_ctx:16384}}' |
curl -s http://localhost:11434/api/generate -d @- |
jq '{tokens: .prompt_eval_count, prefill_seconds: (.prompt_eval_duration/1000000000)}'Chạy phép đo đó với một prompt ngắn rồi chạy lại với một prompt dài. Sau đó lấy số token chia cho số giây trong từng trường hợp. Trên VPS chỉ dùng CPU, prefill thường là phần chậm nhất của request có context dài. Chỉ số token mỗi giây đo từ prompt ngắn sẽ không dự đoán được thời gian này. Khi prefill kéo dài quá timeout của bất kỳ lớp nào phía trước, prompt dài thường trả về lỗi context deadline exceeded thay vì câu trả lời. Vì vậy, hãy xác định lớp nào đã timeout trước khi giảm context.
Concurrency (tính đồng thời) là nơi vấn đề này gây ảnh hưởng lớn nhất. Mỗi yêu cầu đang được phục vụ đều cần cache riêng, vì vậy bộ nhớ trong biểu đồ trên là tính theo từng yêu cầu thay vì tính theo server, và một yêu cầu dài có thể chiếm dụng toàn bộ tài nguyên trong khi các yêu cầu ngắn phải xếp hàng chờ đợi. Hãy thiết lập OLLAMA_NUM_PARALLEL một cách thận trọng, và đọc bài số lượng người dùng đồng thời mà một LLM tự host có thể phục vụ trước khi bạn tăng cả hai thông số này cùng lúc.
Lấy lại dung lượng context bằng cache nhỏ hơn
bytes_per_value trong công thức là một setting bạn có thể kiểm soát. FAQ của Ollama ghi rõ OLLAMA_KV_CACHE_TYPE, trong đó f16 là mặc định, q8_0 dùng lượng memory khoảng bằng một nửa f16, còn q4_0 dùng khoảng một phần tư. Con số chính xác của q8_0 lớn hơn một nửa một chút: llama.cpp lưu mỗi block gồm 32 giá trị dưới dạng 32 giá trị một byte cộng với một scale hai byte, tức 34 byte, trong khi f16 cần 64 byte. Vì vậy, chuyển sang q8_0 đưa dòng 32k xuống còn khoảng 2.1 GiB thay vì 4 GiB. Quantise weight giải phóng memory từ phía còn lại của cùng ngân sách đó, và tag GLM thực sự vừa với một VPS được phân tích qua từng mức quantisation nếu bạn muốn đánh đổi theo hướng đó. Cùng FAQ này cho biết cache chỉ được quantise khi Flash Attention được bật, đồng thời ghi rõ OLLAMA_FLASH_ATTENTION=1 để buộc bật tính năng này.
[Service]
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"Đừng suy đoán; hãy xác nhận: restart service, load model với cùng num_ctx như trước, rồi so sánh RSS. Việc hỗ trợ phụ thuộc vào model và backend, nên nếu setting không làm thay đổi gì thì tổ hợp của bạn không được hỗ trợ. Loại cache là một global option, vì vậy mọi model trên server đều chạy với setting này. Về chất lượng, FAQ cho biết q8_0 thường không gây ảnh hưởng dễ nhận thấy, còn q4_0 làm mất nhiều precision hơn, rõ nhất ở context size lớn. Vì vậy, hãy test q4_0 với chính các prompt của bạn trước khi dựa vào setting này. Nếu các knob này là lý do bạn xem phần này, Ollama và llama.cpp cung cấp chúng theo cách khác nhau.
Công thức chọn num_ctx
- Đọc context tối đa, số lượng layer và số lượng key/value head của model từ
/api/show. - Tính số byte trên mỗi token bằng công thức, sau đó nhân với dung lượng context bạn muốn.
- Cộng thêm kích thước trọng số (weight), so sánh với RAM trống và giữ lại ít nhất 1 GiB cho các tiến trình khác trên máy chủ.
- Thiết lập giá trị, load model, sau đó xác nhận cấu hình đã áp dụng bằng
ollama psvàprompt_eval_count. - Chạy workload thực tế trong khi theo dõi
free -m, và giảm một nửa context nếu swap bắt đầu hoạt động.
Hầu hết các tác vụ cần ít context hơn mức người dùng thường cấp. Việc tóm tắt một báo cáo dài chỉ cần 16k. Một giao diện truy xuất dữ liệu dán năm đoạn tài liệu hiếm khi vượt quá 8k. Một coding agent đọc toàn bộ file là trường hợp thực sự cần 64k hoặc hơn, và đây cũng là trường hợp bạn nên chọn cấu hình máy chủ dựa trên context thay vì làm ngược lại. Nếu server vẫn còn mới, hãy bắt đầu từ cài đặt Ollama trên VPS và tinh chỉnh context sau khi các model đã load thành công.
FAQ
Độ dài context mặc định trong Ollama là bao nhiêu?
Giá trị này phụ thuộc vào build và phần cứng, nên hãy kiểm tra thay vì mặc định đoán. FAQ của Ollama ghi nhận 4096 token, tài liệu tham chiếu Modelfile ghi nhận giá trị mặc định num_ctx là 2048, còn trang về độ dài context ghi nhận giá trị mặc định được chọn theo VRAM khả dụng: 4k khi dưới 24 GiB, 32k từ 24 GiB đến dưới 48 GiB, và 256k khi từ 48 GiB trở lên. VPS chỉ dùng CPU thường nằm ở mức thấp. ollama ps in context đã áp dụng trên các build có cột này, còn prompt_eval_count trong API response xác nhận giá trị đó trên mọi build.
Vì sao Ollama bỏ qua phần đầu của prompt dài?
Vì prompt dài hơn context window, nên server đã cắt prompt trước khi model nhận được, nhưng không trả về lỗi. Gửi lại cùng prompt với num_ctx lớn hơn và theo dõi prompt_eval_count trong response tăng lên. Nếu con số đó không thay đổi, một thành phần nằm giữa bạn và server đang tự đặt num_ctx. Trường hợp này thường gặp ở chat front end và agent framework.
Tăng num_ctx cần thêm bao nhiêu RAM?
Hãy nhân độ dài context với chi phí cache trên mỗi token, tức 2 * layers * kv_heads * head_dim * bytes_per_value. Với Llama 3.1 8B ở f16, giá trị này là 128 KiB trên mỗi token. Vì vậy, 32k token cần 4 GiB và 128k đầy đủ cần 16 GiB ngoài phần weights. Cache được cấp phát khi model load, nên num_ctx lớn vẫn tiêu tốn lượng bộ nhớ đó ngay cả khi prompt của bạn luôn ngắn.
Context window lớn hơn có làm Ollama chậm hơn không?
Có, theo 2 cách. Công việc prefill tăng theo bình phương độ dài prompt, nên input dài làm chậm thời điểm nhận token đầu tiên nhiều hơn mức có thể suy ra chỉ từ độ dài. Cache lớn hơn cũng tranh chấp bộ nhớ: trên máy có GPU, nó đẩy các layer sang system RAM; trên máy chỉ có CPU, nó khiến máy dễ sử dụng swap hơn. num_ctx lớn dù bạn không bao giờ dùng hết vẫn tiêu tốn bộ nhớ, nhưng không làm tăng thời gian prefill.
Có thể đặt num_ctx cố định cho một model không?
Có. Tạo Modelfile chứa FROM llama3.1:8b và PARAMETER num_ctx 16384, sau đó chạy ollama create llama3.1-16k -f ./Modelfile. Mọi client yêu cầu llama3.1-16k sẽ nhận context đó mà không cần gửi options. Request có num_ctx riêng vẫn được ưu tiên, nên thiết lập này chỉ đặt giá trị mặc định, không đặt giới hạn trên.