SSD Nodes Learn Hosting plans →
Hướng dẫn Matt ConnorBởi Matt Connor · Cập nhật ngày 2026-10-26

Ollama num_predict: Giới hạn số token output

Tìm hiểu num_predict giới hạn token output trong Ollama, 3 nơi cấu hình, thứ tự ưu tiên khi bị ghi đè và cách đọc done_reason trong response.

Ý nghĩa của num_predict trong Ollama

num_predict là tùy chọn của Ollama dùng để giới hạn số token mà model có thể tạo trong một response. Tùy chọn này chỉ đếm token đầu ra, nên prompt không bị tính vào giới hạn. Khi model đạt đến giới hạn, quá trình tạo nội dung dừng ngay tại vị trí đó, đôi khi dừng giữa một từ, và response trả về với done_reason được đặt thành length.

Đó là toàn bộ chức năng này. Điểm khó là Ollama cho phép đặt giá trị tại 3 vị trí riêng biệt, và cấu hình gần request nhất sẽ có hiệu lực. Gần như mọi báo cáo kiểu “num_predict không có tác dụng” đều xảy ra vì một layer âm thầm ghi đè lên layer khác.

num_predict không phải num_ctx

Hai tùy chọn này thường bị nhầm lẫn hơn bất kỳ cặp tùy chọn nào khác trong Ollama. Sự nhầm lẫn này gây tốn thời gian debug thực tế.

num_ctx là lượng nội dung model có thể đọc. Đây là kích thước context window, chứa prompt cùng toàn bộ nội dung đã được tạo cho đến thời điểm hiện tại. Tăng giá trị này sẽ tốn thêm memory, vì key/value cache mà model giữ cho các token đó tăng theo kích thước window. Tính toán num_ctx cho phần cứng của bạn là một việc riêng, với các lỗi riêng có thể xảy ra.

num_predict là lượng nội dung model sẽ ghi. Đây là quy tắc dừng, không phải giá trị cấp phát. Tăng giá trị này chủ yếu tốn thêm thời gian thực thi thay vì RAM, và không có memory nào được dành sẵn từ trước.

Hai giá trị này gặp nhau ở một điểm. Các token được tạo sẽ nằm trong context window ngay khi được tạo. Trong Ollama v0.40.11, context shift được bật mặc định cho hầu hết model. Khi window đầy, các token cũ hơn sẽ bị loại bỏ và quá trình tạo tiếp tục. Khi tắt context shift, do request gửi "shift": false hoặc model không hỗ trợ shift, câu trả lời cũng có thể dừng vì window đã đầy thay vì vì đã đạt giới hạn của bạn. Ollama báo cáo length trong cả hai trường hợp, vì vậy giá trị giúp phân biệt hai trường hợp là eval_count, được giải thích ở phần dưới.

Đặt một lần bằng Modelfile

Modelfile ghi giá trị vào model bạn tạo. Tạo file:

FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512

Sau đó build model và đọc lại cấu hình đã tạo:

ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-capped

ollama show --parameters in một dòng cho mỗi parameter đã lưu, kèm theo giá trị tương ứng. Nếu num_predict không xuất hiện trong output đó, model không có giới hạn được ghi sẵn và Ollama sẽ áp dụng giá trị mặc định của nó. ollama show --modelfile qwen3-capped in toàn bộ định nghĩa. Đây cũng là cách nhanh nhất để sao chép các parameter mà một model hiện có đã được phát hành kèm theo. Tạo một model có giới hạn theo cách này gần như không tốn thêm dung lượng đĩa, vì entry mới dùng lại các weight blob mà base model đã tải xuống thay vì sao chép chúng. Bạn nên biết Ollama lưu các blob đó ở đâu trước khi ổ đĩa root của VPS đầy.

Đây là layer phù hợp cho giá trị mà bạn muốn mọi caller kế thừa. Đây không phải layer phù hợp nếu bạn muốn giá trị này là giá trị cuối cùng, vì nó không phải vậy.

Đặt cho từng request trong object options

Mọi endpoint tạo nội dung đều nhận một object options, và num_predict được đặt bên trong object đó:

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "Explain what a reverse proxy does.",
  "stream": false,
  "options": { "num_predict": 128 }
}'

/api/chat dùng cùng key options với cùng ý nghĩa. Giá trị đặt tại đây chỉ áp dụng cho lần gọi đó và không ảnh hưởng đến nơi nào khác. Đây là lớp mà các tool của bạn sử dụng: giao diện chat, script, wrapper SDK hoặc coding agent. Tất cả đều gửi một object options, dù chúng có hiển thị ô nhập cho bạn hay không.

Thiết lập cho một session bằng /set parameter

Bên trong ollama run, interactive session thiết lập các option cho phần còn lại của session đó:

>>> /set parameter num_predict 256
>>> /show parameters

/show parameters hiển thị nội dung session sẽ gửi cùng message tiếp theo. Đây là cách nhanh nhất để xác nhận thay đổi đã có hiệu lực. Giá trị này được giữ cho đến khi bạn nhập /bye. Để giữ lại, /save qwen3-capped ghi session hiện tại, bao gồm cả parameter, thành một model mới. Không có nội dung nào bạn /set ở đây được gửi đến client khác.

Thiết lập nào được ưu tiên và vì sao thiết lập của bạn có vẻ bị bỏ qua

Thứ tự rất ngắn gọn. Các option gửi cùng request được ưu tiên hơn mọi thiết lập khác. Dòng PARAMETER num_predict trong Modelfile của model là giá trị dự phòng được dùng khi request không có giá trị tương ứng. Nếu cả hai đều không có, Ollama sẽ dùng giá trị mặc định tích hợp sẵn.

/set parameter không phải là quy tắc thứ ba. Session tương tác là một API client, nên giá trị bạn đặt ở đó được gửi cùng request dưới dạng options của request đó. Vì vậy, nó ghi đè Modelfile trong session.

Đây là lỗi mà thứ tự trên giải thích. Bạn thêm PARAMETER num_predict 512, build lại model nhưng các reply vẫn chạy đến hàng nghìn token. Thiết lập của bạn có tồn tại và ollama show --parameters xác nhận điều đó. Tuy nhiên, nó bị ghi đè trong mọi request vì client gửi object options riêng với giá trị riêng, thường là giá trị bạn đã nhập vào màn hình settings từ vài tháng trước rồi quên mất. ollama show đọc model đã lưu. Nó không thể cho bạn biết dữ liệu nào được gửi qua HTTP.

Hãy xác minh phía server bằng một command. Gửi request có thể tạo ra câu trả lời dài, buộc giới hạn xuống thấp rồi đọc hai field:

curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3-capped",
  "prompt": "Describe the Linux boot process in detail.",
  "stream": false,
  "options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'

Một câu trả lời chi tiết sẽ vượt xa 32 token, vì vậy hãy chờ "length" và 32. Nếu thiếu jq, trước tiên hãy cài bằng sudo apt install -y jq. Giá trị 32 không được đảm bảo vì eval_count chỉ là số output token mà server thực tế đã tạo ra. Nếu model hoàn tất sớm, bạn sẽ nhận "stop" cùng số lượng nhỏ hơn; khi đó cần dùng prompt yêu cầu câu trả lời dài hơn. Khi nhận được "length" và 32, giá trị riêng của request đã được ưu tiên hơn giá trị 512 lưu trong qwen3-capped. Điều này cho thấy server tôn trọng option theo từng request. Nó không cho biết application của bạn gửi gì, nên cần kiểm tra tiếp ở client. Để xem thông tin do chính server ghi nhận về request, hãy khởi động lại server với OLLAMA_DEBUG=1 trong environment rồi monitor journalctl -u ollama -f trong lúc application kết nối đến server.

Các giá trị âm và những con số không nên sao chép

num_predict cũng chấp nhận giá trị âm. Đây là các giá trị sentinel, không phải số lượng. Một giá trị âm có nghĩa là “không giới hạn giá trị này, tiếp tục sinh”. Một giá trị khác từng có nghĩa là “lấp đầy context còn lại”. Tính đến tháng 10 năm 2026, tài liệu tham khảo Ollama Modelfile ghi giá trị mặc định là -1, tức sinh vô hạn. Các phiên bản trước của cùng bảng cũng từng ghi -2 cho việc lấp đầy context.

Hãy xem tất cả các giá trị này là phụ thuộc phiên bản vì chúng đã thay đổi. Trong thời gian dài, tài liệu ghi giá trị mặc định là 128 trước khi sửa thành -1. Vì vậy, nhiều hướng dẫn vẫn nhắc lại con số cũ. Hành vi cũng đã thay đổi. Ollama v0.40.11, bản phát hành hiện tại vào ngày 25 tháng 10 năm 2026, chuyển các model GGUF cho tiến trình llama-server upstream, vốn cần một giới hạn hữu hạn. Vì vậy, Ollama thay thế mọi giá trị âm và mọi giới hạn lớn hơn mười lần num_ctx bằng mười lần num_ctx. Do đó, “vô hạn” có nghĩa là 81,920 token đối với model qwen3-capped ở trên, và -2 không còn hoạt động khác với -1. Hãy đọc tài liệu tham khảo tham số Modelfile cho phiên bản bạn thực sự chạy, sau đó xác nhận hành vi bằng kiểm tra eval_count ở trên. Giá trị bạn đã kiểm chứng trên chính máy của mình đáng tin cậy hơn giá trị đọc được ở bất kỳ đâu, kể cả trong bài viết này.

Vì sao độ dài output là chi phí chính trên VPS chỉ dùng CPU

Ollama được chạy miễn phí trên máy bạn kiểm soát, nên việc tạo nội dung cục bộ không bị tính phí theo mức sử dụng; thay vào đó, câu trả lời dài sẽ tiêu tốn thêm thời gian. Quá trình tạo nội dung có 2 giai đoạn với tốc độ rất khác nhau. Các token trong prompt được đánh giá theo batch, nhiều token cùng lúc. Các token output được tạo từng token một, và mỗi token cần một lượt xử lý qua các weight mà nó sử dụng. Trên VPS chỉ dùng CPU, lượt xử lý đó bị giới hạn bởi băng thông bộ nhớ, nên một token được tạo tốn nhiều tài nguyên hơn một token trong prompt. Vì lượt xử lý đó phải đọc mọi weight mà token sử dụng (toàn bộ weight trong một dense model, chỉ các expert được định tuyến trong một mixture-of-experts model như Nemotron 3.5 Lightning, model kích hoạt khoảng 3B trên tổng số 30B parameter cho mỗi token), số byte mà mỗi weight chiếm dụng sẽ đặt ra giới hạn trên cho tốc độ tạo token. Vì vậy, bản build q4 giải mã nhanh hơn cùng model ở q8 hoặc fp16.

Hãy yêu cầu response không streaming; các con số sẽ hiển thị ngay:

"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709

Thời lượng được tính bằng nanosecond. Trong block đó, đây là response mẫu được công bố trong tài liệu Ollama API tính đến tháng 10 năm 2026, không phải số đo của một server cụ thể nào. 11 token trong prompt mất khoảng 0.013 giây, còn 18 token output mất khoảng 0.052 giây. Tương đương khoảng 1.2 millisecond cho mỗi token trong prompt so với 2.9 millisecond cho mỗi token output. Vì vậy, ngay cả trong một câu trả lời chỉ có một dòng, mỗi token được tạo đã tốn hơn gấp đôi mỗi token được đọc; với câu trả lời dài, phần output là yếu tố chiếm thời gian chính. Tốc độ tạo nội dung của bạn là eval_count chia cho eval_duration rồi quy đổi sang giây. Bạn nên đo số token mỗi giây trên phần cứng của mình một lần trước khi tinh chỉnh bất kỳ thông số nào khác. Tốc độ đó phụ thuộc vào model không kém gì máy chủ. Vì vậy, nếu câu trả lời dài mới là chi phí thực tế, một model được thiết kế để giải mã nhanh như Nemotron 3.5 Lightning trên VPS sẽ giúp tiết kiệm một phần thời gian mà việc đặt giới hạn thấp đang bảo vệ.

Phần tính toán còn lại rất đơn giản. Ở tốc độ 8 token mỗi giây, một câu trả lời dài 2,000 token sẽ giữ máy bận hơn 4 phút, và model không biết bạn chỉ muốn một đoạn văn. Một reasoning model sẽ dùng một phần ngân sách đó để suy nghĩ trước khi viết từ đầu tiên bạn yêu cầu. Quá trình suy nghĩ đó cũng được tạo từng token một như mọi nội dung khác. Vì vậy, mức độ reasoning bạn yêu cầu là một yếu tố khác tác động lên cùng chi phí đó. Một số model cũng lặp vô hạn, nhắc lại một cụm từ cho đến khi có thứ gì đó dừng chúng. Nếu không đặt giới hạn, một request duy nhất sẽ tiếp tục làm một core bận cho đến khi đạt 10 lần num_ctx token, vì context shift ngăn một context window đầy kết thúc quá trình tạo nội dung. num_predict là thiết lập giới hạn request đó. Thiết lập này đặc biệt quan trọng trên một VPS Ollama tự host nhỏ, nơi một request dài có thể chiếm toàn bộ máy.

Đầu ra bị cắt thường do chạm giới hạn, không phải model bị lỗi

Các dấu hiệu này trông giống lỗi của model. Câu trả lời dừng giữa chừng. JSON không parse được vì dấu ngoặc đóng chưa xuất hiện. Phản xạ đầu tiên thường là đổ lỗi cho model hoặc quantisation. Hãy đọc response trước.

done_reason nghĩa là model trả lời trực tiếp câu hỏi. stop nghĩa là quá trình generation kết thúc trước khi chạm bất kỳ giới hạn nào, entweder vì model phát ra end-of-sequence token hoặc vì output khớp với một trong các chuỗi trong tùy chọn stop; tùy chọn này kết thúc reply tại vị trí khớp. length nghĩa là generation bị cắt vì hết dung lượng. Khi thấy length, hãy so sánh eval_count với giới hạn của bạn: khớp chính xác nghĩa là num_predict đã dừng generation, còn số nhỏ hơn nghĩa là context window đã đầy trước. Điều này chỉ xảy ra khi tắt context shift.

Khi stream, các trường đó xuất hiện trong chunk cuối cùng, chunk chứa "done": true. Nhiều client library loại bỏ chunk này và chỉ chuyển phần text cho code của bạn. Vì vậy, trong application, cùng một lần bị cắt trông như không có nguyên nhân, còn dưới curl thì nguyên nhân hiển nhiên. Nếu library ẩn thông tin này, hãy gửi một request với curl để biết chính xác server đã trả về gì.

Còn một điểm nữa có thể giúp bạn tránh mất cả buổi chiều. Tăng num_predict không khiến model viết nhiều hơn. Nó chỉ nâng giới hạn tối đa. Nếu reply kết thúc ở 200 token với done_reason của stop, thì hoặc model đã quyết định kết thúc, hoặc một chuỗi trong stop đã khớp; tăng giới hạn không thay đổi gì. Câu trả lời ngắn kèm stop là vấn đề về prompt hoặc stop string. Câu trả lời ngắn kèm length là vấn đề về giới hạn.

Chọn giá trị

  • Với chat tương tác, để không giới hạn và nhấn Ctrl+C để dừng câu trả lời chạy quá lâu. Bạn vẫn đang theo dõi màn hình.
  • Với mọi thứ chạy bằng script, hãy đặt giới hạn. Sinh nội dung không giới hạn bên trong vòng lặp là nguyên nhân khiến một batch job lẽ ra chỉ mất mười phút vẫn chạy đến sáng hôm sau.
  • Với output có cấu trúc, đặt giới hạn cao hơn tài liệu hợp lệ lớn nhất mà bạn dự kiến, sau đó xem done_reason của length là lỗi nghiêm trọng và retry thay vì parse phần output đã nhận được.
  • Với coding agent, giá trị này phải nằm trong cấu hình riêng của agent, vì agent tự gửi các option của nó trong mỗi request. Trỏ coding agent đến Ollama giải thích nơi lưu các thiết lập đó.

Giới hạn này đếm token, không đếm từ hay ký tự, nên đừng ước tính. Hãy generate một câu trả lời đại diện khi không đặt giới hạn, đọc eval_count, rồi đặt giới hạn cao hơn mức đó một khoảng an toàn. Các họ model tokenise khác nhau, vì vậy một giá trị vừa đủ cho model Llama có thể làm cùng câu trả lời bị truncate khi dùng một model Qwen 3 trên cùng VPS.

FAQ

num_ctx và num_predict trong Ollama khác nhau thế nào?

num_ctx là kích thước context window, quyết định lượng nội dung model có thể đọc: prompt và mọi nội dung đã sinh trước đó. Tham số này tốn memory vì key/value cache tăng theo kích thước đó. num_predict quyết định số token tối đa model có thể ghi trong một response. Tham số này chủ yếu tốn thời gian thay vì memory và không được cấp phát trước. Các token đã sinh được tính vào cả hai giới hạn, nên khi tắt context shift, response có thể bị cắt bởi một trong hai giới hạn.

Tại sao thiết lập num_predict của tôi có vẻ bị bỏ qua?

Vì giá trị gửi cùng request sẽ ghi đè giá trị được lưu trong model. Bạn đặt PARAMETER num_predict 512 trong Modelfile, rồi dùng chat front end hoặc coding agent để gọi model đó, nhưng client lại gửi object options riêng và giá trị trong object này sẽ được ưu tiên. ollama show --parameters vẫn in ra giá trị bạn đã đặt vì nó đọc model đã lưu và không thấy giá trị được gửi qua HTTP. Gửi một request có curl bằng "options": {"num_predict": 32} cùng prompt cần response dài, rồi đọc done_reason và eval_count. Một length có eval_count bằng 32 cho thấy giá trị trong request đã ghi đè giá trị được lưu, xác nhận server đang hoạt động đúng và hướng điều tra chuyển sang ứng dụng của bạn. Một stop có số lượng nhỏ hơn chỉ có nghĩa là model đã hoàn tất sớm, nên hãy thử lại bằng prompt yêu cầu dài hơn.

Làm thế nào để biết output bị cắt bởi num_predict?

Gửi request với "stream": false và đọc done_reason. Giá trị stop có nghĩa là model tự hoàn tất hoặc một trong các chuỗi stop của bạn đã kết thúc response. Giá trị length có nghĩa là model đã hết chỗ. Sau đó so sánh eval_count với giới hạn của bạn: nếu hai giá trị khớp chính xác, num_predict đã dừng response; nếu eval_count nhỏ hơn, context window đã đầy trước. Khi streaming, cả hai trường này nằm trong chunk cuối cùng cùng với "done": true, nhưng nhiều thư viện client loại bỏ chúng trước khi code của bạn đọc được.

Giá trị mặc định của num_predict là bao nhiêu?

Hãy đọc giá trị từ bản cài đặt của bạn thay vì dựa vào một bài viết. Tính đến October 2026, tài liệu tham khảo Ollama Modelfile ghi giá trị mặc định là -1, nghĩa là generation không bị giới hạn; mục này đã được sửa sau một thời gian dài ghi là 128. Trong Ollama v0.40.11, giá trị mặc định không giới hạn này, cũng như mọi giá trị âm, thực tế sẽ dừng ở mức gấp 10 lần num_ctx. Giá trị âm là sentinel chứ không phải số lượng, và các phiên bản cũ hơn của cùng bảng cũng từng ghi -2 để lấp đầy phần context còn lại. Kiểm tra tài liệu tham khảo tham số Modelfile cho phiên bản của bạn, rồi xác nhận bằng ollama show --parameters và một request curl.

Tăng num_predict có khiến model viết response dài hơn không?

Không. Thao tác này chỉ nâng giới hạn tối đa. Nếu response kết thúc với done_reason của stop, model đã quyết định hoàn tất hoặc một trong các chuỗi stop của bạn đã khớp, nên tăng giới hạn cũng không thay đổi gì. Trong trường hợp đó, độ dài là vấn đề của prompt: hãy yêu cầu cấu trúc cụ thể, số section hoặc mức độ chi tiết rõ ràng. Chỉ tăng num_predict khi done_reason trả về length.

Bài viết này có hữu ích không?