Ollama NUM_PARALLEL và MAX_QUEUE hoạt động thế nào
Request Ollama thứ hai sẽ chờ hay nhận HTTP 503? Hiểu OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE và vì sao mỗi slot song song tốn thêm KV cache.
Điều gì xảy ra với request Ollama thứ hai khi request thứ nhất đang sinh nội dung
Ollama quyết định mức độ đồng thời bằng 3 biến môi trường. Theo mặc định, một model đã load chỉ xử lý từng request một. Request thứ hai không bị từ chối và cũng không nhận được câu trả lời dở dang. Nó chờ trong queue đến khi có slot trống, rồi chạy với tốc độ bình thường.
Một request đến có 3 khả năng. Nó chạy ngay trong một slot trống. Nó chờ trong queue. Hoặc queue đã đầy và server từ chối request bằng HTTP 503. Kết quả phụ thuộc vào OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE và OLLAMA_MAX_LOADED_MODELS. Có một điểm cần lưu ý trong các bản release hiện tại tính đến tháng 10 năm 2026. FAQ mô tả queue theo cách tổng quát, nhưng source code của scheduler cụ thể hơn. HTTP 503 chỉ áp dụng cho các request đến trong khi model tương ứng vẫn cần được load, hoặc cần reload với các thiết lập khác. Ollama không từ chối request nếu model đã load có thể xử lý request đó với trạng thái hiện tại. Request này sẽ chờ slot lâu đến mức cần thiết.
Thiết lập mặc định an toàn. Đây cũng là lý do người dùng thứ hai có thể báo rằng server đã “treo” dù không có gì bị hỏng. Thêm slot chỉ cần thay đổi 2 dòng. Vấn đề gây lỗi là bộ nhớ. Mỗi slot chạy song song cần một key/value cache riêng (KV cache). Đây là vùng bộ nhớ model giữ các token đã xử lý. Nếu thêm slot mà không thêm VRAM (video memory trên GPU), bạn có thể biến một câu trả lời chậm thành lỗi load model. Trên server chỉ dùng CPU, cache này sử dụng system RAM.
Kiểm soát của OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE và OLLAMA_MAX_LOADED_MODELS
Đây là các giá trị mặc định trong các bản phát hành Ollama hiện tại tính đến tháng 10 năm 2026. Hãy kiểm tra giá trị trên hệ thống của bạn thay vì tin vào các con số này, bằng dòng log được hiển thị ở phần dưới.
OLLAMA_NUM_PARALLELlà số request mà một model đã load có thể xử lý đồng thời. Giá trị mặc định là 1, nên các request được xử lý lần lượt.OLLAMA_MAX_LOADED_MODELSlà số model khác nhau được giữ resident cùng lúc. Giá trị mặc định là 0, nghĩa là Ollama tự chọn: ba model cho mỗi GPU và ba model trên máy không có GPU.OLLAMA_MAX_QUEUElà số request tối đa mà Ollama sẽ xếp hàng khi đang bận trước khi từ chối các request tiếp theo, theo cách diễn đạt trong FAQ. Giá trị mặc định là 512. Request đến khi queue đã đầy sẽ bị từ chối ngay. Tuy nhiên, trong code scheduler hiện tại, chỉ những request có model cần được load hoặc reload trước mới vào queue này. Request dành cho model đã load sẽ bỏ qua queue này và chờ một slot trống; thời gian chờ đó không có giới hạn. Một maintainer đã mô tả đây là hệ quả của cách scheduler được triển khai. Các maintainer của Ollama theo dõi bản sửa lỗi này dưới dạng feature request (issue #7758), và issue này vẫn mở vào tháng 10 năm 2026.
Trong trường hợp xấu nhất, lượng memory sử dụng là tích của hai giá trị đầu tiên. Hai model đã load, mỗi model có 4 slot, sẽ tạo thành 8 lần cấp phát slot cho KV cache và đều resident cùng lúc; Ollama sẽ cố đáp ứng cấu hình đó. Trên một máy chỉ có một GPU, thông thường nên giữ một model và cấp slot cho model đó, vì phép tính sẽ vẫn đủ đơn giản để tự tính nhẩm.
Tại sao mỗi slot song song đều tốn VRAM
Khi Ollama tải một model, nó khởi chạy một tiến trình runner riêng biệt. Hai trong số các tham số mà nó truyền vào đóng vai trò quan trọng ở đây: -c là tổng context mà runner cấp phát KV cache, và -np là số lượng sequence song song. Ollama thiết lập -c bằng độ dài context trên mỗi request nhân với số lượng slot. Sau đó, runner chia đều tổng đó cho các slot, vì vậy mỗi request vẫn nhận được độ dài context mà bạn đã yêu cầu.
Đó là toàn bộ giới hạn, và cũng là lý do tại sao tính song song không miễn phí. Việc tăng từ một slot lên bốn slot đòi hỏi lượng KV cache gấp bốn lần với cùng độ dài context trên mỗi request. Không có gì được chia sẻ giữa các slot, và phần của một slot đang rảnh cũng không được chuyển cho slot đang bận, vì việc phân chia đã được cố định khi runner bắt đầu. Trên GPU, bộ nhớ đó là VRAM. Trên máy chủ chỉ dùng CPU, đó là RAM hệ thống, và phép nhân tương tự vẫn được áp dụng.
Bạn có thể đọc các con số thực tế thay vì những con số bạn định thiết lập:
journalctl -u ollama --no-pager -n 500 | grep "starting llama-server"Dòng đó chứa toàn bộ dòng lệnh của runner, bao gồm cả -c và -np. Nếu -np là 1 sau khi bạn đã thiết lập biến, hãy kiểm tra loại model trước. Ollama v0.40.15 đã thêm các request song song cho các model GGUF dạng recurrent và vision, vì vậy hạn chế một slot trước đây cho các model đó không còn áp dụng nữa. Các model embedding vẫn chỉ có một slot trong scheduler. Đối với một model completion dạng GGUF, hãy kiểm tra xem thiết lập đó có đến được server hay không, như phần tiếp theo sẽ giải thích.
Nếu trọng số của model cộng với KV cache đó không vừa trong VRAM, Ollama sẽ chuyển một số layer sang RAM hệ thống và các layer đó sẽ chạy trên CPU. Các layer chạy trên CPU chậm hơn nhiều so với các layer trên GPU, vì vậy điều này làm cho mọi request đều chậm hơn, bao gồm cả request đơn lẻ mà bạn đã bắt đầu. Do đó, việc tăng tính song song có thể làm giảm throughput thay vì tăng nó. Với một model đủ lớn, chỉ riêng trọng số đã quyết định vấn đề trước khi bất kỳ phép tính slot nào bắt đầu, đó là lý do tại sao tự host một thứ có kích thước như Kimi K3 là cuộc thảo luận về việc bạn có bao nhiêu card thay vì bạn thiết lập bao nhiêu slot.
ollama psCột PROCESSOR hiển thị 100% GPU khi toàn bộ model vừa vặn. Một sự phân chia như 35%/65% CPU/GPU có nghĩa là một phần của model đang chạy trên CPU. Cột SIZE bao gồm cả KV cache, vì vậy nó sẽ tăng lên khi bạn tăng số lượng slot và tải lại model. Hãy tăng OLLAMA_NUM_PARALLEL, khởi động lại, gửi một request và chạy lại ollama ps: đó là chi phí bộ nhớ cho thay đổi của bạn, được đo lường thay vì phỏng đoán. Nếu phép đo đó cho thấy model không còn vừa nữa, hãy nhớ rằng trọng số là một nửa còn lại của cùng một ngân sách, và chuyển từ fp16 sang bản build q8 hoặc q4 thường giải phóng nhiều VRAM hơn so với chi phí của slot mà bạn đang cố gắng thêm vào.
Độ dài context và số lượng slot nhân với nhau, vì vậy chúng phải được chọn cùng nhau. Một context lớn với bốn slot tương đương với bốn context lớn. Nếu bạn cũng đang tinh chỉnh cửa sổ context num_ctx cho model của bạn, hãy thay đổi từng cái một, nếu không bạn sẽ không biết cái nào đã làm đầy card.
Cách thiết lập các biến này để chúng tồn tại sau khi reboot
Trên Linux, Ollama chạy dưới dạng một systemd service. Việc chạy export OLLAMA_NUM_PARALLEL=4 trong shell của bạn không thay đổi gì cả, vì systemd khởi động service với môi trường riêng của nó và không bao giờ thấy shell của bạn. Hãy sử dụng một file drop-in.
sudo systemctl edit ollama.serviceThêm nội dung này vào trình soạn thảo vừa mở:
[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_MAX_QUEUE=32"Sau đó reload và restart:
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentsystemctl show in ra những gì systemd sẽ truyền cho tiến trình. Nếu biến của bạn không xuất hiện ở đó, file drop-in đã không được lưu hoặc bạn đã bỏ qua daemon-reload. Hãy xác nhận từ phía server:
journalctl -u ollama --no-pager | grep "server config" | tail -1Ollama ghi log cấu hình server khi khởi động trên một dòng có thông báo là server config. Bản đồ đó hiển thị các giá trị môi trường đã cấu hình mà Ollama báo cáo, và đây là cách nhanh nhất để giải quyết tranh cãi về việc liệu một biến có hiệu lực hay không. Nó hiển thị giá trị bạn đã đặt, không phải số lượng slot mà một model cụ thể thực sự nhận được. Để biết điều đó, hãy đọc giá trị -np trên dòng runner phía trên.
Một model đã được load sẽ giữ nguyên số lượng slot mà nó được khởi tạo, vì giá trị này được cố định vào tiến trình runner lúc khởi chạy. Lệnh restart ở trên sẽ unload mọi thứ, vì vậy request tiếp theo sẽ load lại model với thiết lập mới và tốn thời gian load một lần. Thời gian một model duy trì trong bộ nhớ sau đó là một tùy chọn điều khiển riêng, được đề cập trong giữ một model Ollama luôn được load giữa các request.
Giao diện của các yêu cầu được xử lý, xếp hàng và bị từ chối ở phía client
Gửi nhiều yêu cầu cùng lúc và đo thời gian xử lý. Lệnh này chạy song song 8 yêu cầu streaming, đồng thời in trạng thái và thời gian của từng yêu cầu:
for i in $(seq 1 8); do
curl -s -o /dev/null \
-w "req$i http=%{http_code} ttfb=%{time_starttransfer}s total=%{time_total}s\n" \
http://127.0.0.1:11434/api/generate \
-d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":true}' &
done
waitttfb là thời gian đến byte đầu tiên của stream. Giá trị này gần với thời gian đến token đầu tiên (TTFT), vì chunk đầu tiên của stream chứa token đầu tiên.
Được xử lý song song. Mỗi yêu cầu có ttfb tương tự nhau, còn total tăng đồng thời trên tất cả yêu cầu. GPU được chia sẻ giữa các slot đang chạy, nên mỗi câu trả lời chậm hơn so với khi chạy riêng lẻ, nhưng số câu trả lời hoàn tất mỗi phút lại tăng. Đây là chế độ bạn đang chọn khi tăng OLLAMA_NUM_PARALLEL.
Xếp hàng. Các yêu cầu đầu tiên trả lời nhanh. Những yêu cầu đến sau có ttfb lớn, sau đó quá trình sinh văn bản diễn ra bình thường. Thời gian chờ nằm ở queue, không phải ở model. Người dùng nhìn vào cửa sổ chat sẽ thấy một khoảng trống dài, rồi văn bản xuất hiện với tốc độ đầy đủ. Mẫu hình bắt đầu chậm rồi chạy nhanh này là dấu hiệu của queue, không phải GPU quá tải.
Bị từ chối. Client nhận http=503 gần như ngay lập tức, còn body là:
{"error":"server busy, please try again. maximum pending requests exceeded"}Thông báo này có nghĩa là queue lập lịch đã đầy tại thời điểm yêu cầu đến. Nó không cho biết gì về VRAM và cũng không liên quan đến model. Trong các bản release hiện tại, queue này chỉ chứa những yêu cầu có model chưa được load hoặc phải load lại với settings khác. Nếu model đã được load sẵn khi bạn chạy vòng lặp trên, mọi yêu cầu sẽ trả về 200 dù bạn đặt OLLAMA_MAX_QUEUE thấp đến đâu. Khi đó, hiện tượng tràn queue sẽ biểu hiện bằng ttfb dài hơn.
Có một giới hạn cần nói rõ: Ollama không công bố độ sâu của queue. ollama ps và endpoint /api/ps chỉ báo cáo các model đã được load, không báo cáo các yêu cầu đang chờ. Vì vậy, bạn phải đo queue từ phía client bằng cách theo dõi thời gian đến byte đầu tiên, hoặc đếm số phản hồi 503 tại thành phần đứng phía trước.
Vì sao MAX_QUEUE nhỏ hơn thường là thiết lập tốt hơn
Queue 512 nghe có vẻ rộng rãi, nhưng với một slot duy nhất thì gần như vô dụng. Request 300 phải chờ sau 299 lượt generate hoàn tất. Trong trường hợp tốt nhất, việc này mất vài phút. Mọi HTTP client đều timeout từ lâu trước đó. Caller chỉ thấy client side timeout, không biết nguyên nhân và hệ thống monitoring cũng không có gì để alert.
Queue nhỏ hơn sẽ biến tình trạng tràn queue thành lỗi 503 ngay lập tức, nhưng chỉ áp dụng cho các request đang chờ model load hoặc reload, chẳng hạn burst request đến sau khi restart hoặc trong lúc swap model. Tính đến tháng 10 năm 2026, các request đến model đã được load sẽ bỏ qua OLLAMA_MAX_QUEUE và chờ slot trống mà không bị giới hạn. Vì vậy, giảm queue sẽ không rút ngắn thời gian chờ trên server bận với một model đang resident. Muốn từ chối nhanh trong trường hợp đó, hãy giới hạn concurrency trước Ollama như mô tả trong phần tiếp theo. Lỗi 503 hữu ích: reverse proxy có thể retry, client có thể back off, dashboard có thể đếm, và người vận hành có thể đọc được. Hãy tính giới hạn dựa trên số liệu đo được của hệ thống. Nếu một lượt generate mất khoảng 10 giây và client chờ 60 giây, thì mỗi slot có thể xử lý khoảng 6 request trong khoảng thời gian đó. Cho nhiều request hơn chờ chỉ tạo ra timeout.
Khi nào cần đặt queue trước Ollama
Queue tích hợp sẵn xử lý theo thứ tự vào trước, ra trước (FIFO) và không biết ai đang gọi. Với một ứng dụng giao tiếp với một server, như vậy là đủ. Thêm infrastructure chỉ làm phát sinh thêm các điểm có thể lỗi. Hãy dùng một thành phần phía trước khi có một trong các nhu cầu sau.
- Bạn cần priority. Chat tương tác không nên phải chờ sau một job summarisation chạy theo lô. Queue của Ollama không có priority, nên phải giữ công việc theo lô ở bên ngoài và đưa vào từ từ.
- Bạn cần fairness. Một client có thể chiếm toàn bộ slot và tự xếp thêm các request đang chờ phía sau. Khi đó mọi client khác phải chờ client này, hoặc nhận 503 nếu request của họ cần load model.
- Bạn cần giới hạn thời gian chờ. Ollama sẽ giữ vô thời hạn các request dành cho một model đã được load. Vì vậy, giới hạn đáng tin cậy duy nhất là giới hạn do bạn đặt ở phía trước.
- Bạn cần công việc vẫn tồn tại sau khi restart. Queue nằm trong memory của server. Khi restart Ollama, mọi request đang chờ đều mất.
- Bạn cần retry thực sự có backoff và được ghi lại ở nơi có thể kiểm tra sau này.
Cách nhẹ nhất là dùng reverse proxy. Trong nginx, limit_conn giới hạn số connection đồng thời và limit_req giới hạn tốc độ request từ mỗi client. Vì vậy, request vượt giới hạn sẽ bị proxy từ chối và không bao giờ đến Ollama. Cách nặng hơn là dùng job queue với database đặt trước một worker gọi Ollama. Đây là lựa chọn phù hợp khi request phải tồn tại qua cả việc process bị restart. Việc sizing cho traffic thực tế là một bài toán riêng: lập kế hoạch self-hosted LLM cho nhiều user đồng thời trình bày cách tính, còn chạy Ollama trên VPS mô tả base install mà các biến này giả định.
Khi câu trả lời đúng là dùng server khác
Có một giới hạn mà bạn không thể vượt qua chỉ bằng cách tinh chỉnh. Ollama chia KV cache thành các slot cố định có kích thước bằng nhau khi model được load. Bộ nhớ của một slot đang rảnh không thể được slot đang bận sử dụng, và số lượng slot không thể thay đổi nếu không unload model. Thiết kế này phù hợp với một người, một nhóm nhỏ hoặc một coding agent.
Các server được xây dựng cho nhiều user đồng thời hoạt động khác. Chúng cấp phát KV cache theo các page nhỏ khi có nhu cầu và thêm các request mới vào batch đang chạy, vì vậy bộ nhớ phân bổ theo nhu cầu thực tế thay vì chia cố định. Nếu mục tiêu của bạn là phục vụ nhiều user đồng thời trên một GPU, khác biệt về kiến trúc này quan trọng hơn mọi giá trị của OLLAMA_NUM_PARALLEL. Phần so sánh giữa Ollama và vLLM là nơi bạn nên đưa ra quyết định đó. Tuy nhiên, đừng chuyển đổi chỉ vì nguyên tắc: vận hành một server khác sẽ phức tạp hơn, và nếu traffic của bạn chỉ đến từ vài người, behaviour tích hợp sẵn là lựa chọn đúng. Nếu câu hỏi thực sự là có nên tự chạy model server hay không, phần so sánh giữa việc dùng một private AI server chỉ báo giá khi được yêu cầu và tự xây dựng cùng stack trên GPU thuê sẽ trình bày quyết định này, bao gồm cả trường hợp mua API là lựa chọn tốt hơn.
Đo throughput và time to first token trên chính máy của bạn
Các con số token mỗi giây được công bố dựa trên GPU, model, quantisation, context length và prompt của người khác. Không yếu tố nào trong số đó giống với hệ thống của bạn. Vì vậy, hãy xem mọi con số bạn đọc được chỉ là gợi ý gần đúng và tự đo trên máy đang sử dụng.
Ollama trả về thời gian xử lý trong object JSON cuối cùng của mỗi response. eval_count là số token đã được tạo và eval_duration là thời gian dùng để tạo chúng, tính bằng nanosecond.
sudo apt install -y jq
curl -s http://127.0.0.1:11434/api/generate \
-d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":false}' \
| jq '{prompt_eval_count, eval_count, eval_duration, tokens_per_second: (.eval_count / (.eval_duration / 1000000000))}'Chạy lệnh đó với 1 slot, sau đó chạy lại với concurrency bạn thực sự dự kiến sử dụng. So sánh 2 chỉ số quyết định người dùng có hài lòng hay không: time to first token và số token mỗi giây trên mỗi request. Throughput trên mỗi request luôn giảm khi thêm slot. Vấn đề là mức giảm đó có vượt quá mức người dùng chấp nhận hay không. Đo số token mỗi giây trên LLM cục bộ trình bày phương pháp chi tiết hơn, bao gồm cách giữ prompt không đổi giữa các lần chạy.
Endpoint công khai với hàng đợi lớn là mục tiêu của tấn công từ chối dịch vụ
Thiết lập OLLAMA_HOST=0.0.0.0:11434 đưa API lên mọi giao diện mạng, và API cục bộ không yêu cầu xác thực. Ollama có sẵn tính năng đăng nhập cho các model đám mây, xuất bản và tải xuống riêng tư. Việc suy luận đám mây trực tiếp tại https://ollama.com/api và https://ollama.com/v1 yêu cầu một API key. Với hàng đợi mặc định, một endpoint mở sẽ chấp nhận tới 512 yêu cầu đang chờ model tải lên, từ bất kỳ ai tìm thấy nó. Đối với một model đã được tải sẵn, nó sẽ giữ mọi yêu cầu kết nối mà không có giới hạn, miễn là client vẫn duy trì kết nối. Việc làm nghẽn máy chủ theo cách này gần như không tốn chi phí cho kẻ tấn công: prompt dài, không cần đăng nhập, không giới hạn tốc độ, không tốn phí. Người dùng của bạn sau đó sẽ nhận được phản hồi 503 hoặc phải chờ đợi lâu, trong khi máy chủ luôn trong tình trạng bận rộn.
Hãy giữ trình lắng nghe trên loopback và truy cập thông qua SSH tunnel hoặc mạng nội bộ, hoặc đặt cơ chế xác thực và giới hạn tốc độ phía trước nó. Bảo mật endpoint API Ollama bao gồm cả hai cách này. Hãy điều chỉnh hàng đợi sau khi đã thực hiện các bước trên, vì độ dài hàng đợi chỉ là thiết lập dung lượng và nó không bảo vệ được bất cứ điều gì.
FAQ
Tại sao request thứ hai của tôi phải đợi request đầu tiên hoàn tất?
Vì OLLAMA_NUM_PARALLEL mặc định là 1, nên một model đã load chỉ chạy một request tại một thời điểm, các request còn lại phải xếp hàng chờ. Request đang chờ sẽ giữ kết nối HTTP mở và không gửi byte nào cho đến khi có slot trống, điều này trông giống như model bị chậm từ phía client. Dấu hiệu nhận biết là hình thái thời gian: nếu có khoảng dừng dài rồi văn bản xuất hiện với tốc độ tối đa thì đó là do hàng đợi, còn nếu văn bản xuất hiện chậm chạp ngay từ token đầu tiên thì đó là do model chậm. Hãy tăng số lượng slot bằng một file drop-in của systemd rồi restart service. Sau đó kiểm tra giá trị -np trên dòng runner, vì các model embedding vẫn nhận một slot trong bộ lập lịch.
Thông báo "server busy, please try again. maximum pending requests exceeded" nghĩa là gì?
Đây là lỗi tràn hàng đợi của Ollama, trả về với mã trạng thái HTTP 503. Số lượng request đang chờ được lập lịch, tức là đang chờ model được load hoặc reload, đã đạt đến OLLAMA_MAX_QUEUE (mặc định là 512), nên request mới nhất bị từ chối thay vì được thêm vào hàng đợi. Các request gửi đến model đã được load sẵn không bị tính vào giới hạn này. Bạn thường thấy lỗi này khi có lưu lượng tăng đột biến lúc khởi động hoặc trong khi các model đang được hoán đổi. Đây không phải là lỗi bộ nhớ và cũng không phải lỗi model. Việc tăng hàng đợi chỉ làm cho người gọi phải chờ lâu hơn trước khi nhận cùng một thông báo từ chối, vì vậy giải pháp thực sự là tăng số lượng slot nếu bạn có đủ VRAM, giảm tải lượng request đầu vào, hoặc đặt một hàng đợi phía trước để thử lại và ưu tiên request.
Tăng OLLAMA_NUM_PARALLEL có làm Ollama nhanh hơn không?
Không. Nó cho phép nhiều request chạy cùng lúc, và mỗi request đó sẽ chậm hơn so với khi chạy đơn lẻ vì chúng dùng chung GPU. Nó cũng nhân bản KV cache, vì Ollama khởi động runner với tổng context bằng độ dài context nhân với số lượng slot. Nếu kết quả không còn nằm vừa trong VRAM, Ollama sẽ đẩy các layer sang CPU và mọi request đều chậm lại, kể cả khi chỉ có một request duy nhất. Hãy kiểm tra ollama ps sau khi thay đổi và xác nhận cột PROCESSOR vẫn hiển thị 100% GPU.
Tôi có cần restart Ollama sau khi thay đổi các biến này không?
Có. Server đọc các biến này khi khởi động, và một model đang chạy sẽ giữ nguyên số lượng slot đã được cố định vào tiến trình runner khi nó bắt đầu. Hãy chỉnh sửa file drop-in bằng sudo systemctl edit ollama.service, sau đó chạy sudo systemctl daemon-reload và sudo systemctl restart ollama. Xác nhận bằng systemctl show ollama --property=Environment, rồi kiểm tra dòng server config trong journalctl -u ollama, nơi liệt kê các giá trị môi trường đã cấu hình mà Ollama báo cáo.
Tôi nên đặt bao nhiêu slot song song?
Hãy bắt đầu từ 1 và tăng dần từng bước một. Sau mỗi bước, restart Ollama, gửi một request để load model, và chạy ollama ps. Dừng lại ở giá trị cuối cùng mà PROCESSOR vẫn hiển thị 100% GPU và cột SIZE vẫn còn dư dung lượng cho context dài nhất mà bạn phục vụ. Sau đó, đo thời gian đến token đầu tiên và số token mỗi giây tại thiết lập đó dưới mức concurrency thực tế của bạn, và giảm xuống một bước nếu tốc độ mỗi request đã giảm xuống dưới mức người dùng của bạn có thể chấp nhận.