SSD Nodes Learn Hosting plans →
Hướng dẫn Matt ConnorBởi Matt Connor

Paritok có giảm chi phí token cho coding agent?

Paritok là token gateway nén file read, tool output và context trước khi gửi lên model API. Tìm hiểu cơ chế và phép tính hòa vốn với tuyên bố giảm 74% token.

Paritok xử lý request như thế nào

Paritok là một token gateway: một proxy nằm giữa coding agent và model API, nén từng request trước khi chuyển tiếp. Agent của bạn kết nối đến http://127.0.0.1:8080 thay vì provider. Proxy thu gọn tool schema, nội dung đọc từ file, output của tool và các lượt hội thoại cũ, gửi payload nhỏ hơn lên upstream rồi trả nguyên vẹn phản hồi về cho agent.

Provider tính phí dựa trên dữ liệu đến provider, nhưng hóa đơn còn phụ thuộc vào những token bị loại bỏ, mức giá cache và số lượt agent cần thực hiện. Đó là toàn bộ ý tưởng. Đây là một tuyên bố khác với việc “context của bạn tồn tại lâu hơn”, và cũng là lý do công cụ này đáng chú ý chứ không chỉ giúp request gọn hơn.

Dự án còn mới. Gateway được open source vào ngày 15 July 2026. PyPI ghi nhận v1.3.14 vào ngày 6 October 2026 và v1.3.0 vào ngày 5 August. Weights và mã nguồn gateway được phát hành theo Apache 2.0. Model nén là một adapter LoRA (low-rank adaptation) trên Qwen3-4B-Instruct-2507, được distill từ một pool gồm 45,000 segment lấy từ các coding-agent trajectory thực tế. Trong số đó, 40,606 segment vượt qua bước teacher validation và trở thành các training example.

Vì sao đây không phải là cắt ngắn context

Cắt ngắn sẽ xóa dữ liệu vĩnh viễn. Khi agent gần chạm giới hạn context và loại bỏ các lượt trao đổi cũ nhất, file mà agent đã đọc ở lượt 3 sẽ biến mất. Nếu cần file đó ở lượt 20, agent phải đọc lại file, nên bạn phải trả token cho file đó lần thứ hai. Khoản tiết kiệm đó chỉ là khoản vay.

Paritok thay một segment bằng dạng ngắn hơn kèm một tag, [REF:id], và giữ toàn bộ văn bản trên proxy. Model khôi phục segment bằng cách gọi read_original hoặc expand_context. Cách này thay đổi kiểu lỗi. Trình cắt ngắn bị lỗi vì quên thông tin và không bao giờ báo cho bạn. Trình nén bị lỗi vì đưa cho model một đoạn trích mất mát; model có thể yêu cầu bản gốc khi đoạn trích không đủ.

Các tool schema đã lọc vẫn có thể khôi phục, nhưng adaptive filter mặc định sẽ loại bỏ các standard tool không được chọn và các MCP tool không được chọn, trừ khi MCP relevance signal được kích hoạt. Khi signal đó được kích hoạt, các MCP tool không được chọn sẽ được thay bằng stub. gateway_search_tools hỗ trợ khôi phục. Gateway cũng phát hiện các message báo thiếu tool và inject các tool phù hợp trước khi retry. Điều này quan trọng vì filter ẩn vĩnh viễn một tool sẽ thay đổi những gì agent có thể làm, và bạn chỉ phát hiện ra qua một task âm thầm cho kết quả sai.

Ba đòn bẩy và đòn bẩy nào miễn phí

Đòn bẩy thứ nhất là bộ lọc schema của tool. Mỗi request chứa toàn bộ mảng tools. Trong một lượt Claude Code không gắn MCP (model context protocol) server, project đo block này ở khoảng 29,000 token; khi gắn MCP, project ghi nhận 44,000 đến 65,000 token. Bộ lọc nhúng request của người dùng và mô tả của từng tool bằng BAAI/bge-small-en-v1.5, một model embedding 130 MB, giữ lại các tool phù hợp, loại các tool chuẩn không được chọn và chỉ tạo stub cho các tool MCP không được chọn khi tín hiệu liên quan MCP được kích hoạt. Nếu không, các tool MCP đó cũng bị loại. Trong ví dụ 29,000 token của project, block giảm xuống còn khoảng 8,000 token. Model embedding này chạy trên CPU.

Đòn bẩy thứ hai là nén nội dung. Đây là phần sử dụng model 4B trên GPU hoặc qua Ollama trên CPU. Nội dung đọc file, output của tool và history được rút xuống còn 25.7% kích thước ban đầu. Model chủ yếu chọn các đoạn nội dung thay vì viết lại, chỉ cho phép viết lại hạn chế đối với những nội dung như bản tóm tắt suy luận và phần định dạng lệnh gọi tool. Paper của project đo được 96.0% identifier, path và number trong output xuất hiện nguyên văn trong input của corpus huấn luyện do teacher tạo; output SWE-bench Lite trên tập kiểm tra của model đã huấn luyện đạt 96.2% trong cùng phép kiểm tra. Đây là nguồn gốc của con số 74% được nêu. Hãy đọc kỹ: 74% là tỷ lệ nén trên phần nội dung được nén, không phải mức giảm trên hóa đơn của bạn.

Đòn bẩy thứ ba là tóm tắt history. Theo mặc định, khi context vượt quá 80% window đã cấu hình, các lượt cũ hơn sẽ được tóm tắt, còn bốn lượt gần nhất được giữ nguyên để session dài tiếp tục chạy thay vì chạm giới hạn.

GPU là tùy chọn khi tự host. Đây là câu hữu ích nhất trên trang này. pip install "paritok[toolselect]" cung cấp bộ lọc tool trên một VPS CPU thông thường mà không tính phí theo token. Hãy thử trước khi thuê một card.

Dự án đã đo những gì và trên harness nào

Biểu đồSWE-bench Lite: compression rate against solve quality retained (project's published figures)
Dữ liệu đằng sau biểu đồ này
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

Đây là các số liệu do chính dự án công bố, được đo trên harness của dự án với SWE-bench Lite. Paritok-4B-v1 nén nội dung xuống còn 25.7% kích thước ban đầu, đồng thời giữ lại 86.5% tỷ lệ solve của bản chưa nén. Dùng gpt-5 làm compressor giữ lại nhiều chất lượng hơn, 93.6%, nhưng chỉ nén xuống còn 61.9%; như vậy, bạn đang trả mức giá frontier để tiết kiệm mức giá frontier.

Hãy đọc cột quality một cách chính xác. Quality retained là tỷ lệ solve của compressor chia cho tỷ lệ solve của baseline chưa nén. Giữ lại 86.5% nghĩa là số lần solve giảm ròng 13.5% so với baseline đó; chỉ số này không tính phần các bài toán đã solve trong baseline nhưng bị mất, vì các lần chạy đã nén cũng có thể solve những bài toán khác. Số liệu này đo khả năng hiểu trong một lần đối với source thô đã nén, khi recall bị tắt và production edit recovery được bật; nó không đo CPU tool-schema filter hoặc gateway nhiều lượt hoàn chỉnh.

Biểu đồReported input-token saving as a session grows (project's own harness)
Dữ liệu đằng sau biểu đồ này
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

Mức tiết kiệm end-to-end tăng theo thời gian chạy session, vì history tích lũy và history chính là phần được nén. Dự án báo cáo mức tiết kiệm khoảng 25% ở một lượt, 39% ở lượt 5 và 63% ở lượt 20. Chỉ các lượt từ 1 đến 5 được đo; README ghi các dòng sau là projection. README cũng nêu rõ mức tăng dừng ở đâu: với ngân sách 200,000 token, mức tiết kiệm nội dung mỗi lượt đi ngang ở khoảng 48,000 token, vào khoảng lượt 8 đến 12, vì khi context đã đầy thì history không tiếp tục tăng. Phần tiết kiệm riêng từ tool-filter cộng thêm khoảng 21,000 token mỗi lượt, đưa plateau kết hợp theo projection lên khoảng 69,000 token mỗi lượt. Con số thường được trích dẫn là "trên 85%" mô tả các session đã bão hòa context. Đây là trường hợp tốt nhất; cùng README đó nói mức tiết kiệm tiến tới trần khoảng 72% với các setting mặc định, vì vậy đừng lập kế hoạch dựa trên con số này.

GPU 24GB có giúp Paritok tự hoàn vốn không?

GPU là tùy chọn, và model này chạy được trên card nhỏ hơn 24 GB. Để minh họa cách tính chi phí thuê, giả sử card 24 GB có giá $0.44 mỗi giờ. Nếu chạy cả tháng, tức 730 giờ, chi phí là $321. Nếu chỉ chạy trong giờ làm việc, 8 giờ mỗi ngày trong 22 ngày, tổng thời gian là 176 giờ, tương đương $77.

Bây giờ hãy quy đổi mức giảm token thành mức giảm chi phí. Mức giảm này chỉ áp dụng cho input token. Output token đi qua proxy mà không bị thay đổi, nên proxy không nén chúng. Tính riêng chi phí cho input mới, cache write và cache read theo bảng giá của provider, rồi so sánh tổng chi phí API trước và sau. Ngay cả khi input chiếm 80% tổng chi phí, lấy mức giảm token nhân với 0.8 cũng không đủ để xác định số tiền tiết kiệm được.

Biểu đồMonthly API saving needed to cover an illustrative $0.44/hour card
Dữ liệu đằng sau biểu đồ này
[
  {
    "label": "Always on (730 hours)",
    "required_api_saving_usd": 321.2
  },
  {
    "label": "Workday only (176 hours)",
    "required_api_saving_usd": 77.44
  }
]

Card chạy liên tục sẽ tự hoàn vốn khi khoản tiết kiệm API hằng tháng đo được vượt quá $321.2, hoặc $77.44 nếu bạn dừng instance ngoài giờ làm việc. Chỉ riêng mức giảm 85% token không đủ để kết luận hóa đơn giảm 68%, nên cũng không thể dùng nó để xác định ngưỡng chi phí agent hằng tháng. Lấy chi phí thuê chia cho tỷ lệ tiết kiệm trên hóa đơn đã đo được để tính ngưỡng đó.

Có hai yếu tố khiến phương án này tốt hơn so với biểu đồ. Model không cần 24 GB: bản build q4 khoảng 2.5 GB và bản build f16 khoảng 8 GB. Vì vậy, dùng card nhỏ hơn hoặc một GPU box vốn đã chạy cho tác vụ khác sẽ giảm tất cả các con số trong biểu đồ. Ngoài ra, dừng instance khi không có ai lập trình là đòn bẩy lớn nhất ở đây, vì việc này giảm chi phí thuê khoảng ba phần tư.

Có một yếu tố khiến phương án này kém hơn. Bước nén thực sự tiêu tốn tài nguyên. Mỗi token mà model 4B nén là một token nó phải đọc, và mỗi đoạn được giữ lại là một đoạn nó phải ghi ra, làm tăng latency trong mỗi lượt agent. Với card thuê theo giờ, chi phí này xuất hiện dưới dạng thời gian chờ chứ không phải một dòng trên hóa đơn, nên bạn dễ bỏ qua cho đến khi trực tiếp cảm nhận được.

Nếu bạn đang so sánh số giờ thuê GPU với token API nói chung, phần tính điểm hòa vốn giữa GPU VPS và token API cũng áp dụng cách tính tương tự cho chính quá trình inference.

Chạy gateway Paritok trên VPS

Metadata của package trên PyPI chấp nhận Python 3.10 trở lên, dù badge trong README ghi 3.11+. Ubuntu 24.04 có sẵn Python 3.12, nên image VPS mặc định là đủ để chạy bộ lọc công cụ CPU.

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"

Cố định version. PyPI ghi v1.3.0 phát hành ngày 5 August 2026 và v1.3.14 ngày 6 October 2026. Một project thay đổi với tốc độ đó có thể đổi tên giữa các bản phát hành: riêng v1.3.0 đã đổi tên expand_context thành read_original trong API. Dùng pip install paritok không kèm version, hoặc git clone của main, sẽ khiến bạn nhận một gateway khác vào tuần sau và không còn biết gateway nào đã tạo ra các số liệu bạn đo.

Backend mặc định là Ollama. Pull model, sau đó đặt cho model short name mà proxy tìm kiếm.

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

Model local ghi ra các span mà nó giữ lại cho từng segment được nén. Vì vậy, một lượt compression chạy quá lâu sẽ biểu hiện thành một agent turn bị treo. Giới hạn num_predict của Ollama trên độ dài output là tùy chọn giới hạn thời gian này.

Viết paritok.yaml ngay bên cạnh nó. use_gpu_server: false giúp compression chạy trên phần cứng của chính bạn.

use_gpu_server: false
local_model:
  base_url: http://localhost:11434/v1
paritok proxy --port 8080 --config-file paritok.yaml

paritok up là shortcut để pull model nếu model chưa có và khởi động proxy trên port 8080; Ollama phải được cài sẵn. Kiểm tra proxy trước khi trỏ agent vào đó.

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health trả về một JSON object nhỏ chứa "status":"ok" và một version string. /stats trả về tổng compression và ước tính riêng của proxy về phần dữ liệu đã tiết kiệm. Hãy xem ước tính đó là kết quả proxy tự đánh giá công việc của mình, rồi đối chiếu với usage page của provider.

Nếu ưu tiên throughput thay vì sự tiện lợi, vLLM sẽ serve adapter trên base model.

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --max-lora-rank 32 \
  --port 8000

Flag --max-lora-rank 32 nằm trong command riêng của project vì adapter có rank 32. Sau đó đặt local_model.base_url thành http://localhost:8000/v1 trong paritok.yaml để proxy giao tiếp với vLLM thay vì Ollama.

Ollama triển khai nhanh hơn. vLLM xử lý concurrent request tốt hơn nhiều. Điều này bắt đầu quan trọng ngay khi có hơn một agent dùng chung máy. Khác biệt thực tế giữa Ollama và vLLM sẽ giúp bạn quyết định lựa chọn này.

Trỏ agent vào proxy bằng các biến môi trường base URL.

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI bỏ qua OPENAI_BASE_URL, nên paritok up sẽ ghi ~/.codex/config.toml cho bạn khi codex.enabled: true được đặt trong paritok.yaml. Chỉ export biến này sẽ khiến Codex tiếp tục giao tiếp trực tiếp với provider. Dấu hiệu là counter /stats không bao giờ tăng trong lúc bạn làm việc.

Giữ listener trên 127.0.0.1, không bao giờ trên 0.0.0.0. Proxy chuyển tiếp credential đi kèm mỗi request lên upstream. Endpoint /stats không yêu cầu xác thực của proxy còn expose mẫu nội dung gốc và nội dung đã nén. Vì vậy, listener public trên Internet sẽ làm lộ context riêng tư và tài nguyên compression local. Hãy truy cập từ laptop qua SSH tunnel hoặc VPN thay vì mở port này.

Chạy proxy bằng systemd để proxy vẫn hoạt động sau khi reboot. Điều chỉnh các path cho phù hợp với cài đặt của bạn. Tạo user paritok để unit chạy bằng user đó, rồi cấp quyền cho user này trên install directory:

sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok
[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

Enable unit bằng sudo systemctl enable --now paritok, sau đó curl /health lần nữa. Một unit khởi động rồi thoát ngay thường có nghĩa là path đến file cấu hình bị sai. journalctl -u paritok -n 50 sẽ in ra nguyên nhân.

Tùy chọn hosted và chi phí phải trả

Project này cũng cung cấp compression dưới dạng service. Đặt use_gpu_server: true bằng API key lấy từ paritok.com để model 4B chạy trên hardware của họ. Tính đến ngày 2 November 2026, dịch vụ tính $0.30 cho mỗi triệu file token được compress, trừ vào credit trả trước; lọc tool schema là miễn phí. Account mới nhận $5 credit miễn phí và không cần thẻ. Giai đoạn ra mắt, khi hosted service còn miễn phí, đã kết thúc vào ngày 1 October 2026, nên hiện đây là dịch vụ trả phí. Cách này loại bỏ phần việc host compression model, nhưng bạn vẫn tự chạy gateway.

Điều đó cũng có nghĩa là prompt của bạn và các file agent đọc sẽ rời khỏi máy của bạn và đến một bên thứ ba trước khi đến model provider. Self-hosting tồn tại để tránh đúng chặng trung gian này. Hãy quyết định bạn muốn tối ưu yếu tố nào trong hai yếu tố trên trước khi bật flag đó, vì thay đổi flag chỉ mất một dòng nhưng hệ quả thì không.

Cách tự đo trước và sau

Các con số được công bố là số liệu của dự án, dùng harness của dự án trên SWE-bench Lite. Repository của bạn không phải SWE-bench Lite. Hãy tự đo.

  • Chạy một tuần bình thường khi không có proxy trong đường đi của request. Ghi riêng token input mới, token cache-write, token cache-read và token output từ trang usage của provider, không gộp thành một tổng dollar.
  • Tuần tiếp theo, đặt proxy phía trước và thực hiện cùng loại công việc.
  • So sánh từng nhóm input theo mức giá thực tế, đồng thời tính cả mọi thay đổi trong chi phí output. Proxy không nén output, nhưng thay đổi trong hành vi của agent và số turn vẫn ảnh hưởng đến lượng output bạn phải mua.
  • Đếm số task phải làm lại. Đây là phần chất lượng của sự đánh đổi, và không dashboard nào báo cáo chỉ số này.
  • Cộng số giờ GPU vào tuần thứ hai trước khi so sánh tổng chi phí.

Tách input khỏi output rất quan trọng vì hai loại này có mức giá chênh lệch lớn, còn compressor chỉ tác động đến một loại. Tính đến ngày 2 tháng 11 năm 2026, Claude Sonnet 4.6 có giá $3 cho mỗi triệu input token và $15 cho mỗi triệu output token; prompt-cache read có giá bằng 10% mức giá input, tức $0.30 cho mỗi triệu token. Claude Sonnet 5.5 mới hơn có giá lần lượt là $2 và $10, còn cache read có giá bằng 5% mức giá input, tức $0.10 cho mỗi triệu token. Chênh lệch chi phí giữa input token và output token quyết định input-side compressor có đáng dùng với bạn hay không. Token của Claude Code thực sự được dùng vào đâu cho biết phần nào trong context đủ lớn để đáng nén.

Prompt caching đặc biệt làm phức tạp phép tính cho tool-filter. Tool block nằm ở đầu request, nên sau turn đầu tiên, phần này thường là cache hit; với Sonnet 4.6, chi phí là 10% giá input. Việc cắt 21,000 token khỏi một block đã được cache giúp tiết kiệm 21,000 token với giá $0.30 cho mỗi triệu token, tương đương khoảng $0.006 mỗi turn, thay vì $0.063 nếu tính theo mức giá chưa cache. Dự án giữ nguyên filtered block trong suốt session để cached prefix không thay đổi. Nếu filter chọn lại tool ở mỗi turn, filter sẽ làm mất hiệu lực của prefix đó và chi phí có thể cao hơn số tiền tiết kiệm được.

Những gì vẫn chưa được xác minh

Mọi số liệu hiệu năng ở trên đều do chính dự án cung cấp. Có một bài kiểm tra nén trên synthetic corpus độc lập, nhưng bài kiểm tra này nêu rõ rằng không đánh giá khả năng hoàn thành tác vụ SWE-bench; các số liệu về chất lượng giải SWE-bench Lite của dự án vẫn chưa được xác nhận độc lập. Gateway được open source vào tháng 7 năm 2026, nên mã nguồn cũng chưa có nhiều lịch sử vận hành. Tỷ lệ nén và chỉ số chất lượng được giữ lại đều do bên hưởng lợi khi các con số này trông tốt đo lường. Điều đó không có nghĩa chúng sai. Chỉ là chúng chưa được xác nhận, và bạn nên đánh giá chúng khác với một số liệu do chính bạn tạo ra.

Có một hành vi đã được ghi nhận mà bạn nên biết trước khi cho rằng cấu hình của mình có vấn đề. Model embedding mà tool filter sử dụng được load khi nhận request đầu tiên thay vì lúc khởi động. Vì vậy, dự án ghi nhận thời gian warm-up từ 10 đến 15 giây, sau đó mỗi lần gọi mất khoảng 15 ms. Hãy gửi một request bỏ đi sau khi proxy khởi động. Khi đó, lượt agent thực tế đầu tiên sẽ không có vẻ bị treo.

Bạn có thể tự kiểm tra 4 điểm trong một buổi chiều: proxy có khởi động và duy trì hoạt động hay không, /stats có tăng lên trong lúc bạn làm việc hay không, dòng input-token của provider có thực sự giảm hay không, và agent vẫn hoàn thành công việc hay không. Những điểm này quyết định mức độ phù hợp với setup của bạn tốt hơn nhiều so với bất kỳ benchmark nào đã công bố.

Về vị trí của công cụ này bên cạnh các tooling khác: một LiteLLM gateway tự host định tuyến và đo lường request mà không thay đổi nội dung, nên hai công cụ giải quyết các vấn đề khác nhau và có thể dùng nối tiếp, trong đó Paritok nằm gần agent nhất. Nếu mục tiêu thực sự là giảm chi phí thay vì dùng chính công cụ này, các cách kiểm soát chi phí khác cho agent trên VPS bao gồm nhiều thay đổi không tốn chi phí mà bạn có thể thử trước.

FAQ

Paritok có giảm chi phí API hay chỉ giảm lượng context tôi sử dụng?

Paritok rút gọn request trước khi request đến provider. Khoản tiết kiệm phụ thuộc vào giá của các token bị loại bỏ và số turn phát sinh của agent. Mức giảm thực tế nhỏ hơn con số được nêu trong tiêu đề. Con số 74% là tỷ lệ nén trên phần nội dung được nén. Tính từ đầu đến cuối, dự án báo cáo mức tiết kiệm input-token khoảng 25% trong một turn và dự kiến đạt 63% ở turn 20. Output token được giữ nguyên, nhưng lượng output được tạo ra vẫn phụ thuộc vào hành vi của agent.

Tôi cần GPU mạnh đến mức nào để tự host model nén?

GPU là tùy chọn: Ollama cũng chạy model trên CPU. Bản q4 có kích thước khoảng 2.5 GB, còn bản f16 khoảng 8 GB, nên model dễ dàng nằm trong card 24 GB và vẫn còn rất nhiều dung lượng trống. Card nhỏ hơn vẫn dùng được và còn giúp phép tính điểm hòa vốn có lợi hơn cho bạn. Bộ lọc tool-schema hoàn toàn không cần GPU: nó dùng BAAI/bge-small-en-v1.5, một embedding model 130 MB chạy trên CPU. Cài paritok[toolselect] trên một VPS thông thường, bạn sẽ có tính năng giảm tool-block chỉ với một ít RAM.

Điều gì xảy ra nếu compressor xóa nội dung mà agent cần?

Không có gì bị mất vĩnh viễn. Model xóa các đoạn trong nội dung được chuyển tiếp, nhưng các đoạn đã nén có tag [REF:id] và model có thể khôi phục toàn bộ văn bản bằng read_original hoặc expand_context. Tool filter mặc định loại bỏ các tool chuẩn không được chọn và loại bỏ các MCP tool không được chọn, trừ khi tín hiệu mức độ liên quan MCP được kích hoạt; khi đó, nó tạo stub cho các MCP tool đó. Tính năng khôi phục tool dùng gateway_search_tools và phát hiện các message báo thiếu tool. Rủi ro thực sự khó nhận biết hơn một file bị thiếu: model làm việc từ một trích đoạn bị mất thông tin và không nhận ra rằng nó cần yêu cầu bản gốc. Con số giữ lại 86.5% chất lượng trên SWE-bench Lite đo khả năng hiểu trong một lần đối với source thô đã nén, khi tắt recall và bật cơ chế khôi phục chỉnh sửa trong môi trường production; con số này không đo bộ lọc CPU tool-schema hoặc gateway đầy đủ với nhiều turn.

Vì sao request đầu tiên của tôi mất mười lăm giây?

Embedding model phía sau tool filter được load ở request đầu tiên thay vì lúc khởi động. Dự án ghi nhận thời gian warm-up từ 10 đến 15 giây, sau đó mỗi lần gọi mất khoảng 15 ms. Gửi một request bỏ đi bằng curl sau khi khởi động proxy để turn đầu tiên của agent không bị chậm.

Tôi có nên dùng GPU server được host sẵn thay vì tự host không?

Cách này loại bỏ việc host compression model và chi phí thuê GPU, trong khi bạn vẫn phải duy trì gateway. Tính đến ngày 2 tháng 11 năm 2026, chi phí là $0.30 cho mỗi triệu file token được nén, thanh toán bằng prepaid credit, với $5 credit miễn phí cho tài khoản mới; giai đoạn ra mắt miễn phí đã kết thúc vào ngày 1 tháng 10 năm 2026. Dịch vụ cũng gửi prompt của bạn và các file mà agent đọc đến bên thứ ba trước khi chúng đến model provider. Nếu bạn tự host để giữ code trên hạ tầng do bạn kiểm soát, lựa chọn này đi ngược lại lý do bạn bắt đầu. Tự host giữ quá trình nén trên máy của bạn; các request đã nén và credential của provider vẫn được gửi lên model provider.

Bài viết này có hữu ích không?