SSD Nodes Learn Hosting plans →
가이드 Matt Connor작성자 Matt Connor

Paritok 토큰 게이트웨이, 에이전트 비용 절감될까?

Paritok은 파일 읽기와 도구 출력을 압축해 전송 토큰을 줄입니다. 프로젝트가 주장하는 74% 절감의 작동 방식과 실제 손익분기점을 계산해 봅니다.

요청에 Paritok이 수행하는 작업

Paritok은 토큰 게이트웨이다. 코딩 에이전트와 모델 API 사이에 위치하는 프록시로, 각 요청을 압축한 뒤 전달한다. 에이전트는 제공업체 대신 http://127.0.0.1:8080와 통신한다. 프록시는 도구 스키마, 파일 읽기 내용, 도구 출력, 이전 대화 내용을 줄인다. 그런 다음 더 작은 페이로드를 upstream으로 전송하고 응답은 변경하지 않은 채 반환한다.

제공업체는 제공업체에 도착한 내용을 기준으로 과금한다. 그러나 청구 금액은 어떤 토큰이 제거되었는지, 해당 토큰의 캐시 요금이 얼마인지, 에이전트가 몇 번의 대화를 수행하는지에 따라 달라진다. 이것이 핵심 개념이다. 이는 “컨텍스트가 더 오래 유지된다”는 주장과는 다르다. 이 차이 때문에 이 도구는 단순히 내용을 정리하는 도구가 아니라 흥미로운 도구가 된다.

이 프로젝트는 아직 초기 단계다. 게이트웨이는 15 July 2026에 오픈 소스로 공개되었다. PyPI에는 v1.3.14가 6 October 2026, v1.3.0이 5 August로 기록되어 있다. 가중치와 게이트웨이 코드는 Apache 2.0 라이선스를 따른다. 압축 모델은 Qwen3-4B-Instruct-2507에 적용한 LoRA (low-rank adaptation) 어댑터다. 이 모델은 실제 코딩 에이전트 궤적에서 추출한 45,000개의 세그먼트 풀을 바탕으로 증류되었다. 이 중 40,606개가 teacher 검증을 통과해 학습 예제가 되었다.

이것은 컨텍스트 트리밍이 아니다

트리밍은 데이터를 영구적으로 삭제한다. 에이전트가 컨텍스트 한도에 가까워져 가장 오래된 턴을 버리면 3번째 턴에서 읽은 파일이 사라진다. 20번째 턴에서 그 파일이 필요해지면 파일을 다시 읽어야 하므로 해당 토큰에 다시 비용을 지불한다. 절감한 비용은 대출에 불과하다.

Paritok은 한 세그먼트를 더 짧은 형식과 태그 [REF:id]로 대체하고 전체 텍스트를 프록시에 보관한다. 모델은 read_original 또는 expand_context를 호출해 세그먼트를 복구한다. 이 방식은 실패 양상을 바꾼다. 트리머는 잊어버리는 방식으로 실패하며, 이 사실을 알려 주지 않는다. 압축기는 손실된 발췌문을 모델에 전달하는 방식으로 실패하며, 발췌문만으로 충분하지 않으면 모델이 원문을 요청할 수 있다.

필터링된 도구 스키마도 복구할 수 있다. 그러나 기본 adaptive filter는 선택되지 않은 표준 도구를 제거하고, MCP 관련성 신호가 발생하지 않으면 선택되지 않은 MCP 도구도 제거한다. 해당 신호가 발생하면 선택되지 않은 MCP 도구는 스텁으로 대체된다. gateway_search_tools은 복구를 지원하며, gateway는 누락된 도구 메시지도 감지하고 재시도하기 전에 일치하는 도구를 주입한다. 이는 필터가 도구를 영구적으로 숨기면 에이전트가 수행할 수 있는 작업이 달라지기 때문에 중요하다. 이 문제를 조용히 실패한 작업을 통해서야 알게 될 수 있다.

세 가지 레버와 무료로 제공되는 기능

첫 번째 레버는 도구-스키마 필터입니다. 모든 요청은 전체 tools 배열을 포함합니다. MCP(model context protocol) 서버가 연결되지 않은 Claude Code 턴에서 이 블록은 약 29,000 토큰을 차지하며, MCP가 연결된 경우 44,000에서 65,000 토큰으로 측정됩니다. 필터는 사용자의 요청과 각 도구 설명을 130 MB 크기의 임베딩 모델인 BAAI/bge-small-en-v1.5로 임베딩합니다. 이후 일치하는 도구는 유지하고 선택되지 않은 표준 도구는 삭제하며, 선택되지 않은 MCP 도구는 MCP 관련성 신호가 발생할 때만 스텁(stub)으로 남깁니다. 그렇지 않으면 해당 MCP 도구들도 삭제합니다. 프로젝트의 29,000 토큰 예시에서 이 블록은 약 8,000 토큰으로 줄어듭니다. 해당 임베딩 모델은 CPU에서 실행됩니다.

두 번째 레버는 콘텐츠 압축이며, 이 부분은 GPU 또는 Ollama를 통한 CPU에서 4B 모델을 사용합니다. 파일 읽기, 도구 출력 및 기록은 원래 크기의 25.7%로 축소됩니다. 모델은 내용을 다시 작성하기보다는 주로 범위를 선택하며, 추론 요약이나 도구 호출 프레임과 같은 콘텐츠에 대해서만 제한적으로 다시 작성을 허용합니다. 프로젝트 논문에 따르면 교사가 생성한 학습 말뭉치에서 식별자, 경로, 숫자의 96.0%가 입력값과 동일하게 나타나며, 학습된 모델의 SWE-bench Lite 출력값은 동일한 감사에서 96.2%를 기록했습니다. 74%라는 수치는 여기서 나옵니다. 주의 깊게 읽으십시오. 74%는 압축되는 콘텐츠에 대한 압축률이지, 청구 금액의 절감액이 아닙니다.

세 번째 레버는 기록 요약입니다. 기본적으로 컨텍스트가 설정된 윈도우의 80%를 초과하면, 긴 세션이 제한에 도달하지 않고 계속 실행될 수 있도록 최근 4개의 턴은 그대로 두고 이전 턴들을 요약합니다.

셀프 호스팅 시 GPU는 선택 사항입니다. 이것이 이 페이지에서 가장 유용한 문장입니다. pip install "paritok[toolselect]"는 일반 CPU VPS에서 토큰당 비용 없이 도구 필터를 사용할 수 있게 해줍니다. GPU를 대여하기 전에 먼저 시도해 보십시오.

프로젝트의 측정 항목 및 테스트 환경

차트SWE-bench Lite: compression rate against solve quality retained (project's published figures)
이 차트의 데이터
[
  {
    "label": "Paritok-4B-v1",
    "compressed_to_pct": 25.7,
    "quality_retained_pct": 86.5
  },
  {
    "label": "gpt-4.1-mini",
    "compressed_to_pct": 50.2,
    "quality_retained_pct": 85.6
  },
  {
    "label": "gpt-5",
    "compressed_to_pct": 61.9,
    "quality_retained_pct": 93.6
  }
]

이 수치는 프로젝트가 자체 테스트 환경에서 SWE-bench Lite를 대상으로 직접 측정한 결과입니다. Paritok-4B-v1은 콘텐츠를 원본 크기의 25.7%로 압축하며, 압축하지 않았을 때의 해결률 대비 86.5%의 성능을 유지합니다. gpt-5를 압축기로 사용하면 93.6%로 더 높은 품질을 유지할 수 있지만, 압축률은 61.9%에 그칩니다. 또한, 고성능 모델의 비용을 절감하기 위해 고성능 모델의 비용을 지불하는 셈이 됩니다.

품질 열의 수치를 객관적으로 해석해야 합니다. 유지된 품질은 압축기 사용 시의 해결률을 압축하지 않은 기준 해결률로 나눈 값입니다. 86.5%가 유지된다는 것은 기준 대비 해결 건수가 13.5% 순감소한다는 의미입니다. 이는 기준 모델이 해결했던 문제 중 손실된 비율만을 의미하지는 않습니다. 압축된 실행 환경에서도 기준 모델이 풀지 못했던 다른 문제를 해결할 수 있기 때문입니다. 이 수치는 리콜(recall) 기능을 비활성화하고 프로덕션 편집 복구 기능을 활성화한 상태에서, 압축된 원시 소스 코드를 단 한 번의 시도로 이해하는 능력을 측정합니다. CPU 도구 스키마 필터나 전체 다중 턴 게이트웨이 성능은 측정에 포함되지 않습니다.

차트Reported input-token saving as a session grows (project's own harness)
이 차트의 데이터
[
  {
    "label": "Turn 1",
    "saved_pct": 25
  },
  {
    "label": "Turn 5",
    "saved_pct": 39
  },
  {
    "label": "Turn 12",
    "saved_pct": 57
  },
  {
    "label": "Turn 20",
    "saved_pct": 63
  }
]

세션이 진행될수록 기록이 누적되고 이 기록이 압축 대상이 되므로, 엔드 투 엔드 절감 효과는 점차 커집니다. 프로젝트 보고서에 따르면 단일 턴에서는 약 25%, 5턴에서는 39%, 20턴에서는 63%의 절감 효과가 나타납니다. 실제 측정은 1턴에서 5턴까지만 수행되었으며, README는 이후 수치를 추정치로 명시합니다. 또한 절감 효과가 멈추는 지점도 언급합니다. 200,000 토큰 예산 환경에서 턴당 콘텐츠 절감량은 약 8~12턴 사이인 48,000 토큰 부근에서 평탄화됩니다. 컨텍스트가 가득 차면 기록이 더 이상 늘어나지 않기 때문입니다. 별도의 도구 필터 절감 효과는 턴당 약 21,000 토큰을 추가하며, 이를 합산한 예상 평탄화 지점은 턴당 약 69,000 토큰입니다. 널리 인용되는 "85% 이상"이라는 수치는 컨텍스트가 포화된 세션을 기준으로 합니다. 이는 최상의 시나리오일 뿐이며, 동일한 README에서도 기본 설정 하의 절감 효과는 약 72% 상한선에서 평탄화된다고 밝히고 있으므로 이를 기준으로 계획을 세워서는 안 됩니다.

Paritok에 24GB GPU를 사용하는 비용이 정당한가?

GPU는 선택 사항이며, 모델은 24 GB보다 작은 카드에도 들어간다. 예시로 대여 비용을 계산해 보자. 24 GB 카드의 시간당 비용을 $0.44로 가정한다. 한 달 내내 실행하면 730시간이므로 $321이다. 업무 시간에만 실행하면 하루 8시간씩 22일이므로 176시간이며, 비용은 $77이다.

이제 토큰 감소량을 달러 절감액으로 환산한다. 감소 효과는 입력 토큰에 적용된다. 출력 토큰은 프록시를 그대로 통과하므로 프록시가 압축하지 않는다. 신규 입력, 캐시 쓰기, 캐시 읽기를 각각 provider의 요금으로 계산한 뒤 전체 API 비용을 적용 전후로 비교한다. 입력이 전체 비용의 80%를 차지하더라도 토큰 감소량에 0.8을 곱하는 것만으로는 실제 청구액 절감분을 산출할 수 없다.

차트Monthly API saving needed to cover an illustrative $0.44/hour card
이 차트의 데이터
[
  {
    "label": "Always on (730 hours)",
    "required_api_saving_usd": 321.2
  },
  {
    "label": "Workday only (176 hours)",
    "required_api_saving_usd": 77.44
  }
]

카드를 계속 실행할 경우, 측정한 월간 API 절감액이 $321.2를 초과하면 비용을 회수한다. 업무 시간 외에 instance를 중지하면 기준은 $77.44이다. 토큰을 85% 줄였다고 해서 청구액이 68% 줄어든다는 뜻은 아니므로, 월간 agent 지출 기준을 정할 수 없다. 해당 기준을 구하려면 대여 비용을 측정한 청구액 절감 비율로 나눈다.

이 방식이 차트에서 보이는 것보다 유리한 이유가 2가지 있다. 모델에는 24 GB가 필요하지 않다. q4 빌드는 약 2.5 GB이고 f16 빌드는 약 8 GB이므로, 더 작은 카드나 이미 다른 용도로 실행 중인 GPU box를 사용하면 차트의 모든 수치가 낮아진다. 또한 아무도 코딩하지 않을 때 instance를 중지하는 것이 여기서 가장 큰 절감 수단이다. 대여 비용을 약 3/4만큼 줄이기 때문이다.

불리한 점도 1가지 있다. 압축 과정에는 실제 연산이 필요하다. 4B 모델이 압축하는 모든 토큰은 모델이 읽어야 하는 토큰이며, 유지하는 모든 span은 다시 출력해야 하는 span이다. 따라서 각 agent turn에 지연 시간이 추가된다. 시간 단위로 대여하는 카드에서는 이 비용이 청구서의 항목이 아니라 대기 시간으로 나타난다. 그래서 직접 체감하기 전까지 알아차리기 어렵다.

일반적으로 대여한 GPU 시간과 API 토큰 중 무엇을 선택할지 검토하는 경우, GPU VPS와 API 토큰의 손익분기점에서 inference 자체에 동일한 계산을 적용한다.

VPS에서 Paritok gateway 실행하기

PyPI의 패키지 메타데이터는 Python 3.10 이상을 허용하지만 README 배지는 3.11+이라고 표시한다. Ubuntu 24.04에는 Python 3.12가 포함되어 있으므로, CPU 도구 필터에는 기본 VPS 이미지로 충분하다.

sudo apt update && sudo apt install -y python3-venv curl
python3 -m venv /opt/paritok/venv
source /opt/paritok/venv/bin/activate
pip install "paritok[proxy]==1.3.14"
pip install "paritok[toolselect]==1.3.14"

버전을 고정한다. PyPI에 따르면 v1.3.0은 2026년 8월 5일, v1.3.14는 2026년 10월 6일에 등록되었으며, 이처럼 빠르게 변경되는 프로젝트는 릴리스 사이에 이름을 바꾼다. 실제로 v1.3.0은 API에서 expand_context를 read_original로 이름을 바꿨다. 버전을 지정하지 않은 pip install paritok 또는 main의 git clone를 사용하면 다음 주에 다른 gateway를 받게 되며, 측정한 수치를 어느 버전이 생성했는지 기록도 남지 않는다.

기본 백엔드는 Ollama다. 모델을 가져온 다음 proxy가 찾는 짧은 이름을 지정한다.

ollama pull paritok/paritok-4b-v1
ollama cp paritok/paritok-4b-v1 paritok-4b-v1

로컬 모델은 압축하는 각 세그먼트에 대해 유지하는 span을 출력하므로, 오래 실행되는 압축 작업은 agent turn이 멈춘 것처럼 보인다. Ollama의 출력 길이 제한인 num_predict가 이를 제한하는 설정이다.

그 옆에 paritok.yaml를 작성한다. use_gpu_server: false를 사용하면 압축이 자체 하드웨어에서 수행된다.

use_gpu_server: false
local_model:
  base_url: http://localhost:11434/v1
paritok proxy --port 8080 --config-file paritok.yaml

paritok up은 모델이 없을 때 모델을 가져오고 port 8080에서 proxy를 시작하는 단축 명령이다. Ollama는 이미 설치되어 있어야 한다. agent를 연결하기 전에 proxy를 확인한다.

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/stats

/health은 "status":"ok"과 version 문자열이 포함된 작은 JSON 객체를 반환한다. /stats는 압축 합계와 proxy 자체가 추정한 절약량을 반환한다. 이 추정치는 proxy가 자체 작업을 평가한 값으로 보고, provider의 사용량 페이지에서 확인한다.

편의성보다 처리량이 중요하다면 vLLM이 base model 위에서 adapter를 제공한다.

vllm serve Qwen/Qwen3-4B-Instruct-2507 \
  --enable-lora \
  --lora-modules paritok-4b-v1=paritok/paritok-4b-v1 \
  --max-lora-rank 32 \
  --port 8000

adapter의 rank가 32이므로 --max-lora-rank 32 flag는 프로젝트 자체 command에 포함되어 있다. 그런 다음 paritok.yaml에서 local_model.base_url을 http://localhost:8000/v1로 설정하여 proxy가 Ollama 대신 vLLM과 통신하도록 한다.

Ollama는 더 빠르게 시작할 수 있다. vLLM은 동시 요청을 훨씬 잘 처리하므로, 한 대의 장비를 여러 agent가 공유하기 시작하면 차이가 중요해진다. Ollama와 vLLM의 실제 차이가 어느 쪽을 선택할지 결정한다.

base URL 환경 변수로 agent가 proxy를 사용하도록 설정한다.

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080
export OPENAI_BASE_URL=http://127.0.0.1:8080

Codex CLI는 OPENAI_BASE_URL를 무시하므로, paritok.yaml에서 codex.enabled: true이 설정되면 paritok up가 ~/.codex/config.toml을 대신 작성한다. 이 변수만 export하면 Codex는 provider에 직접 연결되며, 작업하는 동안 전혀 증가하지 않는 /stats counter가 그 상태를 나타낸다.

listener는 127.0.0.1에만 두고, 절대로 0.0.0.0에 두지 않는다. proxy는 각 요청과 함께 제공된 credentials를 upstream으로 전달한다. 또한 인증되지 않은 /stats endpoint는 원본 콘텐츠와 압축된 콘텐츠의 샘플을 노출한다. 따라서 인터넷에 listener를 공개하면 비공개 context와 로컬 압축 리소스가 노출된다. port를 열기보다 SSH tunnel 또는 VPN을 통해 laptop에서 접근한다.

재부팅 후에도 실행되도록 systemd에서 실행한다. 설치 환경에 맞게 path를 조정한다. unit이 실행할 paritok user를 만들고 설치 directory를 부여한다.

sudo useradd --system --home-dir /opt/paritok --shell /usr/sbin/nologin paritok
sudo chown -R paritok:paritok /opt/paritok
[Unit]
Description=Paritok compression proxy
After=network-online.target

[Service]
User=paritok
WorkingDirectory=/opt/paritok
ExecStart=/opt/paritok/venv/bin/paritok proxy --port 8080 --config-file /opt/paritok/paritok.yaml
Restart=on-failure

[Install]
WantedBy=multi-user.target

sudo systemctl enable --now paritok로 활성화한 다음 다시 /health를 실행한다. 시작 직후 종료되는 unit은 대개 config file path가 잘못되었다는 뜻이며, journalctl -u paritok -n 50이 원인을 출력한다.

호스팅 옵션과 그 비용

이 프로젝트는 압축 기능을 서비스로도 제공합니다. paritok.com에서 발급한 API key로 use_gpu_server: true를 설정하면 4B model이 해당 서비스의 하드웨어에서 실행됩니다. 2026년 11월 2일 기준으로 압축하는 파일 토큰 1 million개당 $0.30를 선불 credit에서 차감하며, tool-schema filtering은 무료입니다. 새 account에는 card 없이 사용할 수 있는 $5 무료 credit이 제공됩니다. hosted service가 무료였던 출시 기간은 2026년 10월 1일에 종료되었으므로 현재는 유료 서비스입니다. 따라서 compression model hosting을 직접 운영할 필요는 없지만 gateway는 계속 직접 실행해야 합니다.

또한 agent가 읽는 prompt와 파일이 model provider에 도달하기 전에 사용자의 시스템을 떠나 third party에 전달됩니다. self-hosting은 바로 이러한 경로를 피하기 위한 방법입니다. 해당 flag를 설정하기 전에 두 가지 중 무엇을 우선할지 결정해야 합니다. flag를 바꾸는 데는 한 줄이면 충분하지만 그 결과는 간단하지 않습니다.

직접 적용 전후를 측정하는 방법

공개된 수치는 SWE-bench Lite에서 해당 프로젝트의 하네스를 사용해 측정한 프로젝트의 수치다. 사용자의 저장소는 SWE-bench Lite가 아니다. 직접 측정해야 한다.

  • 프록시를 경로에 두지 않고 평소와 같이 1주일 동안 실행한다. 공급자의 사용량 페이지에서 새 입력 토큰, 캐시 쓰기 토큰, 캐시 읽기 토큰, 출력 토큰을 각각 별도의 줄로 기록한다. 총 달러 금액 하나로 기록하지 않는다.
  • 다음 주에는 프록시를 앞에 두고 같은 유형의 작업을 수행한다.
  • 입력 토큰 범주를 실제 가격으로 비교하고 출력 비용의 변동도 포함한다. 프록시는 출력을 압축하지 않지만, 에이전트의 동작과 턴 수가 변하면 구매하는 출력 토큰의 양도 달라진다.
  • 다시 수행해야 했던 작업 수를 센다. 이것이 비용 절감의 품질 측면이며, 어떤 대시보드에서도 이를 보고하지 않는다.
  • 총액을 비교하기 전에 2주 차의 GPU 시간을 비용에 더한다.

입력과 출력을 분리해야 하는 이유는 두 항목의 가격이 크게 다르고 압축기는 둘 중 하나만 처리하기 때문이다. 2026년 11월 2일 기준으로 Claude Sonnet 4.6의 가격은 입력 토큰 1백만 개당 $3, 출력 토큰 1백만 개당 $15이며, 프롬프트 캐시 읽기는 입력 가격의 10%인 1백만 개당 $0.30이다. 최신 Claude Sonnet 5.5의 가격은 각각 $2와 $10이며, 캐시 읽기는 입력 가격의 5%인 1백만 개당 $0.10이다. 입력 토큰과 출력 토큰 비용의 차이에 따라 입력 측 압축기가 사용자에게 가치가 있는지가 결정된다. Claude Code의 토큰이 실제로 사용되는 위치에서는 압축할 가치가 있을 만큼 큰 컨텍스트가 어느 부분인지 확인할 수 있다.

특히 도구 필터의 비용 계산은 프롬프트 캐싱 때문에 복잡해진다. 도구 블록은 요청의 앞부분에 있으므로 첫 번째 턴 이후에는 일반적으로 캐시 적중이 발생하며, Sonnet 4.6에서는 입력 가격의 10%가 부과된다. 캐시된 블록에서 토큰 21,000개를 줄이면 캐시되지 않은 가격에서 예상되는 $0.063이 아니라 1턴당 $0.30/1백만 × 21,000, 즉 약 $0.006이 절약된다. 이 프로젝트는 세션 동안 필터링된 블록을 변경하지 않아 캐시된 접두부가 바뀌지 않게 한다. 턴마다 도구를 다시 선택하는 필터는 해당 접두부를 무효화할 수 있으며, 절약한 비용보다 더 큰 비용을 발생시킬 수 있다.

아직 검증되지 않은 항목

위의 모든 성능 수치는 프로젝트 자체에서 제공한 것이다. 독립적인 합성 코퍼스 압축 검사는 존재하지만, 이 검사는 SWE-bench 작업 성공 여부를 명시적으로 테스트하지 않는다. 프로젝트가 제시한 SWE-bench Lite 해결 품질 수치는 여전히 독립적으로 확인되지 않았다. 또한 2026년 7월에 gateway가 오픈 소스로 공개되었으므로, 해당 코드의 운영 이력도 거의 없다. 압축률과 품질 유지 수치는 모두 이 수치가 좋아 보일수록 이익을 얻는 주체가 측정한 것이다. 그렇다고 해서 수치가 틀렸다는 뜻은 아니다. 다만 아직 확인되지 않은 수치이므로, 직접 산출한 수치와는 다르게 취급해야 한다.

설정을 탓하기 전에 알아둘 만한 문서화된 동작이 하나 있다. tool filter가 사용하는 embedding model은 시작 시 로드되지 않고 첫 번째 요청 때 로드된다. 따라서 프로젝트 문서에는 초기화에 10 to 15초가 걸리고, 이후에는 호출당 약 15 ms가 걸린다고 나와 있다. proxy가 시작된 뒤 버리는 요청을 하나 보내면 첫 번째 실제 agent 작업이 멈춘 것처럼 보이지 않는다.

오후 한나절이면 다음 4가지를 직접 확인할 수 있다. proxy가 시작되고 계속 실행되는지, 작업하는 동안 /stats이 변하는지, provider의 input-token 항목이 실제로 줄어드는지, agent가 여전히 작업을 완료하는지 확인하면 된다. 이러한 결과가 공개된 어떤 벤치마크보다 사용자 환경에 적합한 판단 기준이 된다.

다른 도구와의 관계를 보면 다음과 같다. self-hosted LiteLLM gateway는 요청 내용을 변경하지 않고 요청을 라우팅하고 사용량을 측정하므로, 두 도구는 서로 다른 문제를 해결하며 함께 사용할 수 있다. 이 경우 Paritok은 agent에 가장 가까운 위치에 둔다. 실제 목표가 이 특정 도구가 아니라 비용 절감이라면, VPS에서 agent의 비용을 제어하는 더 폭넓은 방법에는 먼저 무료로 시도할 수 있는 변경 사항이 여러 가지 있다.

FAQ

Paritok은 API 비용을 줄여줍니까, 아니면 컨텍스트 사용량만 줄여줍니까?

제공업체에 도달하기 전에 요청 크기를 줄여주므로, 비용 절감 효과는 제거된 토큰의 가격과 에이전트의 최종 턴 수에 따라 달라집니다. 실제 절감 폭은 광고하는 수치보다 작을 수 있습니다. 74%라는 수치는 압축 대상 콘텐츠에 대한 압축률을 의미합니다. 프로젝트 보고서에 따르면 단일 턴에서는 약 25%, 20번째 턴에서는 입력 토큰 기준으로 약 63%의 절감 효과가 예상됩니다. 출력 토큰은 그대로 통과하지만, 생성되는 양은 여전히 에이전트의 동작 방식에 따라 결정됩니다.

압축 모델을 직접 호스팅하려면 어느 정도의 GPU가 필요합니까?

GPU는 선택 사항입니다. Ollama는 CPU에서도 모델을 실행할 수 있습니다. q4 빌드는 약 2.5 GB, f16 빌드는 약 8 GB이므로 24 GB 카드에서 충분히 여유 있게 실행됩니다. 더 작은 카드에서도 작동하며, 이 경우 손익분기점 계산이 더 유리해집니다. 도구 스키마 필터는 GPU가 전혀 필요하지 않습니다. 이 필터는 CPU에서 실행되는 130 MB 크기의 임베딩 모델인 BAAI/bge-small-en-v1.5를 사용합니다. 일반적인 VPS에 paritok[toolselect]를 설치하면 약간의 RAM 비용만으로 도구 블록 압축 효과를 얻을 수 있습니다.

압축기가 에이전트에게 필요한 정보를 삭제하면 어떻게 됩니까?

데이터가 영구적으로 손실되지는 않습니다. 모델은 전달되는 내용에서 범위를 삭제하지만, 압축된 세그먼트에는 [REF:id] 태그가 포함되며 모델은 read_original 또는 expand_context을 사용하여 전체 텍스트를 복구합니다. 기본 도구 필터는 선택되지 않은 표준 도구를 삭제하며, MCP 관련성 신호가 활성화되지 않은 경우 선택되지 않은 MCP 도구도 삭제합니다. 신호가 활성화되면 해당 MCP 도구를 스텁(stub)으로 처리합니다. 도구 복구는 gateway_search_tools과 누락된 도구 메시지 감지 기능을 사용합니다. 실제 위험은 파일 누락보다 더 조용하게 발생합니다. 모델이 손실이 있는 발췌본을 기반으로 작업하다가 원본을 요청해야 한다는 사실을 깨닫지 못할 수 있습니다. SWE-bench Lite에서 기록된 86.5%의 품질 유지 수치는 리콜(recall) 기능을 비활성화하고 프로덕션 편집 복구 기능을 활성화한 상태에서 압축된 원시 소스를 단일 샷으로 이해한 결과입니다. 이 수치는 CPU 도구 스키마 필터나 전체 다중 턴 게이트웨이의 성능을 측정한 것이 아닙니다.

첫 번째 요청에 왜 15초나 걸립니까?

도구 필터 뒤에 있는 임베딩 모델이 시작 시점이 아닌 첫 번째 요청 시점에 로드되기 때문입니다. 프로젝트 문서에 따르면 10에서 15초의 예열 시간이 필요하며, 그 이후에는 호출당 약 15 ms가 소요됩니다. 프록시를 시작한 후 curl를 사용하여 의미 없는 요청을 한 번 보내두면, 첫 번째 실제 에이전트 턴에서 지연이 발생하지 않습니다.

직접 호스팅하는 대신 호스팅된 GPU 서버를 사용해야 합니까?

호스팅된 서버를 사용하면 압축 모델 호스팅과 GPU 임대 비용이 사라지지만, 게이트웨이는 직접 유지 관리해야 합니다. 2026년 11월 2일 기준으로 압축된 파일 토큰 100만 개당 $0.30의 비용이 선불 크레딧에서 차감되며, 신규 계정에는 $5의 무료 크레딧이 제공됩니다. 무료 출시 기간은 2026년 10월 1일에 종료되었습니다. 또한 이 방식을 사용하면 프롬프트와 에이전트가 읽는 파일이 모델 제공업체에 도달하기 전에 제3자에게 전송됩니다. 코드를 직접 제어하는 인프라에 유지하기 위해 직접 호스팅을 선택했다면, 이 설정은 해당 목적에 부합하지 않습니다. 직접 호스팅을 하면 압축 작업이 자신의 서버 내에서 이루어집니다. 압축된 요청과 제공업체 자격 증명은 여전히 모델 제공업체로 전달됩니다.

이 글이 도움이 되었나요?