SSD Nodes Learn Hosting plans →
Посібники Matt ConnorВід Matt Connor · Оновлено 2026-10-30

Input vs Output Tokens: чому Claude дорожчий на виході

Output tokens у Claude коштують у 5 разів дорожче за input. Пояснюємо різницю між prefill і decoding та вплив на щомісячні витрати агента.

Чому вихідні токени коштують дорожче за вхідні

Вихідні токени коштують у п’ять разів дорожче за вхідні токени в кожній моделі Claude з поточного каталогу. Причина полягає в характері обчислень. Читання prompt — це один прохід через модель. Формування відповіді — окремий прохід для кожного токена, причому кожен прохід має дочекатися завершення попереднього.

Це співвідношення однакове в кожному рядку прайс-листа, тому вибір моделі не змінює частку вихідних токенів у рахунку. Її визначає структура робочого навантаження. Agent step, який читає 60,000 токенів і відповідає 800 токенами, майже не витрачає кошти на вихідні токени. Job для підготовки чернетки, який читає 2,000 токенів і генерує 12,000, майже не витрачає кошти на вхідні токени. Нижче обидва випадки розглянуто за опублікованими Anthropic тарифами, перевіреними 27 October 2026.

Prefill виконується один раз, а decoding — один раз для кожного токена

Inference server обробляє запит у двох фазах із дуже різною вартістю. Prefill зчитує prompt. Decoding формує відповідь.

Prefill обробляє весь prompt одразу. Усі токени prompt проходять через network в одному forward pass, тому операції attention і feed-forward перетворюються на невелику кількість великих matrix multiplication, які одночасно охоплюють тисячі токенів. Одне зчитування model weights із пам’яті обслуговує весь prompt. Matrix units accelerator залишаються завантаженими, тому prefill зазвичай обмежений обчисленнями: межу визначає швидкість множення матриць чипом. У документації NVIDIA для serving зазначено винятки: дуже короткі prefill і prefill, у яких довгий prefix уже є cache hit, натомість обмежені пропускною здатністю пам’яті.

Звичайний decoding не може працювати так, оскільки token 2 залежить від token 1. Токен, який щойно згенерувала модель, стає частиною input для наступного кроку, тому кроки виконуються послідовно. Для кожного output token виконується окремий forward pass. Кожен такий pass зчитує весь набір model weights, а також KV cache (key/value cache — збережений стан attention для всіх токенів, згенерованих до цього моменту), із high-bandwidth memory, щоб згенерувати один токен. Через це decoding зазвичай обмежений пропускною здатністю пам’яті: межу визначає швидкість переміщення weights і cached state, а не швидкість їх множення. Для довгих context NVIDIA окремо визначає зчитування KV cache як вузьке місце. Той самий обсяг передавання weights, який під час prefill обробив увесь prompt, під час decoding дає лише один токен.

Speculative decoding змінює це правило, не порушуючи його. Невелика draft model прогнозує кілька наступних токенів, а велика model перевіряє їх паралельно в одному pass. За словами NVIDIA, це може змістити decoding у бік обмеження обчисленнями. Велика model усе одно приймає прогнози по порядку й зупиняється на першому неправильному токені, тому довга відповідь і далі потребує багатьох pass.

Serving systems компенсують це за допомогою batching. Багато запитів виконують decoding одночасно, тому одне зчитування weights генерує по одному токену для кожного запиту в batch. Саме тому decoding узагалі має прийнятну вартість. Але обмеження знову визначає пам’ять. Кожен активний запит утримує власний KV cache. Цей cache збільшується з кожним згенерованим токеном. Коли він заповнює accelerator, batch більше не може збільшуватися.

Усе це не дає точного числа, тому не слід сприймати 5x як виміряне співвідношення для hardware. Це оцінка вартості, встановлена Anthropic з урахуванням цієї асиметрії. Самостійно можна перевірити напрямок різниці, і це займає приблизно хвилину.

Самостійно виміряйте затримку між входом і виходом

Встановіть інструменти на будь-якому Ubuntu-сервері:

sudo apt update && sudo apt install -y curl jq moreutils

Тепер передайте короткий prompt, який запитує довгу відповідь, і додайте до кожного рядка час його отримання.

curl -sN https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{"model":"claude-sonnet-5","max_tokens":1000,"stream":true,
       "messages":[{"role":"user","content":"Count from 1 to 300, one number per line."}]}' \
  | ts -s '%.s'

ts -s додає до кожного рядка кількість секунд, що минула від запуску команди. У цьому виводі варто звернути увагу на дві речі. Перший рядок content_block_delta показує час до отримання першого токена; увесь prefill відбувся в цей період. Кожен наступний рядок відповідає одному невеликому кроку декодування, а часові позначки зростають, доки не з’явиться message_stop.

Тепер змініть співвідношення. Додайте в prompt великий документ і обмежте відповідь кількома токенами.

curl -sN https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d "$(jq -n --rawfile doc ./long-document.txt \
       '{model:"claude-sonnet-5", max_tokens:16, stream:true,
         messages:[{role:"user", content:("Answer in one word. Is this document about networking?\n\n" + $doc)}]}')" \
  | ts -s '%.s'

Перша дельта триваліша, ніж у випадку з коротким prompt, оскільки prefill має обробити значно більше тексту. Після її отримання відповідь завершується майже одразу, оскільки декодувати потрібно лише кілька токенів. Десятки тисяч токенів надходять на вхід, а час майже не змінюється. Кілька сотень токенів надходять на вихід, і годинник працює протягом усього процесу.

Кожна відповідь без streaming завершується числами, на основі яких розраховується вартість.

{
  "usage": {
    "input_tokens": 41283,
    "output_tokens": 6,
    "cache_creation_input_tokens": 0,
    "cache_read_input_tokens": 0
  }
}

Записуйте всі чотири поля для кожного запиту. output_tokens включає токени міркування, тому модель, яка міркує перед відповіддю, тарифікує ці токени за ставкою для вихідних даних. Щоб розрахувати вартість prompt до його надсилання, POST /v1/messages/count_tokens для більшості запитів приймає те саме тіло запиту, повертає {"input_tokens": N} як оцінку без запуску моделі та не стягує плату в межах власного ліміту запитів. Він відхиляє кілька типів тіл, які приймає Messages API: більшість server tools, зокрема web search і MCP connector, а також блоки зображень або документів із джерелом url чи file, тому під час підрахунку передавайте зображення та PDF у форматі base64. Це не єдина частина API, за яку не стягується плата; перед плануванням першого проєкту варто перевірити, за які частини Claude API з вас ніколи не стягують плату.

Скільки Claude стягує за мільйон токенів станом на жовтень 2026 року

ГрафікClaude API list rates, US dollars per million tokens, October 2026
Дані, на яких побудовано графік
[
  {
    "label": "Haiku 4.5",
    "input_usd": 1,
    "output_usd": 5,
    "output_multiple": 5
  },
  {
    "label": "Sonnet 5",
    "input_usd": 2,
    "output_usd": 10,
    "output_multiple": 5
  },
  {
    "label": "Opus 5",
    "input_usd": 5,
    "output_usd": 25,
    "output_multiple": 5
  },
  {
    "label": "Fable 5",
    "input_usd": 10,
    "output_usd": 50,
    "output_multiple": 5
  }
]

Останній стовпець — це результат, поділений на вхідні дані, і в кожному рядку він дорівнює 5. Haiku 4.5 стягує $1 за вхідні та $5 за вихідні дані. Opus 5 стягує $5 і $25. Fable 5, найдорожча модель, стягує $10 і $50, а що дають вам ці тарифи Fable 5 варто прочитати, перш ніж відкидати найвищий рядок. Перехід угору в цьому діапазоні множить обидві частини на однаковий коефіцієнт, тому змінюється загальна сума, але співвідношення вхідних і вихідних даних залишається незмінним.

Sonnet 5 стягує $2 за вхідні та $10 за вихідні дані. Anthropic запустила її за цим тарифом як вступну ціну до 31 August 2026, а з 1 September планувала підвищити її до $3 і $15, але натомість встановила стандартну ціну $2 і $10. Підвищення так і не набуло чинності, тому в усіх наведених нижче прикладах використовується тариф, який ви сплачуєте сьогодні.

Відтоді, як цю сторінку було вперше опубліковано, Anthropic також випустила новіші моделі, а claude.com/pricing тепер указує чотири наведені вище моделі як legacy models, які залишаються доступними. Нові моделі зберігають те саме співвідношення 5x. Opus 5.5 стягує $4 і $20, Sonnet 5.5 — $2 і $10, Fable 5.1 — $10 і $50, а Haiku 5.5 — $0.10 і $0.50 для запитів обсягом до 100,000 токенів та $0.50 і $2.50 для більших запитів. Вартість кроку агента на 60,000 токенів, яку розраховано нижче, відповідає нижчому тарифу, але агент із постійно зростаючою історією зрештою перевищить цей поріг, а як два тарифні рівні Haiku 5.5 працюють у реальних завданнях показує, як це підвищення впливає на рахунок. Базові тарифи Opus 5.5 на вхідні та вихідні дані на 20% нижчі, ніж у Opus 5, тому кожна наведена нижче цифра для uncached Opus 5 на Opus 5.5 буде на 20% нижчою. Для кешованих даних цифри зменшуються ще більше, оскільки Opus 5.5 обробляє cache hits за $0.20 за мільйон токенів проти $0.50 у Opus 5, тобто зі зниженням на 60%. Кешований крок агента, який нижче коштує $0.0725 для Opus 5, у Opus 5.5 коштує приблизно $0.047, тобто приблизно на 35% менше.

Тарифи змінюються, і перевіряти їх слід не на цій сторінці. claude.com/pricing — це першоджерело актуальних даних. Метод розрахунку зберігає чинність навіть після зміни ціни.

Є одне застереження, наведене в примітках під таблицею тарифів Anthropic, а не в самих тарифах. На сторінці з цінами Anthropic зазначено, що Claude 4.7 і новіші моделі використовують новіший токенізатор, який створює приблизно на 30% більше токенів для того самого тексту, ніж токенізатор у Sonnet 4.6 і старіших моделях. Порівняння двох моделей лише за ціною за мільйон токенів буде вигіднішим для новішої моделі, оскільки той самий документ у ній перетворюється на більшу кількість токенів. Порівнюйте вартість завершеного завдання та рахуйте фактичні запити для моделі, яку плануєте використовувати. Та сама проблема виникає під час порівняння провайдерів, оскільки їхні токенізатори також відрізняються, тому розрахунок вартості реального завдання для Claude і ChatGPT дає більше інформації, ніж просте зіставлення двох тарифних карток. яку практичну цінність мають мільйон токенів Claude пояснює, який обсяг тексту це становить на практиці.

Коли output починає переважати у ваших витратах?

Якщо output коштує в 5 разів дорожче за input, точку беззбитковості легко запам’ятати. Позначимо кількість input-токенів як I, а кількість output-токенів — як O. Вартість input дорівнює I. Вартість output дорівнює 5 помножити на O. Output перевищує половину витрат, коли 5 помножити на O більше за I. Це відповідає співвідношенню 5 input-токенів до 1 output-токена.

Отже, якщо ваш prompt більш ніж у п’ять разів довший за відповідь, input становить більшу статтю витрат. Якщо співвідношення менше, більшу частину витрат становить output.

ГрафікShare of spend by input to output token ratio, at 5x output pricing
Дані, на яких побудовано графік
[
  {
    "label": "100:1",
    "input_share_pct": 95.2,
    "output_share_pct": 4.8
  },
  {
    "label": "75:1",
    "input_share_pct": 93.75,
    "output_share_pct": 6.25
  },
  {
    "label": "20:1",
    "input_share_pct": 80,
    "output_share_pct": 20
  },
  {
    "label": "10:1",
    "input_share_pct": 66.7,
    "output_share_pct": 33.3
  },
  {
    "label": "5:1",
    "input_share_pct": 50,
    "output_share_pct": 50
  },
  {
    "label": "1:1",
    "input_share_pct": 16.7,
    "output_share_pct": 83.3
  },
  {
    "label": "1:6",
    "input_share_pct": 3.2,
    "output_share_pct": 96.8
  }
]

За співвідношення 100 до 1 на output припадає 4.8% витрат, тому скорочення prompt — єдина оптимізація, яка має сенс. За співвідношення 5 до 1 обидві частини витрат однакові. За співвідношення 1 до 6 на output припадає 96.8%, а витрати на prompt можна вважати похибкою округлення. Більшість людей неправильно оцінює власне співвідношення, тому спочатку визначте його за журналами, а вже потім щось оптимізуйте.

Агентне навантаження: довгий контекст на вході, коротка відповідь на виході

Розгляньмо один крок retrieval agent: 60,000 вхідних токенів із отриманих документів та історії розмови й відповідь на 800 токенів. Це співвідношення 75 до 1, що є нормальним для будь-якої системи, яка спочатку читає, а потім записує.

ГрафікOne agent step, 60,000 input and 800 output tokens, US dollars per call
Дані, на яких побудовано графік
[
  {
    "label": "Haiku 4.5",
    "input_cost": 0.06,
    "output_cost": 0.004,
    "total_cost": 0.064
  },
  {
    "label": "Sonnet 5",
    "input_cost": 0.12,
    "output_cost": 0.008,
    "total_cost": 0.128
  },
  {
    "label": "Opus 5",
    "input_cost": 0.3,
    "output_cost": 0.02,
    "total_cost": 0.32
  },
  {
    "label": "Fable 5",
    "input_cost": 0.6,
    "output_cost": 0.04,
    "total_cost": 0.64
  }
]

Вихідні токени становлять 6.25% вартості цього виклику для кожної моделі, оскільки співвідношення фіксоване для всього прайс-листа. Виклик коштує $0.32 для Opus 5, $0.128 для Sonnet 5 і $0.064 для Haiku 4.5. Двісті таких кроків на день для Opus 5 коштують $64 на день.

Після того як ви побачите цей розподіл, спосіб оптимізації очевидний. Скорочення відповіді з 800 до 400 токенів заощаджує приблизно 3% вартості виклику. Видалення 20,000 токенів застарілого контексту з prompt заощаджує приблизно третину вартості. Обмеження довжини вихідних даних у read-heavy agent майже не дає результату. У матеріалі куди насправді витрачаються токени coding agent описано, що саме заповнює цей prompt.

Генераційне навантаження: короткий промпт, довгий чернетковий текст

Тепер змінимо співвідношення. Бриф на 2,000 токенів, чернетка на 12,000 токенів, співвідношення 1 до 6.

ГрафікOne draft, 2,000 input and 12,000 output tokens, US dollars per draft
Дані, на яких побудовано графік
[
  {
    "label": "Haiku 4.5",
    "input_cost": 0.002,
    "output_cost": 0.06,
    "total_cost": 0.062,
    "batch_total_cost": 0.031
  },
  {
    "label": "Sonnet 5",
    "input_cost": 0.004,
    "output_cost": 0.12,
    "total_cost": 0.124,
    "batch_total_cost": 0.062
  },
  {
    "label": "Opus 5",
    "input_cost": 0.01,
    "output_cost": 0.3,
    "total_cost": 0.31,
    "batch_total_cost": 0.155
  },
  {
    "label": "Fable 5",
    "input_cost": 0.02,
    "output_cost": 0.6,
    "total_cost": 0.62,
    "batch_total_cost": 0.31
  }
]

Вивід становить 96.8% цього рахунку. Opus 5 коштує $0.31 за чернетку проти $0.062 у Haiku 4.5. Ця п’ятикратна різниця майже повністю припадає на вивід. Саме тут дешевша модель дає найбільшу економію.

В останньому стовпці наведено ту саму операцію через Batch API, який зменшує вартість вхідних і вихідних токенів на 50%. Вартість Opus 5 знижується до $0.155 за чернетку. Batch працює асинхронно, а не повертає результат одразу. За даними Anthropic, більшість пакетів обробляється менш ніж за годину. Але пакет, який усе ще обробляється через 24 години, завершується зі статусом expired. Будь-який запит, до якого система не дійшла до цього моменту, також повертається зі статусом expired, без оплати та без повідомлення. Тому Batch підходить для нічної генерації звітів і масової класифікації, якщо передбачити повторне надсилання запитів, термін дії яких завершився. Він не підходить для операцій, результату яких людина чекає в реальному часі.

Маршрутизація між моделями тут дає перевагу, якої немає на етапі роботи агента. Якщо об’ємна частина операції є механічною — наприклад, повторне форматування тексту або розгортання вже затвердженого плану — дешева модель генерує ці токени за п’яту частину вартості. вибір між Opus, Sonnet і Haiku пояснює, де фактично проходить межа якості.

Кешування здешевлює лише вхідні дані

Кешування prompt зберігає його префікс на сервері та стягує частину вартості вхідних даних за повторне читання. Станом на 27 October 2026 множники такі: 1.25x базової вартості вхідних даних для запису кешу на 5 хвилин, 2x для запису кешу на 1 годину та 0.1x для читання кешованого збігу на моделях із цінами, наведеними на цій сторінці. Новіші моделі читають кешовані збіги дешевше: 0.05x для Opus 5.5 і Sonnet 5.5 та 0.025x для Fable 5.1.

Вихідні дані до цієї пропозиції не входять. Кешованих вихідних даних немає. Кожен токен, який генерує модель, щоразу оплачується за повною ставкою для вихідних даних, незалежно від того, яка частина prompt надійшла з кешу.

Розглянемо той самий крок агента на Opus 5, де 55,000 із 60,000 вхідних токенів надійшли з прогрітого кешу.

ГрафікThe same Opus 5 agent step, with and without a warm 55,000 token cache, US dollars
Дані, на яких побудовано графік
[
  {
    "label": "No cache",
    "input_cost": 0.3,
    "output_cost": 0.02,
    "total_cost": 0.32
  },
  {
    "label": "55k prefix cache read",
    "input_cost": 0.0525,
    "output_cost": 0.02,
    "total_cost": 0.0725
  }
]

Вартість виклику зменшується з $0.32 до $0.0725. Рядок для вихідних даних не змінюється: $0.02 до та $0.02 після. Кешування зменшує рахунок і змінює його структуру. Вихідні дані становили 6.25% вартості цього виклику. Тепер це більше чверті вартості, тому змінюється чинник, який найвигідніше оптимізувати далі.

Перший виклик оплачує запис у кеш. Запис кешу на 5 хвилин коштує 1.25x базової вартості вхідних даних, тому окупається після одного звернення до кешу. Запис на 1 годину коштує 2x, тому для окупності потрібні два звернення. множники вартості запису та читання і момент, після якого кешування перестає окупатися пояснює цю арифметику.

Чотири важелі, якими ви керуєте

  1. Встановлюйте max_tokens на рівні довжини виводу p95, а не на максимальному значенні моделі.
  2. Передавайте розлогі кроки дешевшій моделі.
  3. Обробляйте в пакетному режимі все, чого ніхто не очікує в реальному часі.
  4. Видаляйте інструкції, які збільшують обсяг відповідей.

max_tokens — це жорстка верхня межа. Саме по собі високе значення нічого не коштує, оскільки оплата стягується за згенеровані токени, а не за встановлену межу. Щедрий ліміт лише усуває обмеження для відповіді, яка пішла не за планом. Витягніть розподіл output_tokens зі своїх журналів, встановіть ліміт трохи вище 95-го перцентиля й обробляйте stop_reason: "max_tokens" у коді: продовжуйте відповідь або повторюйте запит. Виявлене обрізання відповіді коштує дешевше, ніж розлога відповідь на 4,000 токенів, за яку ви заплатите, а потім відкинете. Міркування також входить у output_tokens і враховується в max_tokens, тому визначайте ліміт на основі тих самих даних. У моделях з адаптивним міркуванням зменшуйте рівень зусиль, якщо міркування постійно займає надто велику частину відповіді.

Маршрутизація працює, коли дорога частина кроку пов’язана з обсягом, а не з оцінюванням. Залишайте сильну модель для ухвалення рішення, а набір тексту передавайте дешевшій. Спочатку перевірте маршрутизовану версію на власному наборі оцінювання, оскільки важливою є вартість виконаного завдання. Для наведеного вище кроку агента дві спроби в Haiku 4.5 коштують $0.128 проти $0.32 за одну спробу в Opus 5, тому різниця в ціні покриває одну-дві повторні спроби. Але вона не компенсує неправильну відповідь, яку ніхто не виявив.

Пакетна обробка — єдиний важіль, який зменшує вартість виводу. Знижка становить 50% для обох напрямів, більшість пакетів обробляється протягом години, а будь-яке завдання за розкладом відповідає умовам, якщо воно повторно надсилає все, що завершується після 24 годин.

Останній важіль часто пропускають. Фрази на кшталт "будьте ґрунтовними" і "поясніть свої міркування" збільшують довжину виводу в кожному запиті, який ви коли-небудь надсилатимете. Замініть їх на потрібний формат: "Відповідайте не більш як трьома реченнями" або "Поверніть лише JSON-об’єкт без вступу". Системний prompt, який додає 300 токенів до кожної відповіді, коштує в п’ять разів дорожче, ніж ті самі 300 токенів у prompt. контроль витрат агента, який працює безперервно описує аспект моніторингу, а питання що дешевше для вашого сценарію: API чи фіксована підписка варто вирішити до того, як ви витратите тиждень на оптимізацію витрат за токен, які підписка могла б покрити. Для одного розробника це здебільшого зводиться до того, чи покривають $20 на місяць за Claude Pro і встановлені ним ліміти використання роботу, за яку інакше довелося б платити за лічильником. Якщо ви вже досягаєте цих лімітів у середині сеансу, спочатку варто визначити, на яке вікно ви очікуєте, оскільки далі рішенням може бути менша модель, легший контекст, додаткові кредити використання або перенесення цієї роботи в API з оплатою за використання. Якщо API з оплатою за використання виявиться дешевшим варіантом для цієї роботи, перехід на дешевший план або скасування підписки не вплине на вже оплачений місяць, тому такий перехід нічого вам не коштує. Якщо план, який ви порівнюєте з Pro, належить не API з оплатою за використання, а ChatGPT, два рівні підписок із цінами, наведеними поруч показують, який із них дешевший для роботи з кодом. Якщо це питання виникло для команди, а не для одного розробника, врахуйте, що Claude Enterprise поєднує плату за кожне робоче місце з оплатою токенів за тими самими тарифами API, тому кожен важіль на цій сторінці все одно застосовується до частини рахунку, що оплачується за використання.

FAQ

Чому вихідні токени коштують дорожче за вхідні?

Їх генерування потребує значно більше часу accelerator на кожен токен. Prompt обробляється за один forward pass для всього вмісту, тому одного зчитування ваг моделі достатньо для тисяч токенів, а продуктивність обладнання зазвичай обмежена швидкістю виконання операцій множення. Під час звичайного decoding відповідь генерується по одному токену за раз. Для кожного токена потрібен окремий forward pass, який знову зчитує ваги моделі та KV cache, що зростає. Тому продуктивність обладнання зазвичай обмежена пропускною здатністю пам’яті. Такі методи, як speculative decoding, скорочують цей розрив, але не усувають його. Anthropic встановлює ціну вихідних даних у п’ять разів вищу за ціну вхідних для всього поточного каталогу — від Haiku 5.5 до Fable 5.1.

Чи робить prompt caching вихідні токени дешевшими?

Ні. Prompt caching застосовується лише до вхідних даних. Станом на 27 October 2026 зчитування cache коштує 0.1x базової ставки для вхідних даних у більшості моделей (0.05x для Opus 5.5 і Sonnet 5.5, 0.025x для Fable 5.1), а запис у cache коштує 1.25x для періоду 5 minute або 2x для періоду 1 hour. Вихідні дані оплачуються за повною ставкою під час кожного виклику, незалежно від того, як використовувався cache. Саме тому caching змінює не лише розмір рахунку, а й його структуру: коли вхідна частина різко скорочується, частка витрат на вихідні дані стає основною для оптимізації.

Чи коштує мені грошей велике значення max_tokens, якщо відповідь виявиться короткою?

Ні. Ви платите за токени, які модель фактично генерує, тому max_tokens є верхньою межею, а не резервуванням. Воно все одно має значення, оскільки це єдине жорстке обмеження для відповіді, яка може стати надто довгою. Установіть його трохи вище 95-го перцентиля спостережуваного output_tokens, а потім обробляйте stop_reason: "max_tokens" у коді, щоб не передавати користувачу непомітно обрізану відповідь.

Як визначити власне співвідношення вхідних і вихідних токенів?

Записуйте input_tokens, output_tokens, cache_read_input_tokens і cache_creation_input_tokens з об’єкта usage кожної відповіді, а потім підсумуйте їх за тиждень і обчисліть співвідношення. Якщо на 1 вихідний токен припадає понад 5 вхідних, основні витрати пов’язані з prompt. У такому разі кешуйте стабільну частину та скорочуйте решту. Якщо співвідношення нижче, основні витрати пов’язані з відповіддю. Тоді обмежуйте її довжину, а кроки, які генерують найбільшу її частину, переносіть до дешевшої моделі або Batch API.

Чи була ця стаття корисною?