Claude में 1M tokens की कीमत कितनी है?

Claude में 1M tokens की कीमत कितनी है?

1M tokens का अर्थ one million tokens है। यही वह इकाई है जिसमें Claude API (application programming interface) model की कीमतें बताई जाती हैं। इसकी कोई एक निश्चित कीमत नहीं है, क्योंकि input और output की billing दरें अलग होती हैं और प्रत्येक model की अपनी दरें होती हैं। Claude Haiku 5.5 में दो pricing pairs हैं: 100,000 tokens तक के prompts के लिए एक दर और उससे अधिक prompts के लिए अधिक दर। October 2026 तक, Claude Haiku 4.5 पर one million input tokens की कीमत $1, Claude Sonnet 5 पर $2 और Claude Opus 5 पर $5 है।

Output महंगा हिस्सा है। प्रत्येक current model पर output rate, input rate से पांच गुना है। इसलिए आपके bill पर दोनों के अनुपात का प्रभाव headline figure से अधिक होता है। जो app लंबे documents भेजकर छोटे answers लौटाता है, उसका खर्च उस app से काफी अलग होगा जो छोटे prompt से लंबे answers लिखता है।

यह page unit economics पर केंद्रित है: एक token की कीमत क्या है और build शुरू करने से पहले bill का अनुमान कैसे लगाएँ। काम करते समय tokens वास्तव में कहाँ जाते हैं, इसके लिए Claude Code session के अंदर tokens कहाँ जाते हैं पढ़ें।

1M tokens कैसे दिखते हैं

Token टेक्स्ट का वह हिस्सा है जिसे मॉडल पढ़ता या लिखता है। Anthropic की शब्दावली के अनुसार, Claude 4.7 से पहले के मॉडल्स में एक token लगभग 3.5 अंग्रेजी अक्षरों के बराबर होता है। Anthropic के मॉडल ओवरव्यू के अनुसार, उन मॉडल्स में दस लाख tokens में लगभग 750,000 शब्द समा सकते हैं, जो कि लगभग 3.5 MB सादा अंग्रेजी टेक्स्ट है। Claude Opus 4.7 के साथ पेश किए गए नए tokenizer पर, वही दस लाख tokens लगभग 555,000 शब्द, या लगभग 25 लाख अक्षर समाहित करते हैं।

सामान्य इनपुट के लिए प्रकाशित अनुमान इस पैमाने को बेहतर ढंग से समझने में मदद करते हैं।

[
  {
    "label": "Average web page (10 kB)",
    "tokens": "2,500"
  },
  {
    "label": "Documentation page (100 kB)",
    "tokens": "25,000"
  },
  {
    "label": "Research paper PDF (500 kB)",
    "tokens": "125,000"
  }
]

इन दरों पर, 1M tokens लगभग 400 औसत वेब पेज हैं जिन्हें एक बार पढ़ा गया हो, या उस आकार के आठ शोध पत्र (research papers) हैं। यह एक मध्यम आकार के codebase का एक बार का विश्लेषण है, या किसी एक व्यक्ति के लिए एक महीने का हल्का चैट उपयोग है।

इन सभी को केवल एक अनुमान मानें। कोड, JSON और अंग्रेजी के अलावा अन्य भाषाओं का टेक्स्ट एक token में कम शब्द समाहित करता है, इसलिए वे शब्द गणनाएँ सबसे आशावादी स्थिति हैं। एक और चीज गणना को बदलती है: Claude Opus 4.7 और उसके बाद के वर्ज़न, जिसमें Opus 5 और Sonnet 5 शामिल हैं, एक नए tokenizer का उपयोग करते हैं जो Sonnet 4.6 और उससे पहले की तुलना में समान टेक्स्ट के लिए लगभग 30 प्रतिशत अधिक tokens उत्पन्न करता है। Claude Haiku 4.5 पुराने tokenizer का उपयोग करता है। इसलिए, Haiku 4.5 पर मापी गई गणना Sonnet 5 पर समान इनपुट के लिए कम दिखाई देगी, जिसका अर्थ है कि उस सीमा के पार प्रति-मिलियन सीधी कीमत की तुलना करना उचित नहीं है। निर्णय लेने से पहले दोनों मॉडल्स पर एक ही prompt की गणना करें।

Claude प्रति मिलियन टोकन कितना शुल्क लेता है

[
  {
    "label": "Haiku 4.5",
    "input_usd": 1,
    "output_usd": 5
  },
  {
    "label": "Sonnet 5",
    "input_usd": 2,
    "output_usd": 10
  },
  {
    "label": "Sonnet 4.6",
    "input_usd": 3,
    "output_usd": 15
  },
  {
    "label": "Opus 5",
    "input_usd": 5,
    "output_usd": 25
  }
]

Claude Sonnet 5 की कीमत इनपुट के लिए $2 और आउटपुट के लिए $10 है। Anthropic ने पहले इस कीमत को 31 August 2026 तक एक परिचयात्मक दर के रूप में पेश किया था, फिर इसे मानक मूल्य बना दिया और $3 और $15 तक की नियोजित वृद्धि को रद्द कर दिया। Claude Opus 5 की कीमत $5 और $25 है। Fable मॉडल इस चार्ट से पूरी तरह ऊपर हैं: Claude Fable 5 और नया Claude Fable 5.1 दोनों की सूची कीमत $10 इनपुट और $50 आउटपुट है, इसलिए क्या उन दरों का भुगतान करना सार्थक है यह इस बात पर निर्भर करता है कि आप वास्तव में किन कार्यों के लिए इनका उपयोग करते हैं।

Anthropic की वर्तमान लाइनअप इस पृष्ठ पर सूचीबद्ध मॉडलों की तुलना में नई है। Claude Opus 5.5 की सूची कीमत $4 इनपुट और $20 आउटपुट है, Claude Sonnet 5.5 की $2 और $10 है, और Claude Haiku 5.5 की $0.10 और $0.50 से शुरू होती है। Opus 5, Sonnet 5, Haiku 4.5 और Fable 5 को अब लीगेसी मॉडल के रूप में सूचीबद्ध किया गया है जो अभी भी उपलब्ध हैं, इसलिए नीचे दिए गए कार्य उदाहरण अभी भी लिखे अनुसार काम करते हैं। Haiku 5.5 की लागत क्या है और यह कहाँ फिट बैठता है सबसे सस्ते नए मॉडलों को कवर करता है।

दरें बदलती रहती हैं। इस पृष्ठ पर दिए गए प्रत्येक आंकड़े को October 2026 के एक कार्य उदाहरण के रूप में मानें, और बजट को अंतिम रूप देने से पहले आधिकारिक मूल्य निर्धारण पृष्ठ पर वर्तमान संख्याओं की पुष्टि करें।

ये दरें बताती हैं कि Claude की लागत क्या है, लेकिन यह नहीं कि क्या यह आपके वर्कलोड के लिए सस्ता विकल्प है, और Claude और ChatGPT दोनों पर लागत वाले तीन कार्य दिखाता है कि प्रत्येक API कहाँ बेहतर प्रदर्शन करता है।

एक चीज जो दर को नहीं बदलती है वह है कॉन्टेक्स्ट लेंथ, केवल एक अपवाद के साथ। Claude 4.6 और बाद के मॉडलों पर, Claude Haiku 5.5 को छोड़कर, पूर्ण 1M टोकन कॉन्टेक्स्ट विंडो का बिल मानक मूल्य निर्धारण पर तैयार किया जाता है, इसलिए 900,000 टोकन अनुरोध की लागत प्रति टोकन 9,000 टोकन अनुरोध के समान ही होती है। एक लंबे प्रॉम्प्ट की लागत अधिक होती है क्योंकि इसमें अधिक टोकन होते हैं, और कोई अलग लॉन्ग-कॉन्टेक्स्ट दर लागू नहीं होती है। Claude Haiku 5.5 की कीमत प्रॉम्प्ट की लंबाई के आधार पर तय होती है: एक अनुरोध जिसका प्रॉम्प्ट 100,000 टोकन से अधिक है, उसके लिए $0.10 और $0.50 के बजाय प्रति मिलियन $0.50 इनपुट और $2.50 आउटपुट का भुगतान करना होता है, और कैश रीड और राइट्स उस सीमा में गिने जाते हैं।

कीमत बदलने के बाद भी जो गणना काम आती है

प्रत्येक बिल दो गुणा और एक जोड़ का परिणाम होता है।

cost = (input_tokens  / 1,000,000) * input_rate
     + (output_tokens / 1,000,000) * output_rate

इसे उस कोड के रूप में लिखें जिसे आप चला सकें:

INPUT_RATE = 2.00    # USD per million input tokens, Sonnet 5, October 2026
OUTPUT_RATE = 10.00  # USD per million output tokens

def cost(input_tokens, output_tokens):
    return (input_tokens * INPUT_RATE + output_tokens * OUTPUT_RATE) / 1_000_000

print(f"{cost(4300, 400):.4f}")

यह 0.0126 प्रिंट करता है। एक ऐसा अनुरोध जो 4,300 इनपुट टोकन भेजता है और 400 आउटपुट टोकन प्राप्त करता है, उसकी लागत Sonnet 5 पर लगभग 1.3 सेंट होती है। दोनों दरों को अपने कोड में एक ही स्थान पर रखें। जब कीमत बदलती है, तो आप दो पंक्तियों को संपादित करते हैं, और आपके सिस्टम का हर अनुमान उसके साथ अपडेट हो जाता है।

एक वास्तविक ऐप के लिए कार्यशील अनुमान

एक सपोर्ट असिस्टेंट का उदाहरण लें। इसका सिस्टम प्रॉम्प्ट और प्रोडक्ट डॉक्यूमेंटेशन कुल 4,000 टोकन का है, और ये हर रिक्वेस्ट के साथ भेजे जाते हैं, क्योंकि Messages API स्टेटलेस है और मॉडल को कॉल्स के बीच कुछ भी याद नहीं रहता। उपयोगकर्ता का एक प्रश्न लगभग 300 टोकन जोड़ता है। एक उत्तर लगभग 400 टोकन का होता है। इस प्रकार प्रति रिक्वेस्ट 4,300 इनपुट और 400 आउटपुट टोकन खर्च होते हैं।

एक मिलियन इनपुट टोकन में इस आकार की लगभग 232 रिक्वेस्ट पूरी हो सकती हैं। 1,000 रिक्वेस्ट प्रतिदिन के हिसाब से ऐप प्रतिदिन 4.3 मिलियन इनपुट टोकन की खपत करता है, इसलिए "1M टोकन" छह घंटे से भी कम का ट्रैफिक है।

[
  {
    "label": "Opus 5, list rates",
    "cost_per_1k_usd": "31.50"
  },
  {
    "label": "Sonnet 5, list rates",
    "cost_per_1k_usd": "12.60"
  },
  {
    "label": "Sonnet 5, Batch API",
    "cost_per_1k_usd": "6.30"
  },
  {
    "label": "Haiku 4.5, list rates",
    "cost_per_1k_usd": "6.30"
  },
  {
    "label": "Sonnet 5, warm prompt cache",
    "cost_per_1k_usd": "5.40"
  }
]

Claude Opus 5 पर उस ट्रैफिक की लागत प्रति 1,000 रिक्वेस्ट $31.50 है। Sonnet 5 पर यह $12.60 है। Claude Haiku 4.5 पर स्विच करने से यह $6.30 हो जाती है, और Sonnet 5 पर वार्म प्रॉम्प्ट कैश का उपयोग करने से यह और भी कम, $5.40 हो जाती है।

इस ट्रैफिक के एक महीने के लिए इसे 30 से गुणा करें। लिस्ट रेट पर Sonnet 5 का खर्च लगभग $378 प्रति माह है। वार्म कैश के साथ वही ऐप लगभग $162 का पड़ता है। आपके मॉडल का चुनाव और कैशिंग का निर्णय, दोनों ही इस वॉल्यूम पर आपके द्वारा नेगोशिएट की गई किसी भी दर से अधिक मूल्यवान हैं। कौन सा मॉडल चलाना है, यह अपने आप में एक अलग प्रश्न है, और जो सबसे सस्ता मॉडल आपके इवैल्यूएशन को पास करता है, वही बेहतर है: Opus, Sonnet और Haiku के बीच चयन में इसे सही ढंग से टेस्ट करने का तरीका बताया गया है।

Prompt caching दोहराए जाने वाले हिस्से की लागत घटाती है

वह 4,000 token prefix प्रत्येक request में समान है और हर बार इसकी पूरी input price देनी पड़ती है। Prompt caching processed prefix को store करती है और उसे reuse करने पर कम दर charge करती है।

इस page पर जिन सभी models की लागत दी गई है, उनमें cache read की कीमत base input rate की 0.1 गुना है। Opus 5.5 और Sonnet 5.5 में यह 0.05 गुना है, जबकि Fable 5.1 और Mythos 5.1 में 0.025 गुना है। 5 minute lifetime के लिए cache लिखने की कीमत base rate की 1.25 गुना और 1 hour lifetime के लिए 2 गुना है। इसलिए 5 minute cache एक read के बाद अपनी लागत निकाल लेता है, क्योंकि write पर 0.25 अतिरिक्त लगता है और प्रत्येक read में 0.9 की बचत होती है। 1 hour cache को break even होने के लिए दो reads चाहिए।

इसे चालू करने का सबसे सरल तरीका एक top-level field है:

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -d '{
    "model": "claude-opus-5",
    "max_tokens": 1024,
    "cache_control": {"type": "ephemeral"},
    "system": "You are a helpful assistant.",
    "messages": [
      {"role": "user", "content": "What are the key themes in Pride and Prejudice?"}
    ]
  }'

इसके बाद वापस आने वाले usage block को पढ़ें:

{
  "usage": {
    "cache_creation_input_tokens": 5120,
    "cache_read_input_tokens": 1800,
    "input_tokens": 50,
    "output_tokens": 503
  }
}

इन तीन input counters की billing तीन अलग-अलग दरों पर होती है और इनका योग आपका वास्तविक input volume है: total_input_tokens = cache_read_input_tokens + cache_creation_input_tokens + input_tokens। केवल input_tokens पढ़कर किया गया cost estimate caching चालू होने के बाद बहुत गलत होगा।

दो कारण cache को लाभकारी होने से रोकते हैं और दोनों स्थितियों में कोई error नहीं मिलता।

Prefix byte-identical होना चाहिए। Cache lookup prefix match पर आधारित है। इसलिए आपके system prompt के आरंभ में timestamp या user का नाम होने पर प्रत्येक request में prefix बदल जाता है। तब हर बार base input rate की 1.25 गुना कीमत देनी पड़ती है और cache read कभी नहीं होता। इसका संकेत यह है कि cache_creation_input_tokens ऊंचा रहता है, जबकि cache_read_input_tokens 0 रहता है। cache_control को उस अंतिम block पर रखें जिसका content सभी requests में समान रहता है और उसके बाद बदलने वाली सभी चीजें रखें। tools definitions बदलने पर उनके नीचे का पूरा cache invalid हो जाता है, क्योंकि invalidation का क्रम tools, फिर system, फिर messages के अनुसार नीचे तक चलता है।

Prefix पर्याप्त लंबा होना चाहिए। न्यूनतम cacheable length Opus 5 पर 512 tokens, Sonnet 5 पर 1,024 tokens और Haiku 4.5 पर 4,096 tokens है। इससे छोटा prompt cache नहीं होता और कोई error वापस नहीं मिलता। ऊपर दिए गए example का 4,000 token prefix Sonnet 5 पर cache होता है, लेकिन Haiku 4.5 पर नहीं, क्योंकि 4,000 उस model की minimum length से कम है। जब दोनों counters 0 हों, तो कुछ भी cache नहीं हुआ।

Batch processing दर को आधा कर देता है

Batch API अनुरोधों को इनपुट और आउटपुट दोनों पर 50 प्रतिशत की छूट के साथ asynchronously प्रोसेस करता है। ऊपर दिए गए उदाहरण में, यह $12.60 प्रति 1,000 अनुरोधों की लागत को $6.30 में बदल देता है। यह छूट prompt caching के साथ जुड़ जाती है, इसलिए bulk work चलाने के लिए cached batch job सबसे सस्ता तरीका है।

इसके बदले में आपको latency से समझौता करना पड़ता है, जो batch को किसी भी ऐसे कार्य के लिए अनुपयुक्त बनाता है जिसके लिए कोई व्यक्ति प्रतीक्षा कर रहा हो। यह overnight classification और document backfills के लिए उपयुक्त है।

एक ही conversation के भीतर chat की लागत क्यों बढ़ती है

चूंकि API कोई state नहीं रखती है, इसलिए आपका client हर turn पर पूरी conversation को फिर से भेजता है। इस कारण एक ही chat के भीतर token का उपयोग सीधी रेखा में बढ़ने के बजाय उसकी लंबाई के वर्ग (square) के अनुपात में बढ़ता है।

मान लीजिए कि हर turn औसतन 500 tokens का है। Turn 1 में 500 input tokens भेजे जाते हैं। Turn 2 में 1,000 tokens भेजे जाते हैं। Turn 20 तक यह संख्या 10,000 हो जाती है। यदि आप n(n+1)/2 के सूत्र से इसका योग निकालें, तो 20 turns की एक conversation में लगभग 105,000 input tokens भेजे जा चुके होंगे, जबकि transcript की वास्तविक लंबाई केवल 10,000 tokens ही है।

यही कारण है कि chat feature की लागत transcript से कहीं अधिक होती है, और लंबी threads पर stable prefix को cache करना या पुराने turns का सारांश (summarise) बनाना किफायती साबित होता है। Tool calls को बार-बार दोहराने वाले agent के साथ भी यही स्थिति होती है, बल्कि यह और भी गंभीर है: हर tool का परिणाम history में बना रहता है और बाद के हर turn पर फिर से भेजा जाता है। अपने द्वारा चलाए जा रहे agent पर खर्च की सख्त सीमा तय करना यहाँ सबसे महत्वपूर्ण है, क्योंकि यह वृद्धि स्वचालित रूप से होती है और इस पर किसी का ध्यान नहीं रहता।

अनुमान लगाने से पहले टोकन की गणना करें

शब्दों की गिनती के आधार पर टोकन की संख्या का अनुमान लगाना बंद करें। API आपके लिए बिना किसी शुल्क के, संदेश निर्माण से अलग एक रेट लिमिट पर इनकी गणना करता है।

curl https://api.anthropic.com/v1/messages/count_tokens \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "content-type: application/json" \
  -H "anthropic-version: 2023-06-01" \
  -d '{
    "model": "claude-opus-5",
    "system": "You are a scientist",
    "messages": [{
      "role": "user",
      "content": "Hello, Claude"
    }]
  }'

रिस्पॉन्स में एक फील्ड होता है:

{ "input_tokens": 14 }

इसे अपना वास्तविक system prompt और tool definitions दें, साथ ही एक प्रतिनिधि user message भी, और फिर संख्या को ऊपर दिए गए cost function में डालें। यह endpoint संदेश अनुरोध के समान ही body लेता है, इसलिए base64 के रूप में भेजी गई images और PDFs की गणना भी सही ढंग से होती है। यह web search और web fetch जैसे server tools को अस्वीकार कर देता है, साथ ही URL या file reference द्वारा पास की गई images या documents को भी। दो सावधानियां महत्वपूर्ण हैं। गणना एक अनुमान है और billed figure से थोड़ी भिन्न हो सकती है। इसे उस मॉडल के tokenizer के साथ मापा जाता है जिसे आप पास करते हैं, इसलिए वही मॉडल पास करें जिसे आप वास्तव में चलाएंगे।

Output tokens की गणना पहले से नहीं की जा सकती, क्योंकि वे अभी अस्तित्व में नहीं हैं। उन्हें max_tokens के साथ सीमित करें, और फिर live traffic पर usage.output_tokens से वास्तविक वितरण को मापें।

बिल में और क्या शामिल होता है

बिल का अधिकांश हिस्सा टोकन से बनता है। कुछ आइटम टोकन नहीं होते हैं, और वे लोगों को आश्चर्यचकित करते हैं।

• टूल डेफिनिशन हर रिक्वेस्ट पर इनपुट टोकन बन जाते हैं। केवल टूल यूज़ सिस्टम प्रॉम्प्ट ही Opus 5 पर आपके अपने स्कीमा से पहले 286 से 406 टोकन जोड़ देता है। दस विस्तृत टूल विवरण एक छोटे प्रॉम्प्ट को दोगुना कर सकते हैं।
• वेब सर्च पर $10 प्रति 1,000 सर्च का शुल्क लगता है, जो उन टोकन के अतिरिक्त है जो परिणाम संदर्भ (context) में प्रवेश करने पर उपभोग करते हैं।
• वेब फेच का अपना कोई शुल्क नहीं है, लेकिन फेच किया गया पेज इनपुट टोकन बन जाता है। 100 kB का डॉक्यूमेंटेशन पेज लगभग 25,000 टोकन का होता है।
• Claude 4.6 और बाद के वर्ज़न पर inference_geo के साथ केवल US-आधारित इन्फरेंस (inference) का अनुरोध करने पर हर टोकन श्रेणी पर 1.1 का मल्टीप्लायर लागू होता है, जिसमें कैश रीड और राइट भी शामिल हैं।

क्या API खरीदना सही निर्णय है, यह पूरी तरह से आपके वॉल्यूम पर निर्भर करता है। किसी प्लान पर उपयोग की सीमा (usage ceiling) तक पहुँचना ही आमतौर पर इस प्रश्न को जन्म देता है, और सीमा से बाहर निकलने के रास्ते प्रतीक्षा करने से लेकर उस कार्य को मीटर्ड API कॉल्स पर ले जाने तक हो सकते हैं। उपयोग के एक निश्चित स्तर से नीचे, फ्लैट मासिक प्लान पूरी तरह से बेहतर रहता है, और Claude सब्सक्रिप्शन के मुकाबले API वास्तविक आंकड़ों के साथ उस तुलना को प्रस्तुत करता है।

FAQ

Claude में 1M tokens की कीमत कितनी है?

यह model पर और इस बात पर निर्भर करता है कि tokens input हैं या output। October 2026 तक one million input tokens की कीमत Claude Haiku 4.5 पर $1, Claude Sonnet 5 पर $2 और Claude Opus 5 पर $5 है। नया Claude Haiku 5.5, 100,000 tokens तक के prompts के लिए $0.10 per million input tokens से शुरू होता है और उसके बाद $0.50 charge करता है। इन सभी models पर output की कीमत input rate से पांच गुना है। Rates बदल सकती हैं, इसलिए budget में कोई figure शामिल करने से पहले official pricing page पर इसकी पुष्टि करें।

क्या 1M tokens और 1M words एक ही होते हैं?

नहीं। Claude Opus 4.7 से पहले के models में Anthropic के अनुसार एक token में लगभग 3.5 English characters होते हैं और one million tokens में लगभग 750,000 words आ सकते हैं। Claude Opus 4.7 और उसके बाद के models में उपयोग होने वाला नया tokenizer one million tokens में लगभग 555,000 words रखता है, क्योंकि समान text के लिए यह tokenizer Claude Sonnet 4.6 और उससे पहले के models की तुलना में लगभग 30 percent अधिक tokens बनाता है। ये ratios केवल अनुमान के लिए हैं। Code, JSON और English के अलावा अन्य languages में प्रति word अधिक tokens लगते हैं। अलग model generations के बीच counts सीधे लागू नहीं किए जा सकते। जिस model को चलाने की योजना है, उसे पास करके free /v1/messages/count_tokens endpoint से measurement करें।

क्या prompt caching हमेशा पैसे बचाती है?

नहीं। 5 minute cache write की कीमत base input rate की 1.25 गुना है। इसलिए ऐसा prefix जिसे लिखने के बाद कभी पढ़ा नहीं जाता, उसे सामान्य रूप से भेजने की तुलना में 25 percent अधिक लागत आती है। पहली read से इसकी लागत निकल आती है। यह दो तरीकों से विफल होती है और दोनों में कोई error नहीं मिलता। यदि requests के बीच cached prefix बदल जाता है, तो lookup match नहीं करता, क्योंकि यह exact prefix match है। यदि prefix model की minimum cacheable length से छोटा है, जो Sonnet 5 पर 1,024 tokens और Haiku 4.5 पर 4,096 tokens है, तो कुछ भी cache नहीं होता और कोई error वापस नहीं मिलता। जब cache_creation_input_tokens और cache_read_input_tokens दोनों 0 हों, तो cache कोई काम नहीं कर रहा है।

मेरा bill message count से अधिक तेजी से क्यों बढ़ा?

क्योंकि प्रत्येक turn में पूरी conversation फिर से भेजी जाती है। Messages API कोई state store नहीं करता। इसलिए chat का turn 20, पहले के सभी 19 turns को फिर से input के रूप में भेजता है। यदि प्रत्येक turn में औसतन 500 tokens हों, तो 20 turn की conversation लगभग 105,000 input tokens भेजती है, जबकि transcript की लंबाई केवल 10,000 tokens होती है। Agent loops में भी यही होता है, क्योंकि प्रत्येक tool result history में बना रहता है। Stable prefix को cache करें, या पुराने turns का summary बनाकर उन्हें request से हटा दें।