SSD Nodes Learn Hosting plans →
নির্দেশিকা Matt Connorদ্বারা Matt Connor · আপডেট করা হয়েছে 2026-10-23

KV cache বনাম prompt cache: পার্থক্য কী?

KV cache প্রতিটি request-এ server-এর RAM বা VRAM খরচ করে এবং শেষ হলে model load বা request ব্যর্থ হতে পারে। Prompt cache শুধু billing কমায়, cache miss হলে full price লাগে।

KV cache বনাম prompt cache: সংক্ষিপ্ত উত্তর

KV cache এবং কোনো provider-এর prompt cache-এর মধ্যে একটি শব্দ ছাড়া প্রায় কোনো মিল নেই। KV cache হলো প্রতিটি request-এর জন্য ব্যবহৃত working memory। একটি request যতক্ষণ সক্রিয় থাকে, ততক্ষণ এটি আপনার server-এর RAM বা VRAM-এ থাকে। context length এবং একই সময়ে চালানো request-এর সংখ্যা বাড়লে এর আকারও বাড়ে। Provider-এর prompt caching হলো billing ও latency কমানোর একটি feature। আপনার prompt-এর অপরিবর্তিত prefix provider-এর server-এ সংরক্ষিত থাকে। একই prefix আবার পাঠালে এর জন্য কম হারে charge করা হয়।

একটি হলো hardware হিসেবে কেনা memory। অন্যটি হলো অন্য কেউ ধরে রাখে এবং ব্যবহারের জন্য আপনাকে ভাড়া নেয় এমন memory।

সংজ্ঞার চেয়ে ব্যবহারিক পার্থক্য বেশি গুরুত্বপূর্ণ। KV cache শেষ হয়ে যেতে পারে। তা হলে model load হতে অস্বীকার করে অথবা request প্রত্যাখ্যাত হয়। Prompt cache শেষ হয়ে যায় না। শুধু cache hit নাও হতে পারে। তখন আপনি নীরবে full price পরিশোধ করেন।

KV cache কী ধরে রাখে এবং কেন এটি থাকে

কোনো transformer token number 500 তৈরি করার সময় তার আগের 499টি token-এর সবগুলোর দিকে attention দিতে হয়। প্রতিটি token-এর জন্য প্রতিটি layer-এ একটি key vector এবং একটি value vector প্রয়োজন। প্রতিটি নতুন token-এর সময় এগুলো আবার গণনা করলে generation-এর কাজের পরিমাণ sequence length-এর বর্গের সঙ্গে বাড়ত। তাই runtime এগুলো সংরক্ষণ করে। এই সংরক্ষিত অংশটিই KV cache (key/value cache)।

এটি প্রতি request-এর আলাদা state, কারণ এটি ওই request-এর নির্দিষ্ট token sequence থেকে তৈরি হয়। ভিন্ন prompt পাঠানো দুই ব্যবহারকারী এটি ভাগ করে নিতে পারেন না, যদি না runtime prefix caching ব্যবহার করে। এটি পরে বর্ণিত একটি পৃথক feature।

Serving দুইটি phase-এ হয়। Prefill আপনার সম্পূর্ণ prompt পড়ে cache পূরণ করে, এবং এটি compute দ্বারা সীমাবদ্ধ। Decode একবারে একটি token তৈরি করে cache-এ যোগ করে, এবং এটি memory bandwidth দ্বারা সীমাবদ্ধ। এই বিভাজনের কারণে prompt processing এবং token generation-এর গতি আলাদা দেখা যায়, যখন আপনি নিজের box-এ প্রতি সেকেন্ডে token-এর হার মাপেন।

KV cache কত মেমরি ব্যবহার করে?

কোনো vendor table খুঁজতে যাবেন না। যেকোনো model-এর জন্য এই আকারটি আবার arithmetic করে বের করা যায়:

bytes per token = 2 * layers * kv_heads * head_dim * bytes per element

এখানে 2 দিয়ে key এবং value—এই দুটি গণনা করা হয়েছে। বাকি প্রতিটি সংখ্যা model-এর config.json থেকে নেওয়া, যা model-এর Hugging Face page-এ প্রকাশিত থাকে।

Llama 3.1 8B ধরা যাক। এর config-এ num_hidden_layers 32 এবং num_key_value_heads 8 দেওয়া আছে। 4096-এর hidden_size 32টি attention head-এর মধ্যে ভাগ করলে প্রতিটি head-এর dimension হয় 128। f16-এ প্রতিটি element 2 bytes:

2 * 32 * 8 * 128 * 2 = 131072 bytes = 128 KiB per token

আপনি যে context নির্ধারণ করেছেন, তার সঙ্গে এই মান গুণ করুন। এরপর একই সময়ে চালানো request-এর সংখ্যা দিয়ে গুণ করুন।

চার্টLlama 3.1 8B KV cache at f16, in GiB
এই চার্টের পেছনের ডেটা
[
  {
    "label": "2k context",
    "one_request_gib": 0.25,
    "four_requests_gib": 1
  },
  {
    "label": "8k context",
    "one_request_gib": 1,
    "four_requests_gib": 4
  },
  {
    "label": "32k context",
    "one_request_gib": 4,
    "four_requests_gib": 16
  },
  {
    "label": "128k context",
    "one_request_gib": 16,
    "four_requests_gib": 64
  }
]

8k context-এ cache-এর আকার 1 GiB। 32k context-এ এটি 4 GiB, যা 4-bit weight-এর আকারের কাছাকাছি। model-এর পূর্ণ 128k context-এ একটি request-এর জন্য এটি 16 GiB, আর চারটি request প্রত্যেকে cache পূর্ণ করলে 64 GiB। weight-এর কোনো পরিবর্তন হয়নি। শুধু cache-এর আকার পরিবর্তিত হয়েছে।

Grouped query attention (GQA) এই হিসাবের একটি বড় অংশ। Llama 3.1 8B-তে 8টি key/value head 32টি query head-কে সেবা দেয়, তাই প্রতি চারটি query head একটি সংরক্ষিত key/value pair ভাগ করে ব্যবহার করে। যে model-এর num_key_value_heads এবং num_attention_heads সমান, সেটি একই parameter count-এ চার গুণ cache ব্যবহার করে। দুটি 8B model serve করার খরচ সমান ধরে নেওয়ার আগে ওই field-টি পরীক্ষা করুন।

2k-এ চলা একটি মডেল 32k-এ লোড হতে অস্বীকার করার কারণ

মডেল লোড হওয়ার সময় runtime KV cache সংরক্ষণ করে। এর আকার নির্ধারিত হয় আপনি যে context length কনফিগার করেছেন তার ভিত্তিতে, পাঠানো প্রকৃত prompt-এর ভিত্তিতে নয়। Ollama-এর default এখন আর একটি নির্দিষ্ট সংখ্যা নয়। October 2026 অনুযায়ী, এর context length documentation VRAM-এর ভিত্তিতে মান নির্ধারণ করে: 24 GiB-এর কম VRAM-যুক্ত মেশিনে 4k, 24 থেকে 48 GiB-এর মধ্যে 32k, এবং 48 GiB বা তার বেশি হলে 256k; cloud model-গুলোর default তাদের maximum মান। CPU-only VPS বা ছোট GPU 4k দিয়ে শুরু করে। সেটি 32k করলে একটি token আসার আগেই আপনি 4 GiB অতিরিক্ত allocation চেয়ে বসেন। 24 GiB card-এ 32k ইতিমধ্যেই default, তাই আপনি আলাদা করে না চাইলেও ওই reservation তৈরি হয়।

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

Interactive prompt থেকে প্রতি session-এ একই setting প্রয়োগ করতে:

ollama run llama3.1:8b
/set parameter num_ctx 32768

প্রতিটি stack-এ failure-এর চেহারা আলাদা। vLLM startup-এর সময় হিসাব যাচাই করে এবং চলতে অস্বীকার করে:

ValueError: To serve at least one request with the model's max seq len (131072), (16.0 GiB KV cache is needed, which is larger than the available KV cache memory (9.56 GiB). Based on the available memory, the estimated maximum model length is 78336. Try increasing `gpu_memory_utilization` (which also controls CPU memory on the CPU backend) or decreasing `max_model_len` when initializing the engine. See https://docs.vllm.ai/en/latest/configuration/conserving_memory/ for more details.

Ollama বা llama.cpp চালানো CPU-only VPS-এ allocation সাধারণ system RAM-এ হয়, এবং startup-এর সময় ঘাটতি ধরা নাও পড়তে পারে। এর বদলে kernel-এর out-of-memory killer process-টি বন্ধ করে দেয় এবং kernel ring buffer-এ প্রমাণ রেখে যায়:

dmesg -T | grep -i "killed process"

আপনার serving process-এর নাম উল্লেখ করা একটি line-এর অর্থ হলো, সিস্টেমটি তার available memory-এর চেয়ে বেশি memory প্রতিশ্রুতি দিয়েছিল। সমাধান হলো বড় swap file নয়, ছোট context ব্যবহার করা। Disk-এ paged KV cache প্রতিটি generated token-এর সময় পড়তে হয়, তাই generation এত ধীর হয়ে যায় যে তা কার্যত অকার্যকর। উপযুক্ত মান বেছে নেওয়ার পদ্ধতি Ollama-এ num_ctx এবং context length নিয়ে আমাদের গাইডে ব্যাখ্যা করা হয়েছে।

concurrency সংখ্যাকে কীভাবে প্রভাবিত করে

প্রতিটি চলমান request নিজের KV cache বহন করে। Capacity plan-এ সাধারণত এই বিষয়টি বাদ পড়ে। 32k context ধরে রাখা চারজন user-এর জন্য weights-এর অতিরিক্ত হিসেবে মোট 16 GiB প্রয়োজন।

এই ব্যবহারের কঠোরতা runtime ভেদে আলাদা। Ollama এবং llama.cpp model load করার সময় আপনার নির্ধারিত context-এর জন্য memory reserve করে। তাই কেউ সেটি ব্যবহার না করলেও memory committed থাকে। vLLM pool-কে নির্দিষ্ট আকারের block-এ ভাগ করে এবং প্রতিটি request বড় হওয়ার সঙ্গে সঙ্গে block বরাদ্দ করে। ফলে 500-token-এর request কেবল 500 token-এর সমপরিমাণ memory ধরে রাখে। উভয় ক্ষেত্রেই pool-এর আকার সীমিত। pool পূর্ণ হলে নতুন request চলার বদলে queue-তে অপেক্ষা করে। এই queueing response time-এ কী প্রভাব ফেলে, তা self-hosted LLM কতজন concurrent user-কে সেবা দিতে পারে অংশে ব্যাখ্যা করা হয়েছে।

KV cache ছোট করার 4টি উপায়

  1. Context length কমান। এটি সবচেয়ে বড় প্রভাব ফেলে এবং সাধারণত সবচেয়ে কম খরচের পদ্ধতি। অধিকাংশ chat workload কখনোই 32k-এর কাছাকাছি যায় না।
  2. KV cache-এ নিজেই quantisation প্রয়োগ করুন। Ollama-র OLLAMA_KV_CACHE_TYPE ডিফল্টভাবে f16 ব্যবহার করে এবং q8_0 গ্রহণ করে, যা প্রায় অর্ধেক memory ব্যবহার করে, এবং q4_0 গ্রহণ করে, যা প্রায় এক-চতুর্থাংশ memory ব্যবহার করে। llama.cpp-তে এর সমতুল্য হলো -ctk q8_0 এবং -ctv q8_0।
  3. কম key/value head বা কম layer-যুক্ত model বেছে নিন। 40 GB weight download করার আগে config.json পড়ুন।
  4. একসঙ্গে কম request পরিবেশন করুন এবং বাকি request queue করুন।

q4_0-এ Llama 3.1 8B-এর পরিমাণ প্রতি token-এ 128 KiB থেকে কমে প্রায় 32 KiB হয়। ফলে 32k context-এর জন্য 4 GiB-এর পরিবর্তে প্রায় 1 GiB লাগে। এই সাশ্রয় বিনামূল্যে নয়। Key এবং value কম precision-এ সংরক্ষিত হয়। তাই এই সেটিং স্থায়ীভাবে ব্যবহারের আগে নিজের prompt দিয়ে output তুলনা করুন।

Provider prompt caching থেকে প্রকৃত সুবিধা কী

Provider prompt caching আলাদা একটি product, যার হিসাবের এককও আলাদা। আপনি একটি স্থিতিশীল prefix চিহ্নিত করেন, provider সেটি সংরক্ষণ করে, এবং পরে একই prefix হুবহু পুনরায় পাঠানো call-গুলোতে সম্পূর্ণ input price-এর বদলে কম হারে বিল করা হয়।

October 2026 অনুযায়ী Anthropic-এর প্রকাশিত multiplier হলো: 5-minute cache write-এর খরচ base input token price-এর 1.25 গুণ। 1-hour write-এর খরচ 2 গুণ, এবং অধিকাংশ model-এ cache read-এর খরচ 0.1 গুণ। নতুন model-গুলোতে read cost আরও কম: Claude Opus 5.5 এবং Sonnet 5.5-এ 0.05 গুণ, আর Claude Fable 5.1 এবং Mythos 5.1-এ 0.025 গুণ। Standard সংখ্যা ব্যবহার করে 20,000-token system prompt রাখলে এই ব্যবস্থার লাভ-ক্ষতির ধরন স্পষ্ট হয়।

চার্টCost of a 20,000 token prefix, in base input token equivalents
এই চার্টের পেছনের ডেটা
[
  {
    "label": "No caching, every call",
    "billed_token_equivalents": "20,000"
  },
  {
    "label": "First call, 5 minute cache write",
    "billed_token_equivalents": "25,000"
  },
  {
    "label": "First call, 1 hour cache write",
    "billed_token_equivalents": "40,000"
  },
  {
    "label": "Every later call, cache hit",
    "billed_token_equivalents": "2,000"
  }
]

এটি হিসাব হিসেবে দেখুন। 5-minute write-এর অতিরিক্ত খরচ প্রথম call-এ 5,000 token equivalent: cache ছাড়া পাঠালে 20,000-এর বিপরীতে 25,000। Window-এর মধ্যে পরবর্তী প্রতিটি call-এ 20,000-এর বদলে 2,000 বিল হয়; সাশ্রয় হয় 18,000। তাই দ্বিতীয় call থেকেই 5-minute cache লাভজনক হয়ে যায়।

1-hour cache একটি ভিন্ন হিসাব। Write-এর সময় এতে 40,000 বিল হয়, অর্থাৎ অতিরিক্ত খরচ 20,000 token equivalent। তাই লাভে যেতে একই hour-এর মধ্যে দুটি hit প্রয়োজন। এটি model-এর বিষয় নয়; আপনার traffic pattern-এর বিষয়। Window কীভাবে বাছাই করবেন, সেই পূর্ণ হিসাব Claude prompt caching-এর break-even math-এ আছে।

Cache hit হবে কি না, তা দুটি বিষয় নির্ধারণ করে। প্রথমত, model-এর minimum length-এর চেয়ে ছোট prefix নীরবে cache করা হয় না: October 2026 অনুযায়ী নথিভুক্ত minimum হলো Claude Opus 5, Opus 5.5 এবং Sonnet 5.5-এর জন্য 512 token, এবং Claude Sonnet 5-এর জন্য 1,024 token। ছোট request স্বাভাবিকভাবে process হয় এবং কোনো error ফেরত দেওয়া হয় না। দ্বিতীয়ত, entry write বা read করা request শুরু হওয়ার সময় থেকে lifetime গণনা করা হয়, এবং প্রতিটি read অতিরিক্ত খরচ ছাড়াই lifetime refresh করে। তাই ব্যস্ত endpoint একটি 5-minute cache অনির্দিষ্টকাল সক্রিয় রাখতে পারে। প্রতি দশ মিনিটে একবার call করা endpoint প্রতিবার write premium দেয় এবং কখনো cache থেকে সুবিধা পায় না।

অনুমান না করে response পরীক্ষা করুন। usage object-এ cache_creation_input_tokens এবং cache_read_input_tokens দেওয়া থাকে। প্রতিটি call-এ read count শূন্য থাকলে বুঝবেন, আপনি write-এর জন্য খরচ করছেন কিন্তু কোনো ফল পাচ্ছেন না।

যেখানে দুই ধরনের cache মিলিত হয়

দীর্ঘ system prompt হলো সেই মিলনস্থল, এবং এটি একই সময়ে উভয় দিকেই আপনার কাছ থেকে খরচ নেয়।

স্থানীয়ভাবে, f16-এ Llama 3.1 8B server-এ 20,000-token-এর system prompt প্রায় 2.4 GiB KV cache দখল করে। এটি prompt-টি অন্তর্ভুক্ত করা প্রতিটি concurrent request-এর জন্য আলাদাভাবে ঘটে। দূরবর্তী ক্ষেত্রে, একই prefix-এর জন্য প্রথমে একটি cache write হয়। এরপর প্রতিটি পরবর্তী call-এ input-এর 0.1 গুণ খরচ হয়, অথবা নতুন model-গুলোতে তার চেয়েও কম। স্থানীয় খরচ আপনার user-এর সংখ্যার সঙ্গে বাড়ে। দূরবর্তী খরচ আপনার traffic-এর সঙ্গে বাড়ে এবং idle সময়ে reset হয়।

এখানে একটি local feature আছে, যা provider prompt caching-এর মতো দেখায় এবং প্রায়ই সেটির সঙ্গে গুলিয়ে ফেলা হয়: prefix caching। vLLM documentation-এ automatic prefix caching-কে এভাবে বর্ণনা করা হয়েছে: “existing query-গুলোর KV cache cache করা, যাতে কোনো নতুন query বিদ্যমান query-গুলোর একটির সঙ্গে একই prefix শেয়ার করলে সরাসরি সেই KV cache পুনরায় ব্যবহার করতে পারে।” বর্তমান vLLM-এ এটি default হিসেবে চালু থাকে। llama.cpp server default হিসেবে প্রতিটি slot-এর জন্য একটি prompt cache রাখে, আর --cache-reuse N নির্ধারণ করে পুনরায় ব্যবহার করার চেষ্টা করা হবে এমন সর্বনিম্ন chunk।

prefix caching যে সাশ্রয় করে, তা হলো prefill compute। আপনার 20,000-token-এর system prompt প্রতিটি request-এ পুনরায় process না করে একবার process করা হয়। ফলে first token পাওয়ার সময় উল্লেখযোগ্যভাবে কমে। vLLM-এ shared block-গুলো duplicate না করে পুনরায় ব্যবহার করা হয়, তাই memory ব্যবহারেরও উন্নতি হয়। তবে বর্তমানে live থাকা token-গুলোর জন্য যে cache ধরে রাখতে হবে, এর আকার এটি কখনো কমায় না। request-এর মাঝেও weights resident রাখা একটি সম্পর্কিত কিন্তু আলাদা কৌশল। এটি request-এর মধ্যে Ollama model loaded রাখা অংশে ব্যাখ্যা করা হয়েছে।

নিজের মেশিনে কী মাপবেন

আপনার নির্ধারিত context-এ model load করুন। এরপর estimate-এর ওপর নির্ভর না করে বাস্তব সংখ্যা দেখুন।

ollama ps
nvidia-smi --query-gpu=memory.used,memory.total --format=csv
free -g

ollama ps loaded model-টি তার size, যে context-এ এটি load হয়েছে, এবং এটি GPU নাকি CPU-তে চলছে—এসব তথ্য দেখায়। প্রথমে context column পরীক্ষা করুন, কারণ এখন default আপনার VRAM-এর ওপর নির্ভর করে। কোনো model সম্পূর্ণ GPU-তে চলবে বলে আশা করলেও যদি CPU split দেখায়, তার অর্থ KV cache-এর কারণে model-এর একটি অংশ GPU-এর বাইরে চলে গেছে। ফলে generation speed কমে যাবে। nvidia-smi প্রকৃত VRAM-এর পরিমাণ দেখায়। CPU-only VPS-এ free -g একই তথ্য দেয়। ধাপে ধাপে context বাড়ান, model reload করুন, এবং সংখ্যাটি কীভাবে পরিবর্তিত হয় তা monitor করুন। আপনার হিসাব এবং প্রদর্শিত সংখ্যা কাছাকাছি হওয়া উচিত। তা না হলে, formula-র ভুলের বদলে runtime-এর নিজস্ব compute buffer-ই সাধারণত এই পার্থক্যের কারণ।

এই সংখ্যাগুলো যদি আপনাকে এমন hardware ব্যবহারের দিকে ঠেলে দেয় যা আপনি rent করতে চান না, তাহলে token অনুযায়ী অর্থপ্রদানের সঙ্গে তুলনাটি GPU VPS বনাম API token-এ দেখানো হয়েছে।

FAQ

KV cache কি prompt caching-এর একই বিষয়?

না। KV cache হলো serving process-এর ভিতরে প্রতি-request memory। এতে বর্তমান context-এর প্রতিটি token-এর key এবং value vector থাকে। এটি আপনার RAM বা VRAM-এ থাকে এবং request শেষ হলে মুক্ত হয়। Provider prompt caching হলো billing feature। এটি provider-এর infrastructure-এ একটি স্থিতিশীল prompt prefix সংরক্ষণ করে এবং সেটি আবার পাঠালে কম rate প্রয়োগ করে। KV cache শেষ হয়ে গেলে model load হয় না। Prompt cache না থাকলে শুধু আপনার invoice এবং first token পেতে সময় বাড়ে।

আমার model 2k context-এ load হয়, কিন্তু 32k-এ ব্যর্থ হয় কেন?

কারণ runtime load হওয়ার সময় পুরো KV cache allocate করে। এই cache-এর আকার আপনি যে context length configure করেছেন তার ভিত্তিতে নির্ধারিত হয়, আপনি যে prompt পাঠান তার ভিত্তিতে নয়। Llama 3.1 8B-এর f16 ক্ষেত্রে প্রতি token-এ cache প্রয়োজন 128 KiB। তাই 2k context-এর জন্য 0.25 GiB এবং 32k-এর জন্য 4 GiB প্রয়োজন। উভয় ক্ষেত্রেই weights memory-তে fit করে। ব্যর্থ হয় reservation। vLLM এটি একটি ValueError হিসেবে report করে। সেখানে প্রয়োজনীয় KV cache memory এবং available memory-এর পরিমাণ, estimated maximum model length-সহ দেখানো হয়। একই সঙ্গে gpu_memory_utilization বাড়ানো বা max_model_len কমানোর পরামর্শ দেওয়া হয়। Ollama বা llama.cpp চালানো CPU-only box-এ এর পরিবর্তে kernel out-of-memory killer process-টি বন্ধ করে দিতে পারে। dmesg -T | grep -i "killed process" দিয়ে এটি নিশ্চিত করা যায়।

আমার model-এর KV cache-এর size কীভাবে হিসাব করব?

Layer count, key/value head-এর সংখ্যা, head dimension এবং প্রতি element-এর bytes—এই মানগুলো 2 দিয়ে গুণ করুন। এতে প্রতি token-এর bytes পাওয়া যাবে। এরপর সেটিকে আপনার context length এবং concurrent request-এর সংখ্যা দিয়ে গুণ করুন। Model-এর config.json থেকে layer এবং head-এর সংখ্যা দেখুন। f16 বা bf16-এর জন্য প্রতি element-এ 2 bytes ব্যবহার করুন। একটি q8_0 cache-এর size প্রায় এর অর্ধেক এবং q4_0 cache-এর size প্রায় এর এক-চতুর্থাংশ।

Prompt caching কি আমার নিজের server-এর প্রয়োজনীয় memory কমায়?

Provider prompt caching আপনার hardware-এর জন্য কিছু করে না, কারণ storage provider-এর পাশে থাকে। এর local equivalent হলো prefix caching, যা vLLM এবং llama.cpp server উভয়ই দেয়। এটি shared prefix-এর জন্য আগে গণনা করা key এবং value vector পুনরায় ব্যবহার করে। ফলে prefill compute কমে এবং first token পেতে সময় কম লাগে। vLLM-এ shared block-গুলো duplicate না করে পুনরায় ব্যবহার করা হয়। তাই memory usage-ও উন্নত হয়। তবে কোনো feature-ই বর্তমানে in-flight থাকা token-এর জন্য প্রয়োজনীয় cache ছোট করে না। তাই context এবং concurrency-এর হিসাবই minimum memory requirement নির্ধারণ করে।

যে prompt আমি শুধু একবার পাঠাই, সেটি cache করা কি সার্থক?

না। Plain input-এর তুলনায় cache write-এর খরচ বেশি। October 2026 অনুযায়ী 5-minute option-এর জন্য base rate-এর 1.25 গুণ খরচ হয়। তাই window-এর মধ্যে prefix আর কখনও resend না করলে caching সরাসরি ক্ষতি। একই prefix বারবার ব্যবহার হলে caching সার্থক হয়। যেমন, দীর্ঘ system prompt বা এমন একটি document যেটি নিয়ে আপনি একাধিক প্রশ্ন করবেন। Write-এর জন্য অর্থ না দিয়ে hit পাচ্ছেন কি না নিশ্চিত করতে API response-এ cache_read_input_tokens পরীক্ষা করুন।

এই লেখাটি কি কাজে লেগেছে?