SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor · Dikemas kini 2026-10-24

Kira Titik Pulang Modal Claude Prompt Caching

Kos tulis cache ialah 1.25x dan bacaan 0.1x. Ketahui cara mengira titik pulang modal untuk Claude prompt caching agar anda tidak rugi pada setiap panggilan API.

Kos caching prompt sebelum ia menjimatkan

Caching prompt membolehkan Claude menggunakan semula bahagian hadapan prompt anda dan bukannya membacanya semula pada setiap panggilan, dan keseluruhan keputusan bergantung kepada dua pengganda pada harga input asas model anda. Setakat Oktober 2026, penulisan cache berharga 1.25x input asas untuk jangka hayat 5 minit, atau 2x untuk jangka hayat 1 jam, pada setiap model. Bacaan cache berharga 0.1x pada kebanyakan model, tetapi pengganda bacaan tidak lagi sama di mana-mana. Ia adalah 0.025x pada Claude Fable 5.1 dan Claude Mythos 5.1, yang dilancarkan pada kadar tersebut pada 1 September 2026. Ia adalah 0.05x pada Claude Opus 5.5 dan Claude Sonnet 5.5, dan Sonnet 5.5 telah dikurangkan daripada 0.1x kepada kadar tersebut pada 7 Oktober 2026. Angka yang dikira di bawah menggunakan bacaan standard 0.1x. Bacaan yang lebih murah sedikit sebanyak memihak kepada anda, dan bahagian seterusnya menunjukkan jumlahnya.

Pertukaran ini adalah surcaj sekarang berbanding diskaun kemudian. Anda membayar lebih sekali untuk menyimpan awalan. Setiap permintaan seterusnya yang bermula dengan bait yang sama tepat kemudian membayar satu persepuluh daripada harga input biasa untuk bahagian tersebut, atau kurang pada model di atas. Awalan yang tidak pernah digunakan semula dalam jangka hayatnya menyebabkan anda membayar 25 peratus lebih tanpa sebarang hasil.

Titik pulang modal, dalam satu baris algebra

Katakan B ialah kos input asas bagi awalan (prefix) jika anda menghantarnya tanpa caching. Tanpa caching, N permintaan menelan kos N kali B. Dengan cache 5 minit, permintaan pertama menulis awalan pada 1.25B dan N tolak 1 permintaan yang lain membacanya pada 0.1B. Samakan kedua-duanya dan anda mendapat 0.9N = 1.15, jadi N = 1.28. Permintaan kedua sudah pun lebih murah berbanding tidak menggunakan caching langsung.

Ulangi langkah tersebut dengan penulisan 2x bagi cache 1 jam dan anda mendapat 0.9N = 1.9, jadi N = 2.11. Cache tempoh lama memerlukan dua bacaan sebelum mencapai titik pulang modal, itulah sebabnya ia bukan pilihan lalai.

Pada bacaan yang lebih murah, garisan tersebut bergerak, tetapi tidak jauh. Pada bacaan 0.05x, cache 5 minit memberikan 0.95N = 1.2, jadi N = 1.26, dan pada 0.025x ia memberikan 0.975N = 1.225, juga N = 1.26. Cache 1 jam turun kepada N = 2.05 dan N = 2.03. Jawapan praktikalnya adalah sama pada setiap model: cache 5 minit memberikan pulangan bermula dari permintaan kedua, cache 1 jam bermula dari permintaan ketiga.

Carta di bawah meletakkan harga ini untuk awalan 20,000 token pada Claude Opus 5. Kadar input asasnya ialah $5 bagi setiap juta token setakat Oktober 2026, tidak berubah sejak Ogos. Opus 5 kini merupakan model legasi, walaupun ia masih tersedia. Penggantinya, Claude Opus 5.5, menyenaraikan $4 bagi setiap juta dengan bacaan 0.05x, jadi awalan yang sama di sana menelan kos $0.10 untuk ditulis dan $0.004 untuk dibaca. Skalakan setiap angka dengan 0.6 untuk model $3 bagi setiap juta pada bacaan standard 0.1x. Bentuk lengkung tersebut tidak berubah.

CartaCost of N requests sharing a 20,000 token prefix (Claude Opus 5, August 2026 prices)
Data di sebalik carta ini
[
  {
    "requests": 1,
    "uncached_usd": "0.10",
    "cached_5m_usd": "0.125",
    "cached_1h_usd": "0.20"
  },
  {
    "requests": 2,
    "uncached_usd": "0.20",
    "cached_5m_usd": "0.135",
    "cached_1h_usd": "0.21"
  },
  {
    "requests": 3,
    "uncached_usd": "0.30",
    "cached_5m_usd": "0.145",
    "cached_1h_usd": "0.22"
  },
  {
    "requests": 5,
    "uncached_usd": "0.50",
    "cached_5m_usd": "0.165",
    "cached_1h_usd": "0.24"
  },
  {
    "requests": 10,
    "uncached_usd": "1.00",
    "cached_5m_usd": "0.215",
    "cached_1h_usd": "0.29"
  },
  {
    "requests": 20,
    "uncached_usd": "2.00",
    "cached_5m_usd": "0.315",
    "cached_1h_usd": "0.39"
  }
]

Satu permintaan secara sendirian menelan kos $0.10 tanpa cache dan $0.125 dengan cache, jadi melakukan caching pada prompt sekali guna adalah kerugian semata-mata. Menjelang permintaan kedua, cache 5 minit berada pada $0.135 berbanding $0.20. Cache 1 jam masih ketinggalan pada ketika itu, $0.21 berbanding $0.20 yang sama, dan ia hanya melepasi garisan tanpa cache pada permintaan ketiga: $0.22 berbanding $0.30. Menjelang 20 permintaan, jurangnya ialah $2.00 berbanding $0.315.

Hit cache juga menyegarkan entri tersebut, itulah sebabnya jadual harga yang diterbitkan menamakan lajur itu sebagai hit cache dan penyegaran (refreshes). Oleh itu, titik akhir yang sibuk mengekalkan entri 5 minit hidup selama-lamanya pada harga bacaan, dan jangka hayat 1 jam hanya memperoleh kos penulisan 2x apabila trafik anda mempunyai jurang sebenar di dalamnya.

Kos kadar hit yang rendah

Trafik sebenar mengalami miss. Permintaan yang terlepas daripada cache tetapi masih membawa breakpoint akan dikenakan caj sebagai penulisan (write), jadi cara yang tepat untuk memodelkan perkara ini adalah dengan mengira kos sebagai fungsi kadar hit (hit rate). Carta di bawah menunjukkan pengiraan tersebut untuk 1,000 permintaan, dengan setiap satunya membawa prefix 20,000 token yang sama.

CartaCost of 1,000 requests by cache hit rate, 20,000 token prefix
Data di sebalik carta ini
[
  {
    "hit_rate_percent": 0,
    "cost_5m_usd": "125.00",
    "cost_1h_usd": "200.00",
    "uncached_usd": "100.00"
  },
  {
    "hit_rate_percent": 25,
    "cost_5m_usd": "96.25",
    "cost_1h_usd": "152.50",
    "uncached_usd": "100.00"
  },
  {
    "hit_rate_percent": 50,
    "cost_5m_usd": "67.50",
    "cost_1h_usd": "105.00",
    "uncached_usd": "100.00"
  },
  {
    "hit_rate_percent": 75,
    "cost_5m_usd": "38.75",
    "cost_1h_usd": "57.50",
    "uncached_usd": "100.00"
  },
  {
    "hit_rate_percent": 90,
    "cost_5m_usd": "21.50",
    "cost_1h_usd": "29.00",
    "uncached_usd": "100.00"
  },
  {
    "hit_rate_percent": 95,
    "cost_5m_usd": "15.75",
    "cost_1h_usd": "19.50",
    "uncached_usd": "100.00"
  },
  {
    "hit_rate_percent": 99,
    "cost_5m_usd": "11.15",
    "cost_1h_usd": "11.90",
    "uncached_usd": "100.00"
  }
]

Pada kadar hit 0 peratus, anda membayar $125.00 dan bukannya $100.00, manakala cache 1 jam menggandakan bil kepada $200.00. Selesaikan persamaan 1.25 tolak 1.15h = 1 dan cache 5 minit mula menjimatkan wang pada kadar hit sekitar 22 peratus, itulah sebabnya 25 peratus sudah menunjukkan $96.25. Pengiraan yang sama untuk penulisan 2x memberikan sekitar 53 peratus untuk cache 1 jam, jadi kadar hit 50 peratus masih menelan kos $105.00, iaitu di atas garisan tanpa cache. Pada 90 peratus, kedua-duanya berada pada $21.50 dan $29.00. Pada 99 peratus, cache singkat mencapai $11.15, hampir kepada paras lantai iaitu satu persepuluh daripada harga tanpa cache.

Pada model dengan bacaan 0.05x, ambang jatuh kepada sekitar 21 peratus untuk cache 5 minit dan 51 peratus untuk cache 1 jam. Pada bacaan 0.025x, ia jatuh kepada sekitar 20 dan 51 peratus. Paras lantai menurun mengikut harga bacaan, kepada satu perduapuluh atau satu perempatpuluh daripada kos tanpa cache.

Kadar hit ialah angka yang perlu diukur (instrument), kerana ia merupakan satu-satunya input yang anda kawal selepas saiz prefix ditetapkan.

Awalan yang berbaloi untuk breakpoint

Satu permintaan boleh membawa sehingga empat cache breakpoint, jadi persoalannya ialah blok mana yang wajar diberikan breakpoint. Calon yang sesuai ialah blok yang mempunyai bait yang sama merentas panggilan dan cukup besar untuk memberi kesan. Carta di bawah menunjukkan harga bagi empat bentuk biasa untuk 1,000 permintaan pada kadar hit 90 peratus dalam cache 5 minit.

CartaCost per 1,000 requests at a 90% hit rate, by cached prefix (Claude Opus 5)
Data di sebalik carta ini
[
  {
    "label": "System prompt",
    "prefix_size_tokens": "2,000",
    "uncached_usd": "10.00",
    "cached_usd": "2.15",
    "saved_usd": "7.85"
  },
  {
    "label": "System plus tools",
    "prefix_size_tokens": "8,000",
    "uncached_usd": "40.00",
    "cached_usd": "8.60",
    "saved_usd": "31.40"
  },
  {
    "label": "Policy document",
    "prefix_size_tokens": "25,000",
    "uncached_usd": "125.00",
    "cached_usd": "26.88",
    "saved_usd": "98.12"
  },
  {
    "label": "Codebase context",
    "prefix_size_tokens": "120,000",
    "uncached_usd": "600.00",
    "cached_usd": "129.00",
    "saved_usd": "471.00"
  }
]

Sistem prompt token 2,000 yang kosong menjimatkan $7.85 bagi setiap 1,000 permintaan berbanding $10.00 tanpa cache. Ini melibatkan wang sebenar jika dalam jumlah yang besar, namun itu bukan perkara yang menjadikan caching menarik. Tambahkan definisi tool dan anda akan mencapai 8,000 token dengan penjimatan $31.40. Dokumen polisi 25,000 token yang dirujuk oleh setiap permintaan menjimatkan $98.12. Baris terakhir adalah yang mengubah seni bina: 120,000 token kod atau konteks transkrip menelan kos $600.00 tanpa cache dan $129.00 dengan cache, iaitu penjimatan sebanyak $471.00.

Penjimatan berskala mengikut saiz awalan dan kadar hit, dan tidak bergantung pada perkara lain. Ini mengubah perkara yang wajar diletakkan dalam prompt: kos sebenar sejuta token Claude turun kepada satu persepuluh daripada harga asal, atau kurang bagi model dengan kos bacaan yang lebih murah, untuk sebarang data yang anda hantar lebih daripada sekali.

Rupanya pada bil bulanan

Carta di bawah mengambil awalan token 8,000 daripada bahagian sebelumnya, bersama gesaan sistem dan takrif alat, pada kadar hit 90 peratus, kemudian mengunjurkannya kepada jumlah permintaan bulanan.

CartaMonthly input cost, 8,000 token cached prefix at a 90% hit rate
Data di sebalik carta ini
[
  {
    "label": "10k requests",
    "uncached_usd": "400.00",
    "cached_usd": "86.00",
    "saved_usd": "314.00"
  },
  {
    "label": "100k requests",
    "uncached_usd": "4,000.00",
    "cached_usd": "860.00",
    "saved_usd": "3,140.00"
  },
  {
    "label": "1M requests",
    "uncached_usd": "40,000.00",
    "cached_usd": "8,600.00",
    "saved_usd": "31,400.00"
  }
]

Pada 10,000 permintaan sebulan, penjimatan ialah $314.00, iaitu perbezaan antara $400.00 dengan $86.00. Pada 100,000 permintaan, penjimatan ialah $3,140.00. Pada sejuta permintaan, bil input tanpa cache ialah $40,000.00, dan caching menghapuskan $31,400.00 daripadanya. Ini hanya melibatkan token input. Output dibilkan secara berasingan dan tidak terjejas oleh caching. Perkara ini perlu diingat sebelum anda menjanjikan pengurangan bil sebanyak 90 peratus kepada sesiapa. Caching melengkapi amalan lain yang lebih luas dalam mengawal bil ejen AI pada VPS.

Cara membuktikan cache berfungsi

Jangan bergantung pada reka bentuk sahaja. Baca blok penggunaan dalam respons. Setiap respons Messages API (antara muka pengaturcaraan aplikasi) melaporkan token cache yang ditulisnya, token cache yang dibacanya dan token baharu yang perlu diproses.

from anthropic import Anthropic

client = Anthropic()

resp = client.messages.create(
    model="claude-opus-5",
    max_tokens=512,
    system=[
        {
            "type": "text",
            "text": POLICY_DOCUMENT,
            "cache_control": {"type": "ephemeral"},
        }
    ],
    messages=[{"role": "user", "content": question}],
)

u = resp.usage
print("write:", u.cache_creation_input_tokens)
print("read: ", u.cache_read_input_tokens)
print("fresh:", u.input_tokens)

Jalankan dua kali dengan dokumen yang sama dan soalan yang berbeza. Panggilan pertama melaporkan cache_creation_input_tokens bukan sifar dan cache_read_input_tokens sifar. Panggilan kedua memberikan hasil yang sebaliknya kerana awalan telah ditemui. input_tokens hanya mengira token selepas titik henti terakhir. Oleh itu, nilainya kecil dalam panggilan kedua yang berjaya, biasanya hanya mesej pengguna baharu. Kedua-dua panggilan dikenakan bayaran kerana Claude API tidak mempunyai peringkat percuma, walaupun bagi awalan 20,000 token, jumlah pasangan panggilan yang dinyatakan di atas adalah kira-kira empat belas sen.

Pemeriksaan yang sama daripada shell, menggunakan isi permintaan yang anda simpan dalam request.json:

curl -s https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d @request.json | jq '.usage'

Panggilan kedua yang berjaya memaparkan sesuatu seperti ini:

{
  "input_tokens": 42,
  "cache_creation_input_tokens": 0,
  "cache_read_input_tokens": 20143,
  "output_tokens": 187
}

Satu baris memberikan maklumat sebenar. Jika cache_read_input_tokens kekal pada 0 antara panggilan, anda membayar kos penulisan 1.25x setiap kali tetapi tidak menerima apa-apa manfaat daripadanya.

Untuk tempoh hayat 1 jam, titik henti mempunyai masa untuk hidup (TTL):

{
  "type": "text",
  "text": "your stable prefix",
  "cache_control": {"type": "ephemeral", "ttl": "1h"}
}

Terdapat juga caching automatik: satu medan cache_control pada peringkat teratas permintaan. Selepas itu, API mengurus titik henti apabila perbualan berkembang. Ia menggunakan satu daripada empat slot titik henti anda. Mulakan dengan kaedah ini. Gunakan titik henti eksplisit apabila anda perlu menentukan dengan tepat lokasi sempadan.

Peraturan susunan yang menjejaskan kadar hit

Cache memadankan awalan bait demi bait dari permulaan permintaan, dan permintaan tersebut disusun dalam tertib tetap: alatan, kemudian sistem, seterusnya mesej. Perubahan pada mana-mana tahap akan membatalkan tahap tersebut dan segala yang mengikutinya. Mengedit satu perihalan alat akan membatalkan prompt sistem dan keseluruhan sejarah mesej bersamanya, walaupun anda tidak menyentuh bahagian tersebut.

Ini menghasilkan satu peraturan tanpa pengecualian. Apa-apa sahaja yang berubah antara panggilan mestilah diletakkan selepas segala yang tidak berubah.

Penyebab biasa ialah cap masa (timestamp). Baris yang mengandungi Current time: 2026-08-03T14:07:11Z di bahagian atas prompt sistem menjamin kadar hit 0 peratus, kerana hash awalan berbeza pada setiap panggilan dan tiada entri terdahulu yang boleh memadankannya. Pindahkan ia ke dalam mesej pengguna, di bahagian akhir. Pengecam sesi atau nonce bagi setiap permintaan akan menyebabkan masalah yang sama dan mempunyai penyelesaian yang serupa. Dokumen yang diambil yang berbeza bagi setiap permintaan juga perlu diletakkan selepas blok cache, jika tidak, ia akan menolak setiap token stabil ke belakang sempadan yang sentiasa berubah.

Penyebab kedua ialah meletakkan titik henti (breakpoint) pada blok yang berubah. Penulisan cache berlaku pada titik henti, jadi jika blok tersebut berbeza setiap kali, tiada data stabil yang akan disimpan, dan carian imbas balik hanya menemui entri yang ditulis oleh permintaan terdahulu pada titik henti mereka yang sentiasa berubah. Letakkan cache_control pada blok terakhir yang kandungannya adalah sama merentas semua permintaan.

Penyebab ketiga ialah perubahan parameter yang tidak anda anggap sebagai kandungan prompt. Model yang berbeza mempunyai cache yang berbeza. Menukar tool_choice akan membatalkan sejarah mesej, walaupun alatan dan prompt sistem kekal dalam cache. Menambah atau membuang alat akan membatalkan segala-galanya.

Awalan minimum dan no-op senyap

Awalan yang lebih pendek daripada minimum model tidak akan disimpan dalam cache, dan tiada pemberitahuan mengenainya. Tiada ralat, tiada amaran. Permintaan tersebut berjaya dan kedua-dua pembilang menunjukkan angka 0. Setakat Oktober 2026, nilai minimum yang diterbitkan adalah:

  • 512 token pada Claude Opus 5 dan Claude Fable 5, serta pada model baharu Opus 5.5, Sonnet 5.5, Fable 5.1 dan Haiku 5.5
  • 1,024 token pada Claude Sonnet 5 dan Claude Opus 4.8
  • 4,096 token pada Claude Haiku 4.5

Jika kedua-dua pembilang menunjukkan 0 pada permintaan yang anda jangkakan telah disimpan dalam cache, periksa panjang awalan sebelum melakukan perkara lain. Inilah sebabnya model paling murah tidak semestinya menjadi pilihan paling jimat untuk beban kerja caching. Haiku 4.5 memerlukan awalan yang lapan kali lebih panjang daripada Opus 5 sebelum caching bermula, jadi prompt sistem bersaiz 2,000 token akan disimpan dalam cache pada satu model tetapi diabaikan secara senyap pada model yang satu lagi.

Tempat Claude Code melakukan cache untuk anda, dan tempat ia tidak boleh melakukannya

Claude Code melakukan cache pada prefiksnya sendiri. Prompt sistem dan definisi alat diletakkan di bahagian hadapan setiap permintaan dan tidak berubah, jadi ia ditulis sekali dan dibaca semula sepanjang sesi tersebut. Itulah sebabnya kos setiap giliran bagi sesi yang panjang adalah jauh lebih rendah daripada apa yang dicadangkan oleh saiz konteks, dan ia dipaparkan dalam pembilang yang diterangkan dalam cara Claude Code melaporkan penggunaan token.

Tempat ia tidak dapat membantu anda ialah perubahan berhampiran permulaan konteks. Sejarah perbualan hanya boleh ditambah (append-only), jadi giliran baharu yang biasa akan memanjangkan prefiks yang sudah pun di-cache. Menyunting fail yang dibaca pada awal sesi tidak membatalkan perkara itu, kerana Claude Code menambah nota bahawa fail tersebut telah berubah dan bukannya menulis semula bacaan awal tadi. Perkara yang membatalkannya ialah penukaran model, kerana setiap model mempunyai cache tersendiri. Menyambungkan pelayan MCP yang alatnya dimuatkan ke dalam prefiks juga membatalkannya, begitu juga dengan memampatkan perbualan. Setiap tindakan ini menyebabkan giliran seterusnya menulis prefiks itu semula. Jeda masa melahu yang lama juga memberikan kesan yang sama, kerana entri tersebut tamat tempoh dan giliran seterusnya perlu membayar kos penulisan penuh. Tiada satu pun daripada perkara ini merupakan pepijat. Ia adalah peraturan prefiks yang melakukan tepat seperti yang dinyatakan.

Jika anda sebaliknya sedang menulis klien anda sendiri, gunakan susun atur daripada permintaan pertama dan bukannya mengubah suai kemudian: bina panggilan tersebut seperti yang dilakukan oleh aplikasi API Claude pertama pada VPS, dengan blok yang stabil di hadapan dan blok yang tidak stabil di bahagian akhir.

Mod kegagalan dan perkara yang akan anda lihat

Setiap panggilan adalah penulisan (write). cache_creation_input_tokens bukan sifar pada setiap permintaan manakala cache_read_input_tokens kekal 0. Sesuatu pada atau sebelum titik henti (breakpoint) berubah antara panggilan. Cetak 200 aksara pertama bagi awalan (prefix) yang dipasang pada dua permintaan berturut-turut dan bandingkan secara visual.

Kedua-dua pembilang adalah 0. Awalan berada di bawah minimum model, atau medan cache_control tidak pernah sampai ke API. Kira token awalan dahulu, kemudian log badan permintaan yang sebenarnya anda hantar.

Bacaan berfungsi, kemudian terhenti. Satu siri hit, kemudian penulisan, kemudian hit semula. Jurang antara permintaan adalah lebih lama daripada tempoh hayat (lifetime). Terima penulisan tersebut, atau beralih kepada TTL 1 jam sebaik sahaja anda telah menyemak bahawa kadar hit anda melepasi 53 peratus, atau kira-kira 51 peratus pada model dengan bacaan 0.05x atau 0.025x.

Kadar hit jatuh selepas penggunaan (deploy). Penerangan alat telah disunting atau model telah ditukar. Kedua-duanya membatalkan keseluruhan awalan. Jangkakan satu pusingan penulisan yang mahal selepas setiap penggunaan yang melibatkan prompt.

Bil meningkat selepas anda mendayakan caching. Kadar hit anda berada di bawah titik pulang modal (break-even). Di bawah kira-kira 22 peratus pada cache 5 minit, menghantar awalan tanpa cache adalah lebih murah, dan di bawah kira-kira 53 peratus, perkara yang sama berlaku untuk cache 1 jam. Pada model dengan bacaan yang lebih murah, garisan tersebut berada pada kira-kira 20 hingga 21 peratus dan 51 peratus.

FAQ

Berapa kali prompt perlu digunakan semula sebelum caching menjadi berbaloi?

Sekali sahaja, untuk cache 5 minit. Penulisan (write) menelan kos 1.25x input asas dan pembacaan (read) menelan kos 0.1x pada kebanyakan model, jadi N permintaan tanpa cache menelan kos N manakala N permintaan dengan cache menelan kos 1.25 ditambah 0.1 darab N tolak 1. Kedua-duanya bersilang pada N = 1.28, jadi permintaan kedua sudah pun menjimatkan kos. Pada model dengan kadar bacaan 0.05x atau 0.025x, titik persilangan adalah N = 1.26, yang memberikan jawapan yang sama. Cache 1 jam menulis pada 2x dan bersilang pada N = 2.11, atau sekitar 2.05 pada kadar bacaan yang lebih murah, jadi ia memerlukan dua bacaan.

Mengapa cache_read_input_tokens sentiasa sifar?

Semak panjang awalan (prefix) terlebih dahulu: di bawah minimum model, iaitu 512 token pada Claude Opus 5 dan 4,096 pada Claude Haiku 4.5 setakat Oktober 2026, caching dilangkau secara senyap dan kedua-dua pembilang akan membaca 0. Jika awalan cukup panjang, cari kandungan yang berubah antara panggilan yang terletak pada atau sebelum titik putus (breakpoint), seperti cap masa atau pengecam sesi dalam prompt sistem. Jika pembilang berfungsi sebelum ini dan kemudian berhenti, jurang antara permintaan adalah lebih lama daripada jangka hayat cache.

Adakah prompt caching mengubah jawapan Claude?

Tidak. Cache menyimpan bentuk token yang telah diproses yang anda hantar, dan model melihat prompt yang sama dalam kedua-dua keadaan. Ia merupakan ciri pengebilan dan kependaman (latency), bukan perubahan dalam tingkah laku. Ini juga bermakna anda boleh mendayakannya pada prompt yang sedang berfungsi tanpa perlu menjalankan semula penilaian anda.

Patutkah saya membayar untuk cache 1 jam?

Hanya apabila trafik anda mempunyai jurang yang lebih lama daripada 5 minit dan kadar hit anda masih mencapai kira-kira 53 peratus, atau kira-kira 51 peratus pada model dengan kadar bacaan yang lebih murah. Jika berlaku miss, penulisan 2x menelan kos empat kali ganda berbanding penulisan 1.25x. Penulisan 1 jam yang gagal (miss) membazirkan harga input asas penuh bagi awalan tersebut, manakala penulisan 5 minit yang gagal hanya membazirkan suku daripadanya. Entri 5 minit diperbaharui pada setiap hit, jadi trafik yang stabil mengekalkannya pada harga bacaan tanpa perlu membayar untuk jangka hayat yang lebih lama.

Adakah artikel ini berguna?

#claude#prompt-caching#api#token-costs#optimization