SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor · Diperbarui 2026-10-23

Claude Prompt Caching: Hitung Titik Impasnya

Biaya penulisan cache Claude 1,25x dan pembacaan 0,1x atau lebih rendah. Pelajari mengapa prefix balik modal pada pemakaian kedua dan buktikan lewat API.

Biaya prompt caching sebelum menghasilkan penghematan

Prompt caching memungkinkan Claude menggunakan kembali bagian awal prompt, sehingga bagian tersebut tidak perlu dibaca ulang pada setiap panggilan. Seluruh keputusan bergantung pada dua pengali terhadap harga input dasar model. Per Oktober 2026, penulisan cache dikenai biaya 1.25x harga input dasar untuk masa berlaku 5 menit, atau 2x untuk masa berlaku 1 jam, pada semua model. Pembacaan cache dikenai biaya 0.1x pada sebagian besar model, tetapi pengali pembacaan tidak lagi sama pada semua model. Nilainya 0.025x pada Claude Fable 5.1 dan Claude Mythos 5.1, yang diluncurkan dengan tarif tersebut pada 1 September 2026. Nilainya 0.05x pada Claude Opus 5.5 dan Claude Sonnet 5.5. Tarif Sonnet 5.5 diturunkan dari 0.1x menjadi 0.05x pada 7 Oktober 2026. Contoh perhitungan di bawah ini menggunakan pembacaan standar sebesar 0.1x. Tarif pembacaan yang lebih murah membuat titik impas sedikit lebih menguntungkan bagi Anda. Bagian berikutnya menunjukkan selisihnya.

Pertukarannya adalah biaya tambahan sekarang untuk mendapatkan diskon kemudian. Anda membayar biaya tambahan satu kali untuk menyimpan sebuah prefix. Setiap request berikutnya yang dimulai dengan byte yang persis sama hanya dikenai sepersepuluh harga input normal untuk bagian tersebut, atau lebih rendah pada model-model di atas. Prefix yang tidak pernah digunakan kembali selama masa berlakunya akan menimbulkan biaya tambahan 25 persen tanpa manfaat.

Titik impas, dalam satu baris aljabar

Misalkan B adalah biaya input dasar prefix jika Anda mengirimkannya tanpa cache. Tanpa caching, N permintaan berbiaya N kali B. Dengan cache 5 menit, permintaan pertama menulis prefix dengan biaya 1.25B, sedangkan N dikurangi 1 permintaan lainnya membacanya dengan biaya 0.1B. Samakan kedua biaya tersebut dan Anda mendapatkan 0.9N = 1.15, sehingga N = 1.28. Permintaan kedua sudah lebih murah daripada tidak menggunakan caching sama sekali.

Ulangi perhitungan tersebut dengan penulisan 2x pada cache 1 jam dan Anda mendapatkan 0.9N = 1.9, sehingga N = 2.11. Cache berdurasi panjang memerlukan dua pembacaan sebelum mencapai titik impas. Karena itu, cache tersebut bukan pilihan default.

Dengan biaya pembacaan yang lebih murah, titik tersebut bergeser, tetapi tidak jauh. Pada pembacaan 0.05x, cache 5 menit menghasilkan 0.95N = 1.2, sehingga N = 1.26. Pada 0.025x, hasilnya 0.975N = 1.225, yang juga menghasilkan N = 1.26. Cache 1 jam turun menjadi N = 2.05 dan N = 2.03. Kesimpulan praktisnya sama pada setiap model: cache 5 menit mulai menguntungkan sejak permintaan kedua, sedangkan cache 1 jam sejak permintaan ketiga.

Bagan di bawah menghitung biaya ini untuk prefix 20,000 token pada Claude Opus 5. Tarif input dasarnya adalah $5 per juta token per Oktober 2026, tidak berubah sejak Agustus. Opus 5 kini merupakan model legacy, meskipun masih tersedia. Penerusnya, Claude Opus 5.5, menetapkan tarif $4 per juta dengan pembacaan 0.05x. Dengan demikian, prefix yang sama berbiaya $0.10 untuk ditulis dan $0.004 untuk dibaca. Kalikan setiap angka dengan 0.6 untuk model seharga $3 per juta dengan pembacaan standar 0.1x. Bentuk kurvanya tidak berubah.

GrafikCost of N requests sharing a 20,000 token prefix (Claude Opus 5, August 2026 prices)
Data di balik grafik ini
[
  {
    "requests": 1,
    "uncached_usd": "0.10",
    "cached_5m_usd": "0.125",
    "cached_1h_usd": "0.20"
  },
  {
    "requests": 2,
    "uncached_usd": "0.20",
    "cached_5m_usd": "0.135",
    "cached_1h_usd": "0.21"
  },
  {
    "requests": 3,
    "uncached_usd": "0.30",
    "cached_5m_usd": "0.145",
    "cached_1h_usd": "0.22"
  },
  {
    "requests": 5,
    "uncached_usd": "0.50",
    "cached_5m_usd": "0.165",
    "cached_1h_usd": "0.24"
  },
  {
    "requests": 10,
    "uncached_usd": "1.00",
    "cached_5m_usd": "0.215",
    "cached_1h_usd": "0.29"
  },
  {
    "requests": 20,
    "uncached_usd": "2.00",
    "cached_5m_usd": "0.315",
    "cached_1h_usd": "0.39"
  }
]

Satu permintaan saja berbiaya $0.10 tanpa cache dan $0.125 dengan cache. Karena itu, caching untuk prompt yang hanya digunakan sekali merupakan kerugian murni. Pada permintaan kedua, cache 5 menit berbiaya $0.135, dibandingkan $0.20. Pada titik tersebut, cache 1 jam masih lebih mahal, yaitu $0.21, dibandingkan $0.20 yang sama. Cache ini baru lebih murah daripada tanpa cache pada permintaan ketiga: $0.22, dibandingkan $0.30. Pada 20 permintaan, selisihnya adalah $2.00 tanpa cache dibandingkan $0.315 dengan cache.

Cache hit juga memperbarui masa berlaku entri. Karena itu, tabel harga yang dipublikasikan menyebut kolom tersebut sebagai cache hits and refreshes. Endpoint yang sibuk dapat mempertahankan entri 5 menit tanpa batas waktu selama terus menerima cache hit, dengan biaya pembacaan. Masa berlaku 1 jam hanya mengompensasi biaya penulisan 2x jika trafik Anda memiliki jeda yang nyata.

Biaya dari hit rate yang rendah

Miss cache terjadi pada trafik nyata. Request yang tidak menemukan cache tetapi tetap membawa breakpoint dikenai biaya sebagai write. Karena itu, cara pemodelan yang tepat adalah menghitung biaya sebagai fungsi hit rate. Grafik di bawah ini menunjukkan perhitungannya untuk 1,000 request, yang masing-masing membawa prefix berukuran 20,000 token.

GrafikCost of 1,000 requests by cache hit rate, 20,000 token prefix
Data di balik grafik ini
[
  {
    "hit_rate_percent": 0,
    "cost_5m_usd": "125.00",
    "cost_1h_usd": "200.00",
    "uncached_usd": "100.00"
  },
  {
    "hit_rate_percent": 25,
    "cost_5m_usd": "96.25",
    "cost_1h_usd": "152.50",
    "uncached_usd": "100.00"
  },
  {
    "hit_rate_percent": 50,
    "cost_5m_usd": "67.50",
    "cost_1h_usd": "105.00",
    "uncached_usd": "100.00"
  },
  {
    "hit_rate_percent": 75,
    "cost_5m_usd": "38.75",
    "cost_1h_usd": "57.50",
    "uncached_usd": "100.00"
  },
  {
    "hit_rate_percent": 90,
    "cost_5m_usd": "21.50",
    "cost_1h_usd": "29.00",
    "uncached_usd": "100.00"
  },
  {
    "hit_rate_percent": 95,
    "cost_5m_usd": "15.75",
    "cost_1h_usd": "19.50",
    "uncached_usd": "100.00"
  },
  {
    "hit_rate_percent": 99,
    "cost_5m_usd": "11.15",
    "cost_1h_usd": "11.90",
    "uncached_usd": "100.00"
  }
]

Pada hit rate 0 persen, biaya yang dibayar adalah $125.00, bukan $100.00, dan cache 1 hour menggandakan tagihan menjadi $200.00. Penyelesaian persamaan 1.25 dikurangi 1.15h = 1 menunjukkan bahwa cache 5 minute mulai menghemat biaya pada hit rate sekitar 22 persen. Karena itu, hit rate 25 persen sudah menghasilkan $96.25. Perhitungan yang sama pada write 2x menghasilkan sekitar 53 persen untuk cache 1 hour. Jadi, hit rate 50 persen masih menimbulkan biaya $105.00, yang lebih tinggi daripada biaya tanpa cache. Pada 90 persen, keduanya menghasilkan $21.50 dan $29.00. Pada 99 persen, cache dengan durasi lebih singkat mencapai $11.15, mendekati batas minimum sebesar sepersepuluh harga tanpa cache.

Pada model dengan read 0.05x, ambang tersebut turun menjadi sekitar 21 persen untuk cache 5 minute dan 51 persen untuk cache 1 hour. Pada read 0.025x, ambang tersebut turun menjadi sekitar 20 dan 51 persen. Batas minimumnya turun seiring harga read, menjadi seperdua puluh atau seperempat puluh dari biaya tanpa cache.

Hit rate adalah angka yang perlu diinstrumentasikan karena setelah ukuran prefix ditetapkan, hanya angka inilah yang dapat Anda kendalikan.

Awalan mana yang layak diberi breakpoint

Sebuah request dapat membawa hingga empat breakpoint cache. Karena itu, pertanyaannya adalah blok mana yang layak diberi breakpoint. Kandidatnya adalah blok yang identik byte demi byte pada setiap pemanggilan dan cukup besar untuk memberikan dampak. Bagan di bawah ini membandingkan biaya empat bentuk umum untuk 1,000 request dengan hit rate 90 persen pada cache 5 menit.

GrafikCost per 1,000 requests at a 90% hit rate, by cached prefix (Claude Opus 5)
Data di balik grafik ini
[
  {
    "label": "System prompt",
    "prefix_size_tokens": "2,000",
    "uncached_usd": "10.00",
    "cached_usd": "2.15",
    "saved_usd": "7.85"
  },
  {
    "label": "System plus tools",
    "prefix_size_tokens": "8,000",
    "uncached_usd": "40.00",
    "cached_usd": "8.60",
    "saved_usd": "31.40"
  },
  {
    "label": "Policy document",
    "prefix_size_tokens": "25,000",
    "uncached_usd": "125.00",
    "cached_usd": "26.88",
    "saved_usd": "98.12"
  },
  {
    "label": "Codebase context",
    "prefix_size_tokens": "120,000",
    "uncached_usd": "600.00",
    "cached_usd": "129.00",
    "saved_usd": "471.00"
  }
]

System prompt tanpa tool berukuran 2,000 token menghemat $7.85 per 1,000 request dibandingkan biaya $10.00 tanpa cache. Pada volume tinggi, jumlah ini berarti, tetapi bukan itu yang membuat caching menarik. Tambahkan definisi tool, dan ukurannya menjadi 8,000 token dengan penghematan $31.40. Dokumen kebijakan berukuran 25,000 token, yang menjadi dasar pertanyaan pada setiap request, menghemat $98.12. Baris terakhir adalah yang mengubah arsitektur: konteks codebase atau transkrip berukuran 120,000 token berbiaya $600.00 tanpa cache dan $129.00 dengan cache, sehingga menghemat $471.00.

Penghematan meningkat seiring ukuran awalan dan hit rate, serta tidak dipengaruhi hal lain. Hal ini mengubah materi yang layak dimasukkan ke prompt: berapa biaya sebenarnya 1 juta token Claude turun menjadi sepersepuluh dari harga tercantum, atau bahkan lebih rendah pada model dengan biaya pembacaan yang lebih murah, untuk apa pun yang Anda kirim lebih dari sekali.

Tampilan pada tagihan bulanan

Bagan di bawah ini menggunakan prefix 8,000 token dari bagian sebelumnya, prompt sistem serta definisi alat, dengan tingkat cache hit 90 persen, lalu menskalakannya ke volume permintaan bulanan.

GrafikMonthly input cost, 8,000 token cached prefix at a 90% hit rate
Data di balik grafik ini
[
  {
    "label": "10k requests",
    "uncached_usd": "400.00",
    "cached_usd": "86.00",
    "saved_usd": "314.00"
  },
  {
    "label": "100k requests",
    "uncached_usd": "4,000.00",
    "cached_usd": "860.00",
    "saved_usd": "3,140.00"
  },
  {
    "label": "1M requests",
    "uncached_usd": "40,000.00",
    "cached_usd": "8,600.00",
    "saved_usd": "31,400.00"
  }
]

Pada 10,000 permintaan per bulan, penghematannya adalah $314.00, yaitu selisih antara $400.00 dan $86.00. Pada 100,000 permintaan, penghematannya adalah $3,140.00. Pada satu juta permintaan, tagihan input tanpa cache adalah $40,000.00, dan caching menghapus $31,400.00 dari biaya tersebut. Angka ini hanya mencakup input token. Output dihargai secara terpisah, dan caching tidak memengaruhinya. Ingat hal ini sebelum menjanjikan pengurangan tagihan sebesar 90 persen kepada siapa pun. Caching melengkapi kebiasaan lain yang lebih luas dalam mengendalikan tagihan AI agent di VPS.

Cara membuktikan bahwa cache berfungsi

Jangan hanya mengandalkan desain. Baca blok usage pada respons. Setiap respons Messages API (application programming interface) melaporkan jumlah token yang ditulis ke cache, jumlah token yang dibaca dari cache, dan jumlah token baru yang harus diproses.

from anthropic import Anthropic

client = Anthropic()

resp = client.messages.create(
    model="claude-opus-5",
    max_tokens=512,
    system=[
        {
            "type": "text",
            "text": POLICY_DOCUMENT,
            "cache_control": {"type": "ephemeral"},
        }
    ],
    messages=[{"role": "user", "content": question}],
)

u = resp.usage
print("write:", u.cache_creation_input_tokens)
print("read: ", u.cache_read_input_tokens)
print("fresh:", u.input_tokens)

Jalankan dua kali dengan dokumen yang sama dan pertanyaan yang berbeda. Panggilan pertama melaporkan cache_creation_input_tokens yang bukan nol dan cache_read_input_tokens yang nol. Panggilan kedua menunjukkan kebalikannya karena prefix ditemukan. input_tokens hanya menghitung token setelah breakpoint terakhir, sehingga pada panggilan kedua yang sehat nilainya kecil, biasanya hanya pesan pengguna yang baru. Kedua panggilan tetap dikenai biaya karena Claude API tidak memiliki free tier, meskipun untuk prefix 20,000 token, harga pasangan panggilan tersebut sekitar empat belas sen.

Pemeriksaan yang sama dari shell, menggunakan request body yang telah Anda simpan ke request.json:

curl -s https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d @request.json | jq '.usage'

Panggilan kedua yang sehat akan mencetak keluaran seperti ini:

{
  "input_tokens": 42,
  "cache_creation_input_tokens": 0,
  "cache_read_input_tokens": 20143,
  "output_tokens": 187
}

Satu baris menunjukkan kondisi sebenarnya. Jika cache_read_input_tokens tetap 0 pada setiap panggilan, Anda membayar biaya penulisan 1.25x setiap kali, tetapi tidak mendapatkan manfaat apa pun.

Untuk masa berlaku 1 jam, breakpoint menyertakan time to live (TTL):

{
  "type": "text",
  "text": "your stable prefix",
  "cache_control": {"type": "ephemeral", "ttl": "1h"}
}

Tersedia juga caching otomatis: satu field cache_control pada level teratas request, setelah itu API mengelola breakpoint seiring percakapan bertambah. Fitur ini menggunakan satu dari empat slot breakpoint Anda. Mulailah dari sini. Beralihlah ke breakpoint eksplisit jika Anda perlu menentukan lokasi batas secara tepat.

Aturan pengurutan yang menghancurkan hit rate

Cache mencocokkan prefix byte demi byte sejak awal request. Request dirangkai dalam urutan tetap: tools, lalu system, kemudian messages. Perubahan pada tingkat mana pun membatalkan tingkat tersebut dan semua tingkat setelahnya. Jika Anda mengedit satu deskripsi tool, system prompt dan seluruh riwayat messages ikut dibatalkan, meskipun Anda tidak mengubahnya.

Hal ini menghasilkan satu aturan tanpa pengecualian. Apa pun yang berubah antar-call harus ditempatkan setelah semua hal yang tidak berubah.

Penyebab yang paling umum adalah timestamp. Baris yang berisi Current time: 2026-08-03T14:07:11Z di bagian atas system prompt menjamin hit rate 0 persen, karena hash prefix berbeda pada setiap call dan tidak ada entry sebelumnya yang dapat mencocokkannya. Pindahkan baris tersebut ke user message, di bagian akhir. Session identifier atau nonce per-request menimbulkan masalah yang sama dan memiliki solusi yang sama. Dokumen hasil retrieval yang berbeda pada setiap request juga harus ditempatkan setelah blok yang di-cache. Jika tidak, semua token yang stabil terdorong ke belakang boundary yang terus berpindah.

Penyebab kedua adalah menempatkan breakpoint pada blok yang berubah. Cache ditulis pada breakpoint. Jadi, jika blok tersebut berbeda setiap kali, tidak ada konten stabil yang pernah disimpan, dan proses lookback hanya menemukan entry yang ditulis request sebelumnya pada breakpoint yang juga berpindah. Tempatkan cache_control pada blok terakhir yang kontennya identik antar-request.

Penyebab ketiga adalah perubahan parameter yang tidak Anda anggap sebagai konten prompt. Model yang berbeda memiliki cache yang berbeda. Mengubah tool_choice membatalkan riwayat messages, tetapi tools dan system prompt tetap di-cache. Menambahkan atau menghapus tool membatalkan semuanya.

Prefiks minimum dan no-op tanpa pemberitahuan

Prefiks yang lebih pendek daripada minimum model tidak akan di-cache, dan tidak ada pemberitahuan apa pun. Tidak ada error atau peringatan. Request berhasil, dan kedua penghitung menunjukkan 0. Per Oktober 2026, batas minimum yang dipublikasikan adalah:

  • 512 token pada Claude Opus 5 dan Claude Fable 5, serta pada Opus 5.5, Sonnet 5.5, Fable 5.1, dan Haiku 5.5 yang lebih baru
  • 1,024 token pada Claude Sonnet 5 dan Claude Opus 4.8
  • 4,096 token pada Claude Haiku 4.5

Jika kedua penghitung menunjukkan 0 pada request yang menurut Anda seharusnya menggunakan cache, periksa panjang prefiks terlebih dahulu. Inilah alasan model termurah tidak otomatis menjadi model termurah untuk beban kerja caching. Haiku 4.5 memerlukan prefiks yang delapan kali lebih panjang daripada Opus 5 agar caching aktif. Karena itu, system prompt sepanjang 2,000 token akan di-cache pada satu model, tetapi diabaikan tanpa pemberitahuan pada model lainnya.

Tempat Claude Code menyimpan cache untuk Anda, dan hal yang tidak dapat dibantu olehnya

Claude Code menyimpan cache prefix miliknya sendiri. System prompt dan definisi tool berada di bagian awal setiap request dan tidak berubah, sehingga keduanya ditulis sekali lalu dibaca kembali selama sisa sesi. Karena itu, biaya per giliran dalam sesi yang panjang jauh lebih rendah daripada yang ditunjukkan oleh ukuran konteks. Hal ini terlihat pada penghitung yang dijelaskan dalam cara Claude Code melaporkan penggunaan token.

Cache tidak dapat membantu jika terjadi perubahan di dekat awal konteks. Riwayat percakapan hanya dapat ditambahkan, sehingga giliran baru biasanya memperpanjang prefix yang sudah tersimpan di cache. Mengedit file yang dibaca di awal sesi tidak membatalkan cache tersebut, karena Claude Code menambahkan catatan bahwa file telah berubah, bukan menulis ulang hasil pembacaan sebelumnya. Yang membatalkan cache adalah perpindahan model, karena setiap model memiliki cache sendiri. Menghubungkan server MCP yang tool-nya dimuat ke dalam prefix juga membatalkan cache. Pemadatan percakapan memiliki efek yang sama. Setiap tindakan ini menyebabkan prefix ditulis kembali pada giliran berikutnya. Jeda idle yang panjang juga menghasilkan efek yang sama, karena entri cache kedaluwarsa dan giliran berikutnya harus melakukan penulisan penuh. Semua ini bukan bug. Ini adalah aturan prefix yang bekerja sesuai ketentuannya.

Jika Anda menulis client sendiri, terapkan susunan ini sejak request pertama, bukan dengan menyesuaikannya belakangan. Bangun pemanggilan seperti yang dijelaskan dalam aplikasi Claude API pertama pada VPS, dengan blok yang stabil di bagian awal dan blok yang berubah-ubah di bagian akhir.

Penyebab kegagalan dan hal yang akan Anda lihat

Setiap pemanggilan adalah operasi tulis. cache_creation_input_tokens bernilai non-zero pada setiap request, sedangkan cache_read_input_tokens tetap bernilai 0. Sesuatu pada atau sebelum breakpoint berubah di antara pemanggilan. Cetak 200 karakter pertama dari prefix yang Anda susun pada dua request berturut-turut, lalu bandingkan secara visual.

Kedua penghitung bernilai 0. Prefix lebih pendek daripada minimum model, atau field cache_control tidak pernah sampai ke API. Hitung token prefix terlebih dahulu, lalu catat request body yang benar-benar Anda kirim.

Pembacaan berhasil, lalu berhenti. Serangkaian hit terjadi, kemudian satu operasi tulis, lalu hit kembali. Jeda antar-request lebih panjang daripada masa berlaku. Terima operasi tulis tersebut, atau pindah ke TTL 1 jam setelah Anda memastikan hit rate mencapai 53 persen, atau sekitar 51 persen pada model dengan pembacaan 0.05x atau 0.025x.

Hit rate turun setelah deploy. Deskripsi tool diedit atau model diubah. Keduanya membatalkan seluruh prefix. Setelah setiap deploy yang mengubah prompt, perkirakan satu rangkaian operasi tulis yang mahal.

Tagihan meningkat setelah Anda mengaktifkan caching. Hit rate Anda berada di bawah titik impas. Di bawah sekitar 22 persen pada cache 5 menit, mengirim prefix tanpa caching lebih murah. Hal yang sama berlaku di bawah sekitar 53 persen pada cache 1 jam. Pada model dengan biaya pembacaan lebih rendah, batas tersebut berada di sekitar 20 hingga 21 persen dan 51 persen.

FAQ

Berapa kali prompt harus digunakan ulang sebelum caching mulai menguntungkan?

Sekali, pada cache 5 menit. Biaya penulisan adalah 1.25x input dasar, sedangkan biaya pembacaan adalah 0.1x pada sebagian besar model. Dengan demikian, N permintaan tanpa cache berbiaya N, sedangkan N permintaan dengan cache berbiaya 1.25 ditambah 0.1 dikali N dikurangi 1. Keduanya berpotongan pada N = 1.28, sehingga permintaan kedua sudah lebih murah. Pada model dengan pembacaan 0.05x atau 0.025x, titik perpotongannya adalah N = 1.26, sehingga hasilnya sama. Cache 1 jam memiliki biaya penulisan 2x dan berpotongan pada N = 2.11, atau sekitar 2.05 dengan pembacaan yang lebih murah. Jadi, cache ini memerlukan dua pembacaan.

Mengapa cache_read_input_tokens selalu bernilai 0?

Periksa panjang prefix terlebih dahulu. Jika panjangnya di bawah minimum model—512 token pada Claude Opus 5 dan 4,096 pada Claude Haiku 4.5 per Oktober 2026—caching dilewati secara diam-diam dan kedua penghitung bernilai 0. Jika prefix cukup panjang, cari konten yang berubah di antara pemanggilan dan berada pada atau sebelum breakpoint, misalnya timestamp atau identifier sesi dalam system prompt. Jika penghitung sebelumnya berfungsi lalu berhenti, jeda antara permintaan melebihi masa berlaku cache.

Apakah prompt caching mengubah jawaban Claude?

Tidak. Cache menyimpan bentuk token yang telah diproses dan sudah Anda kirimkan, sedangkan model menerima prompt yang sama pada kedua kondisi. Ini adalah fitur penagihan dan latensi, bukan perubahan perilaku. Artinya, Anda dapat mengaktifkannya pada prompt yang sudah berfungsi tanpa menjalankan ulang evaluasi.

Apakah saya perlu membayar cache 1 jam?

Hanya jika trafik Anda memiliki jeda lebih dari 5 menit dan hit rate Anda masih mencapai sekitar 53 persen, atau sekitar 51 persen pada model dengan biaya pembacaan yang lebih rendah. Saat cache miss, biaya penulisan 2x adalah empat kali biaya penulisan 1.25x. Cache miss pada penulisan 1 jam membuang seluruh harga input dasar prefix, sedangkan cache miss pada penulisan 5 menit hanya membuang seperempatnya. Entri 5 menit diperbarui setiap kali terjadi cache hit. Karena itu, trafik yang stabil dapat mempertahankannya dengan biaya pembacaan tanpa membayar masa berlaku yang lebih panjang.

Apakah artikel ini bermanfaat?

#claude#prompt-caching#api#token-costs#optimization