Prompt Caching: Cara Hemat Biaya API sampai 90% (dan Kapan Nggak Ngaruh)

Prompt caching bisa memangkas tagihan API sampai 60% — tapi diskon 90%-nya cuma berlaku untuk token yang di-cache, bukan seluruh tagihan. Artikel ini menjelaskan cara kerjanya, harga per provider per November 2026, dan kapan caching justru bikin tagihanmu naik.

Prompt caching featured - Prompt Caching: Cara Hemat Biaya API sampai 90% (dan Kapan Nggak Ngaruh)
Prompt Caching: Cara Hemat Biaya API sampai 90% (dan Kapan Nggak Ngaruh)

Di Artikel Ini

TL;DR: Prompt caching bikin provider AI tidak menagih penuh setiap kali kamu mengirim prompt yang sama. Bagian yang tidak berubah — instruksi sistem, definisi tools, contoh, dokumen — diproses sekali, disimpan, lalu dipakai ulang dengan harga baca sekitar sepersepuluh harga input normal: $0,10 per juta token di Claude Sonnet 5.5 dan Gemini 4 Argon (dari $2). Tapi diskon 90% itu berlaku untuk token yang di-cache, bukan seluruh tagihan — dan cache ada biaya tulis, masa hidup, dan batas minimum token.

💡 Key Takeaway

  • Baca cache sekitar 0,1x harga input normal di ketiga provider besar. Tulis cache biayanya 1,25x untuk TTL pendek dan 2x sampai 2,5x untuk TTL panjang.
  • Balik modalnya cepat kalau prefix dipakai berulang: TTL 5 menit di Claude untung di request kedua, TTL 1 jam di request ketiga. Kalau cuma dipakai sekali, kamu malah bayar 25% lebih mahal.
  • Prompt pendek tidak di-cache sama sekali — dan API tidak memberi error. Minimumnya 512 token di model Claude terbaru, 1.024 token di OpenAI GPT-5.6 ke atas, dan 4.096 token di Gemini 3/4.
  • Susun prompt dari yang paling stabil ke yang paling berubah: instruksi sistem, tools, dan dokumen di awal; pertanyaan user di akhir. Caching tidak menyentuh token output — ini trik biaya, bukan trik kualitas.

Tagihan API kamu mahal bukan karena modelnya — tapi karena kamu bayar ulang hal yang sama

Bayangin bot customer service-mu: tiap chat masuk, bot mengirim instruksi sistem yang sama — cara menjawab, aturan refund, daftar produk, contoh percakapan — sekitar 8.000 token, plus 500 token pertanyaan. Dengan 1.000 chat sehari, kamu membayar 8 juta token yang isinya persis sama, ditambah 500 ribu token yang benar-benar baru.

Itu seperti membayar penerjemah membaca ulang buku panduan 200 halaman setiap kali ada satu pertanyaan baru — bukunya tidak berubah, tapi tagihannya jalan terus seolah dibaca dari nol.

Di sinilah prompt caching masuk: provider menyimpan hasil pemrosesan bagian prompt yang tidak berubah, lalu memakainya ulang dengan harga sekitar sepersepuluh dari harga normal. Kalau kamu pernah takut biaya AI agent membengkak, ini salah satu tuas paling besar — tanpa ganti model, tanpa turunkan kualitas. Angka “sampai 90%” itu benar, tapi ada syaratnya.

Cara kerja prompt caching, tanpa jargon

Model mengubah prompt jadi “catatan kerja” internal (KV state) sebelum menjawab — dan menghitung catatan ini adalah bagian mahal dari tiap request. Prompt caching menyimpan catatan itu di sisi provider, jadi request berikutnya dengan awalan yang persis sama tidak perlu menghitung ulang.

Tiga hal yang perlu kamu pahami. Pertama, yang di-cache itu prefix — awal prompt. Provider mencocokkan prompt dari token pertama ke depan. Kalau token ke-100 berubah, semua yang sesudahnya ikut tidak cocok. Karena itu urutan prompt penting: yang stabil di depan, yang berubah-ubah di belakang.

Kedua, kecocokannya harus persis sama, byte per byte. Satu karakter berbeda, satu tool yang urutannya tertukar, satu timestamp di awal — semuanya bikin cache miss. Ketiga, cache itu sementara: TTL-nya 5 menit di Claude, 30 menit di OpenAI GPT-5.6 ke atas, 1 jam di Gemini explicit. Tiap kali dipakai, masa hidupnya diperpanjang gratis; kalau tidak, cache kedaluwarsa dan request berikutnya menulis ulang dari nol, lengkap dengan biaya tulisnya.

Harganya per provider — tabel yang bisa kamu pegang

Semua harga di bawah ini dicek pada 19 November 2026 dari dokumentasi resmi masing-masing provider. Harga API berubah berkala — Gemini 4 Argon misalnya naik dua kali lipat pada 1 Desember 2026 — jadi anggap tabel ini foto per November 2026.

Claude (Anthropic): paling eksplisit, paling terkontrol

Claude memakai sistem opt-in: kamu menandai sendiri bagian mana yang di-cache dengan cache_control. Ada juga mode otomatis yang memindahkan breakpoint mengikuti percakapan. Harga per juta token, dari dokumentasi Anthropic:

Model Input normal Tulis 5 menit Tulis 1 jam Baca cache
Claude Sonnet 5.5 $2 $2,50 $4 $0,10
Claude Opus 5.5 $4 $5 $8 $0,20
Claude Haiku 5.5 (prompt ≤100 ribu token) $0,10 $0,125 $0,20 $0,01
Claude Sonnet 5 $2 $2,50 $4 $0,20
Claude Fable 5.2 $8 $10 $16 $0,20

Baca cache di model terbaru lebih murah dari 0,1x — Sonnet 5.5 dan Opus 5.5 cuma 0,05x, Fable 5.2 cuma 0,025x; model lama masih 0,1x. Prefix dihitung dengan urutan tools, system, messages; maksimal 4 breakpoint; minimum 512 token untuk model 5.x terbaru, 1.024–4.096 untuk model lama; TTL default 5 menit.

Gemini (Google): dua mode, satu otomatis, satu manual

Gemini membagi caching jadi dua. Implicit caching aktif otomatis di semua model Gemini 2.5+ — tanpa pengaturan dan tanpa biaya simpan. Explicit caching berarti kamu membuat objek cache sendiri lewat API generateContent, dengan biaya simpan per jam. Explicit tidak didukung di Interactions API dan tidak ada di Gemini 4 ke atas.

Model Input normal Baca cache Minimum implicit Simpan explicit / jam
Gemini 4 Argon (s.d. 30 Nov 2026) $2 $0,10 (5%) 4.096 token Tidak ada explicit
Gemini 4 Argon (mulai 1 Des 2026) $4 $0,20 (5%) 4.096 token Tidak ada explicit
Gemini 3.8 Flash (s.d. 31 Des 2026) $0,75 $0,075 (10%) 4.096 token $0,50 / juta token
Gemini 3.1 Pro Preview $2 $0,20 (10%) 4.096 token $4,50 / juta token

Harga Gemini dari halaman pricing Google per Oktober 2026 (dikutip sumber sekunder yang merujuk langsung ke halaman itu). Catat dua tanggal: Argon $2 ke $4 per 1 Desember 2026, 3.8 Flash $0,75 ke $1,50 per 1 Januari 2027.

Untuk explicit, dua angka menentukan untung-rugi: minimum 32.768 token dan biaya simpan per jam. Cache 100 ribu token di 3.8 Flash biayanya $0,05 per jam dan sekali dibaca menghemat $0,0675 — satu baca per jam sudah impas. Di model Pro, simpan cache yang sama $0,45 per jam sementara satu baca cuma menghemat $0,18 — butuh sekitar 2,5 baca per jam.

OpenAI: otomatis, tapi aturan mainnya berubah di GPT-5.6

OpenAI mengambil jalan yang berlawanan dengan Anthropic: caching aktif otomatis, tanpa kode tambahan. Bedanya, sejak GPT-5.6, OpenAI mulai menagih biaya tulis cache — sebelumnya gratis.

Model Input normal Tulis cache Baca cache Minimum
GPT-5.6 ke atas Tergantung model 1,25x (30 menit) / 2,5x (12 jam) 0,1x (0,05x di GPT-6.1 Sol/Terra, GPT-6.2 Astra/Sol) 1.024 token
GPT-5.5 $5 Gratis $0,50 (0,1x) Bervariasi
GPT-4o $2 Gratis $0,40 (80% off) Bervariasi
GPT-4o-mini $0,15 Gratis $0,075 (50% off) Bervariasi

Di model lama, diskon baca tidak seragam — GPT-4o 80% off, GPT-4o-mini cuma 50% off. Angka GPT-5.5 dan GPT-4o dari halaman pricing OpenAI (sumber sekunder, Agustus–November 2026); cek ulang sebelum dipakai. Cache tidak dibagikan antar organisasi dan tidak bisa dipakai lintas region; di GPT-6.2, instruksi di field instructions selalu ditagih harga penuh walau cache hit — taruh instruksi yang bisa dipakai ulang di pesan developer pertama.

Hitung-hitungan nyata: bot CS 1.000 chat sehari

Skenario umum: bot customer service di Claude Sonnet 5.5. Setiap chat mengirim instruksi sistem + tools + contoh sepanjang 8.000 token (prefix yang sama), ditambah 500 token pertanyaan, dan bot menjawab 800 token. Volume 1.000 chat per hari × 30 hari = 30.000 request. Traffic tersebar di jam kerja, jadi cache 5 menit tetap hangat; tiap pagi ada satu tulis dingin. Harga Sonnet 5.5 per November 2026: input $2, output $10, tulis 5 menit $2,50, baca $0,10 per juta token.

Komponen Tanpa caching Dengan caching
Input prefix (8.000 token × 30.000 request) 240 juta token × $2 = $480 Tulis: 30 × 8.000 × $2,50 = $0,60; Baca: 29.970 × 8.000 × $0,10 = $23,98
Input baru (500 token × 30.000 request) 15 juta token × $2 = $30 15 juta token × $2 = $30
Output (800 token × 30.000 request) 24 juta token × $10 = $240 24 juta token × $10 = $240
Total per bulan $750 $294,58

Hasilnya: tagihan turun dari $750 jadi $294,58 — hemat $455,42 atau sekitar 60,7% dari total tagihan. Dari biaya input saja, hematnya 89,3% (dari $510 jadi $54,58). Dengan kurs Rp17.893 per dolar (artikel API key Komunitech, 12 Oktober 2026): dari sekitar Rp13,42 juta jadi sekitar Rp5,27 juta per bulan.

Kenapa “cuma” 60,7% padahal baca cache diskon 90%? Karena output tidak kena diskon, dan output di sini $240 dari $750. Kalau agent-mu banyak membaca tapi jawabannya pendek — klasifikasi, ekstraksi — hematnya mendekati 90%.

Balik modalnya: TTL 5 menit — satu tulis (1,25x) plus satu baca (0,1x) = 1,35x, lebih murah dari dua request tanpa cache (2x), jadi request kedua sudah untung. TTL 1 jam (tulis 2x): satu baca masih rugi (2,1x lawan 2x), tapi request ketiga sudah untung (2,2x lawan 3x). Aturan praktis: TTL 5 menit buat traffic ramai, TTL 1 jam cuma buat traffic tiap belasan menit.

Kapan caching hemat, kapan tidak

Skenario Putusan Kenapa
Bot CS ramai, instruksi sama, request tiap puluhan detik Hemat besar Prefix 8.000 token dibaca ratusan kali per jam
Agent multi-turn yang percakapannya makin panjang Hemat besar Riwayat yang menumpuk ikut ter-cache otomatis
Klasifikasi / ekstraksi ribuan dokumen, instruksi sama Hemat besar Prefix sama, dokumen beda di akhir
Prompt pendek di bawah minimum (misalnya 300 token) Tidak hemat sama sekali Di bawah ambang, provider diam-diam tidak meng-cache
Prefix berubah tiap request (timestamp, ID user di awal) Malah lebih mahal Cache miss terus; tiap request membayar tulis 1,25x
Traffic jarang — satu request per jam, TTL 5 menit Malah lebih mahal Cache kedaluwarsa sebelum dipakai ulang
Jawaban panjang, input pendek Hemat kecil Output tidak kena diskon; kalau output 80% tagihan, caching cuma menyentuh 20%
Dokumen besar di Gemini explicit tapi jarang dibaca Bisa rugi Biaya simpan per jam jalan terus; di Pro butuh ~2,5 baca per jam cuma buat impas

Dua baris yang paling sering bikin kecewa: prompt pendek dan prefix yang berubah. cache_control di instruksi 300 token tidak pernah masuk cache (minimum 512 token di Claude), dan API tidak memberi error — satu-satunya tanda adalah cache_read_input_tokens yang selalu nol. Timestamp atau ID user di awal prompt sebelum breakpoint: sekali token awal berubah, seluruh prefix sesudahnya tidak cocok. Pindahkan informasi itu ke akhir prompt.

Cara mengaktifkan: tiga provider, tiga gaya

Claude: tandai sendiri, atau serahkan ke mode otomatis

Kalau kamu belum punya key, ikuti dulu cara bikin Claude API key — key-nya berawalan sk-ant- dan cuma tampil sekali. Setelah itu, cara eksplisitnya begini:

import anthropic

client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-sonnet-5-5",
    max_tokens=1024,
    system=[
        {
            "type": "text",
            "text": "Kamu adalah asisten customer service Toko Kopi Senja. Jawab sopan dalam Bahasa Indonesia. Jangan janjikan refund di atas Rp500 ribu tanpa persetujuan supervisor.",
            "cache_control": {"type": "ephemeral"},  # TTL 5 menit
        }
    ],
    messages=[{"role": "user", "content": "Status pesanan #12345?"}],
)

print(response.usage.cache_read_input_tokens, "token dibaca dari cache")

Marker di blok terakhir berarti: cache semua yang ada sampai dan termasuk blok itu — dan karena urutan prefix adalah tools, system, messages, marker di system ikut meng-cache definisi tools. TTL 1 jam: tambahkan "ttl": "1h". Buat multi-turn, pakai mode otomatis: satu field cache_control di level teratas, breakpoint berpindah sendiri.

Cek respons: usage.cache_creation_input_tokens (ditulis) dan usage.cache_read_input_tokens (dibaca). Kalau angka baca selalu nol: prefix di bawah 512 token, ada yang berubah di awal prompt, atau jeda antar request lewat 5 menit.

Gemini: implicit jalan sendiri, explicit butuh kode

Untuk implicit, kamu tidak perlu melakukan apa pun — cukup susun prompt dengan benar: konten besar dan umum di awal, request dengan awalan serupa dalam waktu berdekatan. Cek usage.total_cached_tokens di respons buat memastikan cache kena. Ini salah satu dari tujuh fitur Gemini API yang jarang dipakai tapi bikin agent lebih murah. Explicit baru relevan kalau kamu butuh jaminan hit dan kontrol TTL:

from google import genai
from google.genai import types

client = genai.Client()
dokumen = open("laporan-tahunan.txt").read()

cache = client.caches.create(
    model="gemini-3.8-flash",
    config=types.CreateCachedContentConfig(
        contents=[dokumen],
        ttl="3600s",  # 1 jam
    ),
)

response = client.models.generate_content(
    model="gemini-3.8-flash",
    contents="Ringkas dokumen ini dalam 3 poin.",
    config=types.GenerateContentConfig(cached_content=cache.name),
)
print(response.usage_metadata)  # cek token yang ter-cache di sini

Batasannya: explicit butuh minimum 32.768 token, cuma jalan di generateContent (bukan Interactions API), tidak ada di Gemini 4, dan ada biaya simpan per jam. Dokumen 5.000 token? Jangan paksakan explicit — implicit sudah cukup.

OpenAI: tidak usah diaktifkan — tapi perlu diawasi

Di GPT-5.5 ke bawah, caching otomatis dan tulisnya gratis: tidak perlu mengubah satu baris kode pun. Prefix di atas 1.024 token yang sama dengan request sebelumnya otomatis didiskon — cukup periksa cached_tokens di field usage respons.

from openai import OpenAI

client = OpenAI()
response = client.responses.create(
    model="gpt-5.6",
    input=[
        {"role": "developer", "content": "Kamu adalah asisten customer service Toko Kopi Senja. Jawab sopan dalam Bahasa Indonesia."},
        {"role": "user", "content": "Status pesanan #12345?"},
    ],
)
print(response.usage.input_tokens_details.cached_tokens, "token dari cache")

Di GPT-5.6 ke atas, default tetap implicit, tapi kamu bisa memilih explicit lewat prompt_cache_options.mode dan menandai breakpoint dengan prompt_cache_breakpoint. Tulis cache di model ini sudah berbayar (1,25x untuk 30 menit, 2,5x untuk 12 jam). OpenAI menyediakan Prompt Caching Dashboard dan alat diagnostik — pakai itu kalau hit rate-mu rendah.

Jangan berhenti di caching: gabungkan dengan trik hemat lain

Caching itu satu tuas. Tagihan API punya beberapa tuas lain, dan yang paling besar sering bukan caching.

Pilih model sesuai beban. Selisih harga antar model jauh lebih besar dari diskon cache: di Claude, Haiku 5.5 ($0,10 input) lawan Opus 5.5 ($4 input) itu 40 kali lipat. Untuk pertanyaan berulang seperti jam buka atau status pesanan, model kecil biasanya cukup. Caching tidak menyelamatkanmu kalau modelnya salah pilih.

Pangkas token yang tidak perlu. Contoh yang sudah tidak relevan, riwayat chat yang dibawa utuh padahal cuma 3 giliran terakhir yang dipakai, dokumen yang ditempel lengkap padahal cuma satu bab yang ditanya — semuanya menambah token input yang harus dibayar, cached atau tidak.

Batch API untuk kerja yang tidak buru-buru. Ketiga provider memberi diskon 50% untuk pekerjaan yang hasilnya tidak harus keluar detik itu juga — klasifikasi ribuan baris, evaluasi, ringkasan arsip. Caching dan batch bisa ditumpuk: prefix yang di-cache di dalam job batch ikut mendapat harga baca cache dari tarif batch.

7 kesalahan yang paling sering terjadi

1. Breakpoint di blok yang berubah tiap request. cache_control ditaruh di blok berisi timestamp — hasilnya tiap request menulis cache baru tanpa pernah mendapat hit. Pindahkan breakpoint ke akhir blok statis.

2. Prefix di bawah minimum token. 300 token di Claude, 900 token di OpenAI, 3.000 token di Gemini — semuanya diam-diam tidak di-cache. Kalau tagihanmu tidak turun, cek dulu panjang prefix-mu.

3. Menganggap cache hit itu pasti. Cache bisa kedaluwarsa, di-evict saat server padat, atau miss karena routing. Ukur hit rate dari field usage di respons — di bawah 50%, ada yang salah di struktur prompt atau pola traffic-mu.

4. Memakai TTL 1 jam untuk traffic yang jarang. TTL panjang mahal di depan (2x tulis) dan cuma balik modal kalau ada cukup banyak request dalam satu jam. Satu request per jam tetap membayar tulis 2x tanpa pernah membaca.

5. Menaruh data per-user di awal prompt. Nama pelanggan, ID akun, nomor pesanan — semua yang beda per request harus di akhir prompt, setelah breakpoint. Satu ID di awal merusak seluruh prefix sesudahnya.

6. Lupa bahwa output tidak kena diskon. “Hemat 90%” itu dari biaya input — kalau output dominan di tagihanmu, pilih model yang output-nya lebih murah.

7. Tidak memonitor usage. Ketiga provider memberi angka cache di setiap respons — cache_read_input_tokens (Claude), total_cached_tokens (Gemini), cached_tokens (OpenAI). Kalau kamu tidak pernah melihat angka ini, kamu tidak tahu apakah caching-mu jalan.

Pertanyaan yang sering ditanya soal prompt caching

Apakah prompt caching mengubah jawaban model?

Tidak. Cache menyimpan hasil pemrosesan prefix (KV state), bukan jawaban yang sudah jadi. Model tetap menghasilkan jawaban dari nol di setiap request — yang berubah cuma tagihan, dan biasanya sedikit lebih cepat.

Apakah caching bisa dipakai di Claude Code atau OpenClaw?

Ya, secara otomatis — Claude Code memanfaatkan prompt caching untuk konteks percakapan yang panjang tanpa kamu perlu mengatur apa pun. Manfaat yang dibahas di artikel ini paling terasa waktu kamu membangun agent sendiri lewat API.

Berapa minimum token supaya caching jalan?

Claude: 512 token untuk model 5.x terbaru, 1.024–4.096 untuk model lama. OpenAI GPT-5.6 ke atas: 1.024 token. Gemini implicit: 4.096 token untuk model 3 dan 4, 2.048 untuk Gemini 2.5; explicit: 32.768 token. Di bawah angka itu, request tetap berhasil — cuma tidak di-cache, tanpa peringatan.

Apakah data yang di-cache aman? Dipakai buat training tidak?

Yang disimpan adalah KV tensor — hasil pemrosesan, bukan teks prompt mentah — dan cache tidak dibagikan antar organisasi. OpenAI menyatakan prompt caching kompatibel dengan Zero Data Retention (ZDR), dan cache disimpan terenkripsi maksimal 24 jam. Praktik amannya: jangan taruh rahasia ke dalam prefix.

Kenapa tagihan saya tidak turun padahal sudah pasang cache_control?

Pertama, lihat cache_read_input_tokens — kalau nol, cache tidak pernah hit. Kedua, hitung panjang prefix-mu. Ketiga, cari yang berubah di awal prompt: timestamp, ID user, urutan tools. Keempat, cek jeda antar request — lebih dari 5 menit (Claude) atau 30 menit (OpenAI GPT-5.6+), cache sudah kedaluwarsa.

Apakah caching cocok untuk chatbot yang dipakai sekali-sekali?

Tidak. Caching butuh pengulangan prefix yang sama dalam masa hidup cache. Kalau tiap pengguna bertanya sekali lalu pergi, dan jeda antar pengguna lebih dari 5 menit, kamu membayar biaya tulis tanpa pernah mendapat baca — 25% lebih mahal dari tanpa caching. Untuk traffic sepi, pilih model yang lebih murah atau pakai Batch API.

Penutup: caching itu diskon, bukan sulap

Prompt caching adalah salah satu dari sedikit trik hemat biaya yang tidak meminta kamu mengorbankan apa pun: modelnya sama, jawabannya sama, kodenya hampir tidak berubah. Yang dia minta cuma disiplin menyusun prompt dan sedikit hitung-hitungan di depan: berapa panjang prefix-mu, seberapa sering dipakai ulang, dan berapa porsi output di tagihanmu.

Kalau tiga angka itu sudah kamu tahu, keputusannya jelas sendiri. Prefix panjang yang dipakai berulang: nyalakan caching, dan ukur hit rate-nya minggu ini. Prefix pendek atau traffic sepi: pakai tuas lain — model yang lebih kecil, prompt yang lebih ramping, atau Batch API. Diskon 90% itu nyata, tapi cuma untuk bagian tagihan yang memang bisa didiskon.

Sumber dan bacaan lanjutan

Avatar Priyo Harjiyono

Workshop · Batch 12

2 jam bikin AI Agent pertamamu

Minggu, 18 Okt 2026 · 20.00 WIB

Rp399.000 Rp1.800.000

Modul Gratis

Modul intro Karyawan AI

Tiga bab video + worksheet + grup Telegram. Gratis.

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *