Prompt caching nima? Bir marta o'qiganini eslab qolish — 90% tejamkorlik

Har bir API so’rovida model sizning kontekst oynangizni to’liq qayta o’qiydi. Suhbat davom etganda ham, 50 ta misoli bor prompt takrorlanganda ham. Bu — token sifatida to’lanadi, har safar, to’liq.

Aynan shu yerda prompt caching ishlaydi: bir marta o’qilgan bosh qismni (prefix) vaqtincha saqlab, keyingi so’rovlarda qayta ishlatish. Model hisob-kitobini qayta boshlamaydi — natijada tezroq va ancha arzon.

Muhim tafsilot: faqat bosh qism

Kesh faqat prefiks — so’rovning boshidan boshlab uzluksiz qismi — bo’lishi mumkin. O’rtadan bir bo’lakni keshlab bo’lmaydi. Shuning uchun butun strategiya shunga quriladi:

1. O’zgarmas narsalar boshga — tizim ko’rsatmalari, hujjatlar, misollar ro’yxati, RAG konteksti;
2. O’zgaruvchan narsalar oxirga — foydalanuvchining yangi savoli.

Agar bosh qismmada bitta token o’zsa, kesh butunlay buziladi — keyingi so’rov to’liq narxda qayta o’qiladi. Sana qo’yish, “Yordamchi: …” deb hisoblab borish o’rniga (bu bizning agent AI agent tsiklining bir qismi bo’lgan tuzoqlardan) bosh qismni muzlatib qo’yish kerak.

Uch kompaniya, uch yondashuv

	Anthropic (Claude)	OpenAI	Google (Gemini)
Narx modeli	Explicit + automatic cache_control	Default yoqilgan, optimizatsiya uchun prompt_cache_breakpoint	Implicit caching — hech narsa qilmasangiz ham
Kesh narxi	Yozish 1.25x, o’qish 0.1x (Fable 5.1’da 0.025x)	Cache read “up to 90% off”	Avtomatik uzatiladi

Anthropic jadvali rasmiy hujjatdan (2026-09 holati): yozish 5-daqiqalik kesh uchun bazadan 1.25 barobar qimmat (masalan, Opus 5: $5 → $6.25/MTok), lekin har bir kesh hit — 0.1x ($0.50/MTok). Claude Fable 5.1 va Mythos 5.1’da hit narxi yanada past: 0.025x ($0.25/MTok).

OpenAI: keshlash default yoqilgan — “discounted up to 90%”, qo’shimcha sozlash uchun explicit prompt_cache_breakpoint bor; cached tokenlar rate limitga ko’chadi (bu FAQ’da ochiq aytilgan).

Google: Gemini 2.5+ uchun implicit caching default — “nothing you need to do”, hit bo’lsa tejamlik avtomatik. Min token 4,096 (Flash va 3.1 Pro), 2.5’da 2,048.

O’zbekcha qisqacha: Anthropic — aniq belgilash orqali, OpenAI — o’zi qiladi sizga optimizatsiya qiladi, Google — umuman aralashmasdan ham ishlaydi.

Kimlarga qancha tejaydi

Haqiqiy tejamlik uchun shartlar bir nechta:

• Kontekst katta va takrorlanadi. Minglab tokenli hujjat + ko’p suhbat — ideal holat. Bir sahifalik savol-yavob uchun kesh arziydi.
• So’rovlar zich. Anthropic’da kesh umri 5 daqiqa (1 soatlik variant bor — yozish 2x narx). Har 10 daqiqada bitta so’rov bo’lsa, kesh o’lib qoladi.
• Bosh qism barqaror. Suhbat o’sib boradi — bosh qismdagi hujjat o’zgarmasa, kesh har navbatda ishlaydi.

Amaliy hisob: 100K tokenli hujjat ustida ishlaysiz, kuniga 50 murojaat. Keshsiz input xarajati — 50 × 100K × $10/MTok (Opus 5 sharti) = $50/kun. Kesh bilan: bir yozish $1.25 + 49 ta hit $0.50 × 100K → ~$2.5/kun. 20 barobar farq.

Tuzoqlar

1. Kesh yozish o’zi pul. Anthropic’da har kesh yozish bazadan 25% qimmat — juda qisqa umrli, bir marta ishlatiladigan kesh zarar.
2. Compaction buzadi. OpenAI hujjatida ochiq yozilgan: compaction (eski suhbatni qisqartirish) prefiksga ta’sir qiladi — “birinchi so’rov keshni to’liq ishlata olmasligi mumkin”.
3. Rate limit qutqarmaydi. Cached tokenlar TPM limitga ko’chadi (OpenAI FAQ). Tejamlik pulda — kvotada emas.

Xulosa

Agar API ustida jiddiy loyiha qilsangiz — birinchi optimizatsiyalardan biri shu bo’lishi kerak: prompt strukturasi (barqaror bosh + dinamik oxir) + kesh breakpoint’lari. Bu model tanlashdan ko’ra ko’proq tejaydigan, sof arxitektura qarori.

Qolgan xarajat mexanizmlari: reasoning token — ko’rinmas chiqish to’lovlari, temperature va top-p — boshqaruv parametrlari orqali sarflanish.