Inference nima? AI'ning har bir javobi pul turadi — narx mexanizmi
Inference — tayyor modelning ishlashi, treningdan farqi. Nega chiqish tokeni kirishdan 5 barobar qimmat, thinking tokenlar qanday hisoblanadi va billur qoidalar: javobni qisqartirish 50% tejaydi, promptni qisqartirish esa deyarli hech narsa. Oddiy tilda, jadval bilan.
ChatGPT’ga savol yozasiz, javob keladi. U lahza — model uchun «inference» deb ataladi. Bu so’z AI-dunyosida doim eshitiladi: «inference narxi», «inference compute», «inference chiptalari». Bu qo’llanmada — bu nima, nega pul turadi va qanday tejash mumkin.
Trening va inference — ikki xil ish
Model hayotining ikki davri bor:
| Trening (o’qitish) | Inference (ishlatish) | |
|---|---|---|
| Nima qiladi | Milliardlab matndan pattern o’rganadi | O’rgangan bilimdan javob chiqaradi |
| Qachon | Bir marta (oylab) | Har bir so’rovda (soniyada) |
| Kim uchun qimmat | Kompaniya uchun (klasterlar) | Siz uchun (token narxi) |
| Metafora | Talabaning 4 yili | Bitiruvchining ish kuni |
Suhbat qilayotgan modelimiz — «o’qib bo’lgan» model. Har bir savolingiz uning ish kuni: tokenlar orqali o’ylaydi va javob beradi. OpenAI, Anthropic, Google sizdan aynan shu ish kunlari uchun pul oladi — API orqali.
Narx mexanizmi: ikki narx, bitta hisob
Har bir so’rovda ikki turdagi token narxlanadi:
- Kirish (input) — savolingiz + model o’qiydigan hamma narsa (RAG hujjatlari, tarix, tizim ko’rsatmasi). Arzonroq.
- Chiqish (output) — model yozayotgan javob, ichki «o’ylash» (thinking) tokenlari BILAN birga. 3-6 barobar qimmat.
Misol, Gemini API rasmiy narxlari bilan (1 mln token): Gemini 3.7 Flash — kirish $0.75, chiqish $4.50 (6 barobar farq). OpenAI’da ham xuddi shu pattern: GPT-6 Astra $10/$50 — 5 barobar.
Nega chiqish qimmat? Chunki kirishni model parallel o’qiy oladi, chiqishni esa tokenma-token, ketma-ket yozishi shart — har token uchun butun model «issiq» turadi. Shu nomutanosiblik butun narx siyosatini belgilaydi.
Thinking — yashirin to’lov
Reasoning modellari javob oldida o’z-o’ziga «fikrlaydi». Google’ning rasmiy hujjatida ochiq yozilgan: chiqish narxi thinking tokenlarni HAM qamrab oladi. Ya’ni model 10 000 token o’ylab, 500 token javob yozsa — siz 10 500 token to’laysiz.
Bu — chuqur fikrlash rejimini yoqish qarorining narxi. Oddiy savolga oddiy model: ko’p hollarda eng katta tejash shu.
Billur qoidalar (OpenAI’ning o’z hujjatidan)
OpenAI’ning latency-optimization qo’llanmasida o’lchangan faktlar:
- Chiqishni 50% qisqartirish ≈ 50% tezlik va shuncha narx tejashi. Javob tokenlari — eng qimmat qism.
- Promptni 50% qisqartirish faqat 1-5% tezlik beradi. Kirish arzon — uni siqishga vaqt sarflamang.
- Kamroq so’rov — katta yutuq. Har bir so’rovda yo’l-uzoqlik (round-trip) bor. Ikkita ketma-ket so’rov o’rniga bitta birlashtirilgan so’rov.
- Streaming kutishni kesadi. Foydalanuvchi birinchi tokenni darhol ko’radi — psixologik, lekin real effekti bor.
- Har ishga LLM emas. Klassik metod (qidiruv, filtr, UI) yetadigan joyda model ortiqcha xarajat.
Tejash vositalari — bizning seriyadan
Bitta «inference byudjeti» g’oyasi atrofida to’rtta vosita to’plangan, hammasi oldin yozilgan qo’llanmalarda:
- Prompt caching — takroriy kirishni 90%gacha arzonlashtiradi
- Batch API — shoshilmas ishga 50% chegirma
- Speculative decoding — kichik model chizadi, katta tekshiradi: tezlik
- Kvantlash va MoE — server tomonida: bir tokenni chiqarish arzonlashadi
Bularning hammasi — shu maqolaning mexanizmlarini ishga tushirishning turli yo’llari.
Amaliy xulosa
- Kunlik ishda: keraksiz «chuqur o’yla» rejimlarini o’chirib qo’ying.
- API bilan ishlarda: javob formatini qisqa so’rang (jadval, ro’yxat), promptni emas — chiqishni siqing.
- Model tanlashda: model va tariflar jadvalidagi arzon modellar ko’p ishni qiladi — flagman har doim ham kerak emas.
Inference narxi — AI dunyosining «elektr to’lovi». Model bepul emas, har javob hisobdan chiqadi. Kim bu mexanizmni tushunsa — shu «to’lovlarni» oqilona boshqaradi.
Manbalar: OpenAI latency optimization (rasmiy hujjat), Google Gemini API pricing (rasmiy, 09.09 holati).