Batch API nima? Bir kunda kutib, 50% tejash
Shoshilmasa, OpenAI, Anthropic va Google bir xil narxni yarmiga tushiradi. Batch API qanday ishlaydi va qachon kerak — oddiy tilda.
Bir savol: sizning vazifangiz javobni hoziroq kerak qiladimi? Agar yo’q bo’lsa — API hisobingizda ochilmagan pul bor.
Uchta yirik provayder — OpenAI, Anthropic va Google — bir xil taklif beradi: so’rovlarni to’plab yuboring, kutib turing, 50% arzon to’lang. Buning nomi — Batch API.
Qanday ishlaydi?
Oddiy API chaqiruvi sinxron: so’rovdan keyin javob bir necha soniyada keladi. Batch API’da esa siz so’rovlar ro’yxatini (odatda JSONL fayl) yuborasiz, provayder ularni bo’sh vaqtlarda, navbat bilan ishlaydi:
| Oddiy API | Batch API | |
|---|---|---|
| Narx | 100% | 50% |
| Javob | soniyalar ichida | daqiqalar–soatlar |
| Rate limit | bir xil emas | ancha yuqori |
| Streaming | bor | yo’q |
Muhim: chegirma ham kirish, ham chiqish tokenlariga qo’llanadi. Modelning o’zi o’zgarmaydi — faqat «qachon» o’zgaradi.
Uchala provayderning shartlari
OpenAI (Batch API): har batch 24 soat ichida bajariladi (ko’pincha tezroq), batch’ga 50 000 gacha so’rov, fayl 200 MB gacha. chegirma prompt caching bilan ustma-ust tushadi — ikkalasi birga ishlaydi.
Anthropic (Message Batches): ko’p batch’lar 1 soatdan kamda tayyor, maksimal 24 soat. Batch’ga 100 000 so’rov / 256 MB. Prompt caching bilan stack qilinadi — cache hit 30–98% oralig’ida bo’lishi mumkin.
Google (Gemini Batch API): Paid rejimda 50% chegirma, kontekst caching batch so’rovlarida qo’llaniladi.
Qachon foydali — va qachon yo’q?
Foydali: kechagi loglarni saralash, 1000 ta mahsulot tavsifini yozish, hujjatlarni embeddings qilish, kontent moderatsiyasi, katta korpusda evaluatsiya — javob kechqurun kelsa ham farqi yo’q bo’lgan ishlar.
Foydasiz: chatbot javobi, real-vaqt tavsiya, foydalanuvchi kutayotgan har qanday narsa. Streaming ham ishlamaydi.
Amaliy hisob
Misol: har kuni 10 million token ishlov beradigan vazifa uchun batch rejimiga o’tish oyiga yuzlab dollar tejaydi — kod o’zgarishi esa kichik: so’rovlar faylga yoziladi, natija fayldan o’qiladi.
Oddiy qoida: javobni kim kutayotgan bo’lsa, u soniyada olishi kerak. Hech kim kutmayotgan bo’lsa — 24 soat va 50% chegirma sizniki.
Uchala provayderning rasmiy hujjatlaridan tasdiqlandi (08.09.2026). API xarajatlarini boshqarish bo’yicha yana: prompt caching, reasoning tokenlar, token nima. Savollar va amaliy misollar kanalda: @robot_aka.