Kvantlash (quantization) nima? AI modelini 4 baravar kichraytirish siri
Bir xil model, 4 baravar kam xotira. FP32'dan INT4'gacha — kvantlash qanday ishlaydi, sifat yo'qotiladimi, GGUF va MXFP4 nima — oddiy tilda.
ChatGPT’ga o’xshagan katta modellarning to’liq vazni o’nlab gigabayt. Lekin xuddi shu modelni oddiy noutbukda ishlatish mumkin — Mistral, DeepSeek’ning kichraytirilgan versiyalari, LokalAI ilovalari hammasi bitta texnikaga tayanadi: kvantlash (quantization).
Oddiy ta’rif
LLM — bu milliardlab raqamlar (vaznlar, weights) to’plami. Har bir raqam kompyuter xotirasida aniq saqlanadi:
- FP32 — 32 bit: eng aniq, eng katta. «3,14159265358979…» darajasida aniqlik.
- FP16/BF16 — 16 bit: yarim aniqlik, yarim hajm. Hozirgi o’qitish standarti.
- INT8 — 8 bit: butun son. Hajm 4 baravar kamayadi FP32’dan.
- INT4 — 4 bit: eng qattiq siqish. Hajm 8 baravar kamayadi.
Kvantlash — vaznlarni pastroq aniqlikda saqlash, shu bilan birga modelning 「aql»ini saqlab qolish san’ati. Hugging Face’ning rasmiy ta’rifi: «vaznlarni past aniqlikda saqlab, xotira talabini kamaytirish va imkon qadar aniqlikni saqlash».
Metafora
Rasmni o’ylang: 4K fotosuratda har pikselning rangi juda aniq. Uni JPEG’ga aylantirsangiz — fayl 10 baravar kichraydi, lekin ko’zga deyarli bir xil ko’rinadi. Kvantlash shu, faqat piksel emas — vaznlar bilan.
Farqi: rasmda buzilish ko’zga tushadi, modelda esa u javob sifatida o’lchanadi. Yaxshi kvantlashda farq benchmarklarda 1-2% ichida qoladi.
Nega bu muhim?
1. Xotira = kirish to’sig’i. 70 milliard parametrli model FP16’da ~140 GB xotira talab qiladi — bu server darajasi. INT4’da ~35 GB — kuchli ish stationyasi yetadi. Aynan shu sabab gpt-oss-120b 117 milliard parametriga qaramay bitta 80 GB H100’ga sig’adi (OpenAI rasmiy ma’lumoti) — model ichidan MXFP4 formatida kvantlangan holda chiqqan. Kichigi — gpt-oss-20b — 16 GB xotirali qurilmada ishlaydi.
2. Tezlik va narx. Kam ma’lumot = tezroq o’qish = tezroq javob. Bulutda esa kvantlangan model kamroq GPU soat iste’mol qiladi — bu to’g’ridan API narxiga ta’sir qiladi.
3. Lokal AI imkoniyati. O’zbekistonda xotira cheklovlari, to’lov qiyinchiliklari bor — kvantlangan modellar esa bepul va oflayn ishlaydi. Bu AI’ni demokratlashtiruvchi eng muhim texnologiya.
Qanday ko’rinishda uchraysiz?
- GGUF — llama.cpp ekotizimasining formati. Hugging Face’da deyarli har bir ochiq modelning Q8_0, Q4_K_M kabi variantlari bor — raqam bit sonini bildiradi.
- bitsandbytes — Python’da bir qator bilan INT8/4 yuklash.
- MXFP4 — gpt-oss ishlatgan yangi format (microscaling — guruhlab kvantlash).
Sifat yo’qotiladimi?
Ha, biroz. Qoida tumari:
| Format | Hajm (70B model) | Sifat | Qayerda |
|---|---|---|---|
| FP16 | ~140 GB | 100% | Server, o’qitish |
| INT8 | ~70 GB | ~99% | Production standarti |
| INT4 | ~35 GB | ~97-98% | Lokal, arzon GPU |
| 1-2 bit | ~9-18 GB | sezilarli pasayish | Tajribalar |
Amaliy maslahat: Q4_K_M yoki INT4 — sweet spot. Kunlik ishlatish uchun farqni sezmaydi: qidiruv, yozish, tarjima, kod. Juda nozik reasoning vazifalar (murakkab matematik isbot) uchun yuqori aniqlik kerak.
Kvantlash — MoE bilan birga «kichikda katta model» inqilobining ikki ustunidan biri. MoE hisoblashni tejasa, kvantlash xotirani tejaydi. Ikkalasi birga: 2 yil oldin server fermasi talab qilgan model — bugun sizning noutbukingizda ishlaydi.
Manbalar: Hugging Face quantization hujjatlari (rasmiy), OpenAI gpt-oss rasmiy e’loni (120B/80GB, 20B/16GB), llama.cpp GGUF dokumentatsiyasi.