Distillyatsiya nima? Katta model kichik modelga o'qitadi
DeepSeek R1'ning kichik aka-ukalari qanday qilib kuchli chiqdi? Javob — distillyatsiya: katta model javoblaridan kichik model o'qitiladi. Kimyodan AI'ga kelgan so'zni oddiy tilda tushuntiraman.
Kimyoda distillyatsiya — aralashmani qizdirib, qimmatli qismini ajratib olish. AI’da ham xuddi shu: katta model («o’qituvchi»/teacher)ning bilimidan kichik model («shogird»/student) o’qitiladi.
Muammo qanday edi
- Katta modelni nolldan o’qitish — millionlab dollar, oylik vaqt, gigavatlab elektr.
- Kichik model arzon va tez, lekin bilimi sayoz.
- Distillyatsiya: kichik model o’z o’lchamida «yoshiga qaraganda dono» chiqadi.
G’oya yangi emas — 2015’da Hinton jamoasi «Distilling the Knowledge in a Neural Network» maqolasida asosini qo’ygan. LLM davrida esa u ochiq modellar portlashining asosiy dvigatellaridan biriga aylandi.
Mexanizm oddiy tilda
- O’qituvchi javoblari yig’iladi. Katta modelga yuz minglab topshiriq beriladi, javoblari (matn, yoki tokenlarga bergan ehtimollari) yozib olinadi.
- Shogird shu javoblar ustida o’qitiladi. Kichik model «to’g’ri javob nima?»ni emas, «katta model qanday fikrlaydi?»ni takrorlashga o’rgatiladi.
- Muhim noziklik — soft targetlar. O’qituvchi faqat yakuniy javobni emas, «qaysi noto’g’ri variantlar maqbulroq» degan ma’lumotni ham beradi. Hinton bunga «dark knowledge» degan — raqamlar orasidagi yashirin munosabatlar.
Buning ijodiy usuli ham bor: katta model bilan sun’iy ma’lumot yaratish (masalan, 800K sifatli misol yozdirish), so’ng shu to’plamda kichik modelni o’qitish. Aynan shu yo’lni DeepSeek R1’da ishlatgan: katta R1 misollari bilan Qwen va Llama asosidagi 6 ta kichik model (1.5B’dan 70B’gacha) o’qitilgan — ular DeepSeek nomini dunyoga taratgan aka-ukalar.
Nega bu kun tartibida?
Chunki distillyatsiya — geopolitika ham:
- OpenAI DeepSeek’ni o’z modellaridan distillyatsiya qilganda ayblagan (isbotlangan ish emas).
- Moonshot K3’ning Claude’dan distillyatsiyasi haqidagi aylovlar — AQSH-Xitoy muzokaralarining kun tartibiga chiqqan (biz buni kanalda kuzatgan edik).
- Ko’p API shartnomalarida endi «javoblarimiz bilan raqobatchi model o’qitish taqiqlanadi» bandi bor.
Ya’ni: katta modelning javoblari — intellektual mulk. Undan «o’g’irlash» arzon, shuning uchun qoidalar qattiqlashmoqda.
Qachon qonuniy, qachon taqiqlangan?
| Yo’l | Holat |
|---|---|
| O’z modelingizdan kichikroq versiya o’qitish | To’liq qonuniy, standart amaliyot |
| Ochiq litsenziyali modeldan (MIT/Apache) distillyatsiya | Ruxsat etilgan (litsenziyani o’qing) |
| Yopiq API javoblarida raqobatchi model o’qitish | Ko’pincha ToS bilan taqiqlangan |
| «Bilmay turib» sun’iy data yig’ish | Kulrang zona — javobgarlik sizda |
Seriya ichida joyi
Distillyatsiya — bizning «texnik bo’shliqlar» seriyamizda kompressiya oilasining a’zosi:
- Kvantlash — tayyor modelni kichraytiradi (bilim o’zgarmaydi)
- MoE — katta modelni arzon ishlatadi (o’lcham bir xil, narx kamayadi)
- Speculative decoding — kichik+katta modelni ish vaqtida juftlashtiradi (bilim ko’chmaydi, faqat tezlik)
- Distillyatsiya — bilimni butunlay ko’chiradi (shogird keyin o’qituvchisiz yashaydi)
O’zbekiston uchun amaliy tomoni: Ollama/LM Studio’da yuklab olinadigan ko’p «kichik lekin aqlli» modellar aynan distillyatsiya mahsuloti. Lokal AI arzonlashining siri — kvantlash bilan distillyatsiyaning dueti.
Asos: Hinton/Vinyals/Dean 2015 (arXiv 1503.02531), DeepSeek-R1 paper (arXiv 2501.12948, ochiq), platforma API shartnomalari. Oldingi: Fine-tuning nima? — u yerda prompt→RAG→FT darajasi, bu yerda bilik ko’chirish.