MoE nima? 671 mlrd parametrli modelni arzon ishlatish siri

DeepSeek-V3 — 671 mlrd parametrdan turgan model. Agar har bir token uchun barcha parametrlar ishlaganda, u xuddi LLaMA 405B’dan ham qimmat bo’lar edi. Lekin DeepSeek’ning o’zi rasmiy hujjatida yozadi: har token uchun faqat 37 mlrd parametr aktivlashadi.

Bu — MoE (Mixture-of-Experts, «ekspertlar aralashmasi») arxitekturasi. Va u bugungi AI iqtisodiyotining eng katta sirlaridan biri.

Zich model muammosi

Oddiy (dense) modelda har bir token butun neyron tarmoqdan o’tadi. GPT-3 davrida hammasi shunday edi: model kattalashsa — sifat oshadi, lekin har so’rov ham qimmatlashadi. 671 mlrd parametrli zich modelni ishlatish deyarli har bir kompaniya uchun Ruhiy bo’lmas edi.

MoE g’oyasi: registratura + shifokorlar

Klinikani tasavvur qiling: 256 ta mutaxassis shifokor bor, lekin sizni registratura (router) qabul qilib, kasalingizga mos 8 tasini yuboradi. Qolgan 248 tasi o’sha paytda dam oladi — lekin klinikada (xotirada) turishadi.

MoE’da xuddi shunday:

1. Model ichida ko’p parallel «ekspert» — bir xil hajmdagi kichik LLM bo’laklari bor;
2. Har qatlamda router kelgan tokenni ko’rib, qaysi ekspertlar eng mos kelishini tanlaydi;
3. Token faqat tanlangan ekspertlardan o’tadi — qolgisi ishtirok etmaydi.

Rasmiy raqamlar: uch laboratoriya

Model	Jami parametr	Aktiv (har token)	Ekspertlar	Aktiv
DeepSeek-V3	671B	37B	256 routed + 1 shared	8
Qwen3-235B-A22B	235B	22B	128	8
gpt-oss-120b (OpenAI)	117B	5.1B	128	4

Uchtasi ham rasmiy manbalardan: DeepSeek texnik hisoboti (arXiv 2412.19437), Qwen3 hisoboti (arXiv 2505.09388), OpenAI’ning gpt-oss e’loni.

Nima uchun bu sizga ham muhim

1. Narx. API’da token narxi aktiv parametrga bog’liq. DeepSeek narxiyu qiziq siri shu: bilim 671 mlrdda saqlanadi, hisob-kitob 37 mlrdda boradi. Shuning uchun ochiq modellar API bozorida shunchalik arzon — va reasoning tokenlari ko’p chiqadigan model tanlashda ham bu hisob-kitob ishlaydi.

2. Tezlik va hotira. OpenAI rasman yozadi: gpt-oss-120b bitta 80 GB H100 kartaga sig’adi. 117 mlrd parametr — bitta kartada! Zich modelda bu imkonsiz edi.

3. Lokal ishlatish. Lokal sun’iy intellektda MoE’ning ikki yuzi bor: aktiv parametr kam bo’lsa javob tez chiqadi (8B aktivlik MoE ≈ tezlik jihatidan 8B zich model), lekin jami vazn disk va RAM’da to’liq yotadi — 117B modelni yuklash uchun baribir katta hotira kerak.

Kamchiliklari — halol gap

• RAM talabi to’liq. «Faqat 8 ekspert ishlaydi» — hisobda to’g’ri, lekin router istalgan tokenni istalgan ekspertga yuborishi mumkin, demak hammasi hotirada tayyor turishi kerak;
• O’qitish murakkab. Router bir nechta ekspertni tanlab olsa ( «sevimli» yig’ilishi), qolgasi chala qoladi — DeepSeek buni hal qilish uchun maxsus auxiliary-loss-free uslubini kashf etgani ham rasmiy hisobotda bor;
• Interpretatsiya qiyin. Qaysi ekspert nimani «biladi» — aniq chegara yo’q.

Foydalanuvchi uchun xulosa

Yangi model e’lonida «X mlrd aktiv parametr» degan qatorni ko’rsangiz — narx va tezlik shu songa qaraydi, «jami parametr» esa bilim hajmiga. Cursor’ning Composer 2.5 modeli ham shunday: 1 trln jami, 32 mlrd aktiv. Bu ikki raqam birga o’qiladi — biri sifat, ikkinchisi hisob-kitob.

AI ixchamlashuvi shu ikki raqam orasidagi masofa bilan o’lchanadi. Va masofa kengayaapti.