AI progress aslida qayerdan kelyapti: 12x — ma'lumot, 3.7x — model
Dwarkesh Patel'ning yangi tahlili (2019-2025): pretrainingdagi yutuqlarning asosiy manbai arxitektura emas — ma'lumot muhandisligi. Data 12x, model 3.7x compute samaradorligi bergan. Nima uchun bu muhim — oddiy tilda.
«Yangi model chiqdi, arxitektura tubdan yaxshilandi» — biz ko’radigan yangiliklar ko’p. Lekin savol ochiq: o’sha progressning qanchasi modelning o’zidan, qanchasi ma’lumotdan kelgan?
Dwarkesh Patel (Dwarkesh Patel va Jerry Han, 08.09) shu savolga olti yillik tajriba bilan javob berdi. Javob ko’pchilik kutganidan boshqacha chiqdi.
Tajriba qanday qurilgan?
G’oya nafis: 2019–2025 oralig’ida har yili ochiq model «retsepti» (o’sha yil ma’lum bo’lgan algoritmik yaxshilanishlar — arxitektura, optimizer, learning rate jadvali, hiperparametrlar) va ochiq ma’lumot to’plami chiqqan. Mualliflar ularning barcha kombinatsiyalarini noldan o’qitgan: 2019 retsepti + 2025 ma’lumot, 2025 retsepti + 2019 ma’lumot va h.k. — 5 xil compute byudjetida (1e17 dan 1e19 FLOP’gacha), ko’p urinishlar (seed) bilan.
Agar progress modeldan kelsa — yangi retsept eskisi bilan ham yaxshi ishlaydi. Agar ma’lumotdan kelsa — yangi to’plam eskisini ham «cho’zib» yuboradi. Natijalar OLMES evali (10 ta benchmark) bilan o’lchangan.
Asosiy natija
1e19 FLOP byudjetida, 2019 dan 2025 gacha:
| Manba | Compute samaradorligi |
|---|---|
| Ma’lumot muhandisligi | 12.0x |
| Model retsepti (arxitektura + optimizer) | 3.7x |
Ya’ni ma’lumot tomonidagi yutuqlar model tomonidagidan 3.24 barobar katta samara bergan. 2019’da GPT-2 o’qitilgan OpenWebText — atigi ~9 mlrd token, Reddit havolalari bilan filtrlangan. 2025’da esa UltraFineWeb — butun internet skaneri, klassifikator bilan tanlanagan.
Ikkinchi muhim topilma: ikki turdagi yutuqlar mustaqil — 88% dispersiya qo’shilish effekti bilan tushuntiriladi. Ya’ni yangi arxitektura yutuji muayyan ma’lumot to’plamini talab qilmaydi va aksincha.
«Demak, arxitektura bekorga bo’lganmi?» — yo’q
Mualliflarning o’zi bunga qarshi ogohlantiradi. Model yaxshilanishlarining asosiy hissasi «xuddi shu natijani kam FLOP bilan olish» emas — katta compute’ni umuman ishlatib bo’ladigan qilish bo’lgan: gradient portlashlari, xotira bandligi, yuz minglab GPU’larda barqaror o’qitish. MoE, sparse attention, FlashAttention — bularning barchasi samaradorlik emas, imkoniyat ochgan innovatsiyalar.
Bundan tashqari, tajriba kichik modellarda qilingan. Katta modellar ortiqcha sig’imga ega — ularga «hamma narsani solib qo’yish» mumkin, tajriba filtrlash hatto zararli bo’lishi mumkin (frontier modellari Chinchilla optimumidan 100x gacha ortiq o’qitiladi).
Nima uchun bu sizga tegishli?
Agar siz kompaniya yoki loyihada LLM tanlash yoki API’dan foydalanish bo’yicha qaror qabul qilayotgan bo’lsangiz, bu tahlil ikkita amaliy xulosa beradi:
- «Bizning modelimiz yangi arxitekturada» marketingi taxminan yarmi haqiqat. Benchmark o’sishining katta qismi ma’lumot liniyasidan keladi — bu raqobatchining ham qo’lidagi karta.
- Data wall haqiqiyligi oshdi. Agar progress asosan kuratsiyadan kelsa va internet o’smayotgan bo’lsa — «yangi internet» yaratish (sintetik ma’lumot) frontier laboratoriyalar uchun strategik savol. Mualliflar sintetik ma’lumotni o’rganmaganliklarini ochiq aytadi va buni «eng muhim keyingi savol» deb ataydi.
Uchinchidan — RAG yoki fine-tuning qilayotganlarda ham xuddi shu qoida ishlaydi: sizning o’z ma’lumotingiz sifati arxitektura tanlovidan ko’proq farq beradi.
Halol chegaralar
- Tajriba kichik modellarda (≤1e19 FLOP) — frontier o’lchamida nisbatlar o’zgarishi mumkin.
- OLMES — «oson» benchmarklar to’plami; kod yoki matematikada nisbatlar boshqacha bo’lishi ehtimol.
- Har yil uchun bitta «vakil» retsept/to’plam tanlangan — bu tanlovga sezgirlik bor.
- RL davri (oxirgi 2 yildagi yutuqlar) bu tajribadan tashqarida.
Xulosa
2019–2024 — pretraining davrining yutuqlari asosan ma’lumot muhandisligi yutuqlari bo’lgan. Model tadqiqoti esa boshqa frontda g’alaba qozongan: o’sishni umuman mumkin qilib, «konteyner kemasini» qurib. Agar internet tugasa, kuratsiya ham tugaydi — keyingi urush sintetik ma’lumot ustida bo’ladi.
Manba: Dwarkesh Patel, «Pretraining progress is mostly coming from data» (08.09.2026). Yaqin mavzu: Inference nima? — compute byudjetlarining narx tomoni.