Transformer nima? Barcha zamonaviy AI'ning poydevori — oddiy tilda
ChatGPT, Claude, Gemini, DeepSeek — hammasi bir 2017-yilgi maqoladan chiqqan 'transformer' arxitekturasida ishlaydi. Attention mexanizmi, parallel o'qish va GPU sevgisi — nima uchun bu g'oya hamma narsani o'zgartirdi.
«Transformer» so’zini siz AI yangiliklarida ko’p eshitgan bo’lsangiz kerak: «ommaviy transformer modeli», «transformer inference», «transformer’dan chiqish». Bu — barcha zamonaviy AI suhbatdoshlarining umumiy bobokalonidir. ChatGPT, Claude, Gemini, Grok, DeepSeek, Qwen — hammasi shu bir arxitekturada qurilgan. Keling, oddiy tilda tushuntiraman.
Muammo: kompyuter so’zni ketma-ket o’qiydi
Transformerdan oldingi davr — 2017-yilgacha — matnni o’qiydigan modellar (RNN, LSTM) kitobdagi harf kabi ishlar edi: bir so’zni ko’rdi, keyingisiga o’tdi, keyingisiga… Buning ikkita og’riqli oqibati bor edi:
- Uzun gapni unito qiladi. Gapning boshidagi so’z oxiriga yetib kelganda «eslab qolinishi» qiyin. «Bankka bordim, chunki … 40 so’z … pul qoldirmagan edim» — «bank» va «pul» bog’lanishi yo’qoladi.
- Sekin. Har so’z oldingisidan keyin keladi — jarayonni parallel bajara olmaysiz. Millionlab so’zli matn = millionlab ketma-ket qadam.
Yechim: «hammasiga bir vaqtda qarayman»
2017-yilda Google’da ishlagan sakkiz tadqiqotchi «Attention Is All You Need» maqolasini chiqardi. G’oya shu sarlavhaning o’zida: modellarga «eslab qolish zanjiri» kerak emas — diqqat (attention) mexanizmi yetarli.
Attention nima? Gap ichidagi har bir so’z boshqa barcha so’zlarga «qaraydi» va qaysi biri muhimligini o’zi baholaydi:
- «U uni ko’rdi, chunki u kutayotgan edi» — «ko’rdi» so’zi qaysi «u»ga tegishli ekanini attention hal qiladi;
- «Oshpaz taomni tayyorladi, chunki u och edi» — «u» = kim? Oshpazmi yoki taomni yeydigan odammi? Inson uchun oson, model uchun — attention vazifasi.
Texnik tilga aylantirsak: har bir so’z uchun model so’rov (query), kalit (key) va qiymat (value) vektorlarini yasaydi. So’rov boshqa so’zlarning kalitlari bilan solishtiriladi — «qanchalik mos» ballari chiqadi — va qiymatlar shu ballar bo’yicha aralashtiriladi. Bu — o’z-o’ziga qarovchi (self-attention) qatlam. Hech qanday zanjir yo’q: hammasi bir hisob-kitob to’lqinida.
Nima uchun bu inqilob qildi
- Parallellik. Gapning barcha so’zlari bir vaqtda ishlanadi — bir vaqtda minglab hisob qila oladigan GPU qurilmalari uchun bu sovg’a. Bitta katta GPU klasterida trillionlab token o’qish mumkin bo’ldi — katta til modellari (LLM) shu zahoti mumkin bo’lib qoldi.
- Uzun bog’lanish. Gap boshidagi va oxiridagi so’z orasidagi yo’l endi «so’zlar soni» emas, «bir qadam». Matematikada buni O(n²) deyishadi (hamma hammoga qaraydi) — bu ham qimmat, lekin parallel bo’lgani uchun GPU bilan yengiladi.
- Kengaytirilishi (scaling). Transformer qatlamlarni ustma-ust qo’yish, kengaytirish, kontekst oynasini oshirish uchun ideal — «kattaroq = yaxshiroq» qonuniyatining texnik asosi shunda.
Xarita: transformer qayerda
| Qatlam | Vazifa | Bizning post |
|---|---|---|
| Tokenizer | Matnni bo’laklarga bo’lish | Token nima? |
| Embedding | Bo’lakni vektorga aylantirish | Semantik qidiruv |
| Attention | So’zlararo bog’lanish | Shu post |
| FFN | Har so’z bo’yicha xulosa | — |
| MLP chiqishi | Keyingi so’z ehtimolini berish | Reasoning token |
Ya’ni: ChatGPT javob yozayotganda, har qadamda transformer qatlamlari butun suhbat tarixiga «diqqat bilan» qarab turadi — va keyingi tokeni shu asosda tanlaydi.
Transformer emas: atrofdagi rentabellikni oshirish vositalari
Transformerning asosiy og’rig’i — O(n²) narxi. Kontekst oynasi oshgani sari hisob-kitob kvadratik o’sadi. Shu sababli so’nggi yillarda barcha «yangi arxitektura» xabarlarining ko’pi aslida transformer ichidagi optimizatsiyalar:
- Sparse attention — hamma so’z emas, muhimlariga qarash;
- FlashAttention — GPU xotirasini aqlli ishlatish (tezlik, matematika o’zgarmaydi);
- Speculative decoding — kichik model taklif beradi, kattasi tekshiradi;
- Mixture of Experts — har token uchun faqat bir nechta «mutaxassis» qatlam ishlaydi;
- CED (DeepSeek) — encoder xotirasini dekoderda qayta ishlatish.
Va buning chekkasida «transformer’dan keyingi arxitektura» izlash davom etyapti — Mamba, RWKV, xRec kabi nomlar. Hozircha ular frontier modellarda transformerni ag’dara olgani yo’q.
O’zbekiston uchun 3 saboq
- Arxitektura import, data lokal. O’zbekcha LLM qurmoqchi bo’lgan jamoa transformer kodini Hugging Face’dan bepul oladi — haqiqiy qiymat o’zbekcha ma’lumotda.
- GPU parallel — hamma narsaning kaliti. Transformer g’alabasi matematik emas, muhandislik g’alabasi: parallel hisobga moslashganlik. O’zbekiston AI strategiyasida GPU klasteri bor — bu to’g’ri yo’nalish.
- «Transformer’dan keyin nima» — ochiq poyga. Yangi arxitektura tadqiqotchilari uchun bu eski davr o’yin maydoni: hali GPT darajasidagi isbot yo’q, lekin kimdir topadigan bo’lsa — butun soha qayta yoziladi.
Asosiy manba: Vaswani va boshq., «Attention Is All You Need» (NeurIPS 2017). Yaqin mavzular: LLM nima?, Neyron tarmoq nima?, Kontekst oynasi.