Multimodal RAG nima? AI endi rasmlarni ham «o'qiydi» — oddiy tilda

Oldingi postlarda RAG nima va embedding qanday ishlashini tushuntirdim. Ammo u yerda bitta muhim cheklov yashiringan edi: oddiy RAG faqat matnni ko’radi. PDF ichidagi diagramma, hisobotdagi jadval, telefondagi foto — bularning hammasi uchun «ko’r».

Bu muammoni hal qiladigan yo’nalish — multimodal RAG (ko’p modalli RAG). 2026-yilda u korporativ AI tizimlarning eng tez o’sayotgan qismi.

Muammo: ma’lumotning katta qismi matn emas

Klassik RAG pipeline’i shunday ishlaydi: hujjat → matn ajratish (OCR) → bo’laklash → embedding → vektor bazasi. Bu zanjir matnda yaxshi ishlaydi, lekin:

• Hisobotdagi taqqoslash jadvali OCR’da buzilgan matnga aylanadi;
• Diagramma va infografika — umuman «bo’sh joy»;
• Qurilish maydonchasining foto arxivi, tibbiy skaner, mahsulot rasmlari — tashqarida qoladi.

Amaliy misol: qurilish kompaniyasi AI’ga «ish maydonchasidagi xavfsizlik qoidabuzarliklarini top» deb so’raydi. Matn pipeline’i bunga javob bera olmaydi — javob fotolarda.

Yechim 1: CLIP — rasm va matn bir tilga chiqadi

2021-yilda OpenAI chiqargan CLIP modeli oddiy, ammo kuchli g’oyaga qurilgan: rasm va uning tavsifi bir xil vektor fazosiga joylashtiriladi. Natijada «qizil kaskali ishchi» degan matn so’rovini yozsangiz, tizim sizga haqiqiy fotografiyani topib beradi — heach qanday yozuv belgisi bo’lmasa ham.

Bu semantik qidiruvning rasmli davomi: so’z ma’nosi va rasm tarkibi bir koordinata fazosida uchrashadi.

Yechim 2: ColPali — OCR’siz PDF qidiruvi

2024-yilda chiqqan ColPali (Faysse va hamkorlari, arXiv 2407.01449) yancha radikal: PDF sahifasini matnga aylantirish o’rniga, butun sahifani rasm sifatida bevosita embedding qiladi. OCR, layout tahlili, bo’laklash — hammasi kerak emas. Model sahifani inson kabi «ko’radi»: ustunlar, jadvallar, rasmlar bilan birga.

2026-yilda uning davomchilari (ColQwen2 kabi) ViDoRe benchmark’ida asl ColPali’dan ham yuqori natija beradi — hujjat qidiruvida bu endi asosiy yo’nalish.

2026: barcha modalitet — bitta fazo

Eng yangi qadam — native multimodal embedding modellari. Masalan, Google’ning 2026-yil martda e’lon qilingan Gemini embedding modeli matn, rasm, video va audioni bitta vektor fazosiga joylaydi: «qizil krossovka» so’rovini yozib, izohsiz fotografik tovar rasmini topish mumkin. Alohida OCR, alohida rasm indeksi, alohida qayta saralash — bu qatlamlar ortiqcha bo’lib qolmoqda.

Bu nima uchun sizga kerak?

• Notarius, buxgalter, arxiv bilan ishlaysizmi — skanerlangan hujjatlar endi jadval va muhrlar bilan birga qidiriladi;
• Do’kon yoki ishlab chiqarish — mahsulot fotosi orqali qidirish;
• Shifokor yoki talaba — ma’ruzadagi diagrammalar bo’yicha savol berish.

Oddiy foydalanuvchi uchun xulosa bir gap: AI tizimlari «faqat chat» davridan chiqib, bizning real, rasmlangan dunyomizga yaqinlashmoqda. Kompyuter ko’rish va til — bitta tizimda qo’shilyapti.

Shu seriya bilan bog’liq yana bir muhim mavzu: token — AI nima uchun «token» hisoblab pul oladi va bu qayerdan keladi.