Semantik qidiruv nima? Google nima uchun so'zingizni emas, ma'noingizni tushunadi

«Noutbuk uchun issiqlik pastasi» deb qidirdingiz. Eski qidiruv tizimlari sahifalarda shu so’zning aniq mosini qidirardi — «thermal paste» yozilgan saytlar tushib qolardi. Zamonaviy qidiruv esa savolning ma’nosini tushunadi. Bu — semantik qidiruv.

Bu post — RAG, embedding va kontekst oynasi haqidagi qo’llanmalarning davomi. Endi bularning barchasi birlashadigan joyga keldik: qidiruvga.

Kalit so’zli qidiruv vs semantik qidiruv

Kalit so’zli (keyword) qidiruv — aniq so’z mosligi. Matn shunday:

«termal pasta» so’zi bor → mos keldi. «Issiqlik moyi» deb yozilgan — yo’q, chiqmadi.

Semantik qidiruv — ma’no mosligi. U so’rovni va hujjatni bir xil «ma’no fazosida» solishtiradi:

• «termal pasta», «issiqlik moyi», «processor sovutish kompaundi» — bularning barchasi yaqin ma’nolar
• «Apple sotib oldi» va «kompaniya xaridi» — bir gapning ikki ko’rinishi

Qanday ishlaydi — uch qadam

1. Matn → raqam. Har bir matn (so’rov, sahifa, hujjat) embedding modeli orqali raqamlar to’plamiga — vektorga aylantiriladi. Batafsil: embedding nima postimda.
2. O’xshashlik o’lchanadi. Ikkita vektor orasidagi burchak (kosinus o’xshashligi) hisoblanadi. Ma’nosi yaqin matnlar — bir-biriga yaqin nuqtalar.
3. Eng yaqinlari qaytariladi. So’rov vektoriga eng yaqin hujjatlar topiladi — so’z emas, ma’no bo’yicha.

Oddiy misol: telefon raqamlari kitobida ism bo’yicha qidirish — kalit so’zli. «Meni o’tgan yoz kim o’pdi?» deb so’rash — semantik.

Qayerda uchrayapsiz (bilmasdan)

• Google. 2013’dagi Hummingbird, 2019’dagi BERT — aniq shu yo’lda ketdi: sahifa so’rovingizdagi so’zni emas, savolingizga javob beryaptimi?
• AI chatbotlarda RAG. ChatGPT yoki Claude hujjatingizdan javob topganda — ichida semantik qidiruv ishlayapti (RAG nima).
• Perplexity va «AI qidiruv»lar. So’rovni tushunib, manbalarni ma’no bo’yicha tanlaydi (Perplexity nima).
• Gmail, Drive, Notion qidiruvi. «Shanba uchrashuv rejasi» deb yozsangiz, sarlavhasida «weekend plan» turigan xatni ham topadi.

O’zingiz uchun qanday qurasiz

Savol-javob boti yoki ichki qidiruv qurmoqchisiz? Reja oddiy:

1. Hujjatlaringizni bo’laklab, har birini embedding’ga aylantiring (API bilan — DeepSeek, OpenAI, Google bepul qatlamlari bor)
2. Vektorlarni vector bazaga saqlang (Pinecone, Weaviate, Qdrant — yoki kichik loyiha uchun oddiy fayl ham bo’ladi)
3. Foydalanuvchi so’rovini ham vektorga aylantirib, eng yaqin bo’laklarni oling
4. Topilgan bo’laklarni LLM’ga berib, javob yasating — bu to’liq RAG sxemasi

Yangi hujjat qo’shilsa — faqat uning vektorini qo’shasiz. Butun bazani qayta o’qitish shart emas.

Cheklovlari — halol gap

• Yangi so’zlar sekin. Model o’qitilganidan keyin paydo bo’lgan brend/atrofiya nomlarini bilmasligi mumkin — kalit so’z qidiruvi bu yerda ba’zan yutadi.
• Homonim tuzoq. «Bank» (daryo qirg’og’i / moliya) kabi so’zlarda kontekst yetarli bo’lmasa xato chiqadi.
• «O’xshash» ≠ «to’g’ri». Semantik qidiruv eng yaqin ma’noni topadi, eng yangi yoki eng ishonchli faktni emas — buni filtrlash sizning vazifangiz.
• Narx. Katta bazani embedding qilish token oladi — kontekst oynasi va narx haqida yozganimdek, bu ham pul bilan bog’liq.

Amaliy retsept: semantik + kalit so’z qidiruvni birga ishlatish (hybrid search) — aqlli tizimlarning aksariyati shunday qiladi.

Xulosa

Semantik qidiruv — «so’zni top»dan «ma’noni top»ga o’tish. Uning ichida embedding yotadi, ustida RAG turadi, tugmasida AI qidiruvlar turibdi. Seriyaning keyingi qismlarida shu qavat-qavat tizimni yig’ib boramiz.

Savollaringizni kanalda yozing: @robot_aka

---

O’qish ro’yxati: RAG nima → Embedding nima → Kontekst oynasi nima → shu post.