RLHF nima? ChatGPT'ni «o'rgatgan» sirli qadam — oddiy tilda

«ChatGPT qanday qilib odamga o’xshab gapiradi?» degan savolga ko’p javoblar bor, lekin eng muhimlaridan biri uch harf: RLHF — reinforcement learning from human feedback, ya’ni inson fikri bilan kuchaytirilgan o’qitish. Bu post — LLM va neyron tarmoq postlarimizning davomi: poydevor seriyamizda o’qitish jarayonining eng sirli qismiga bag’ishlangan qism.

Bir gapda

RLHF — model javoblarini odamlar baholaydi, model esa «yaxshi» deb baholangan javoblarga o’xshash gapirishni o’rganadi degan usul. Xom model millionlab matndan o’rganadi, lekin u «odam nima eshitishni xohlaydi» bilmasdi. RLHF shu «xohish»ni o’rgatadi.

Nima uchun kerak?

Tasavvur qiling: xom LLM internetni o’qib chiqqan shogird. U savolga javob bera oladi, lekin ba’zan darslikdan gapiradi, ba’zan internet forumidan, ba’zan umuman gapiradi-yu, lekin savolga qarab emas. Odamlar esa boshqa gapni qadrlaydi: to’g’ri, aniq, oqilona, zararsiz javob.

2017-yilda OpenAI tadqiqotchilari buni chuqur o’rganib, 2022-yilda InstructGPT tajribasini e’lon qildi: xom GPT-3 juda katta, lekin 1,3 milliard parametrli kichik model — insonlar tomonidan baholangan variantlar bilan o’qitilgach, odamlarga kattaroq modeldan ko’proq yoqdi. Ya’ni miqdor emas, sifat — ya’ni inson didi — hal qiluvchi bo’ldi.

3 qadam: SFT → Reward Model → PPO

InstructGPT tajribasida RLHF uch bosqichda ishlaydi (bu sxema bugungi barcha yirik modellarga o’tgan):

1. SFT (supervised fine-tuning). Odamlar model uchun «namuna javoblar» yozadi. Model shu namunalarga o’xshash javob berishni o’rganadi — ustoz qo’l ostida xat tortgandek.

2. Reward model. Model bir savolga bir nechta javob yozadi, odamlar ularni tartiblaydi: bu yaxshi, bu yomon. Shu reytinglardan alohida «mukofot modeli» o’qitiladi — u har qanday javobga ball qo’yadigan hakamga aylanadi.

3. PPO (proximal policy optimization). Asosiy model hakam baland qo’ygan javoblarni ko’proq ishlab chiqishga o’rganadi — mukofotga intilgan o’quvchi kabi.

Natija: model «nima deyish»ni emas, «qanday deyish»ni ham o’rganadi.

Yorqin tomon: bu qadam ChatGPT’ni yaratdi

RLHF’siz ChatGPT bo’lmasdi. Aynan shu qadam:

• javoblarni suhbatlashuv qiladi (darslik emas, suhbatdosh);
• «yordam beraman» pozitsiyasiga o’tkazadi (muharrir emas, yordamchi);
• zararli so’rovlarga chek qo’yadi (hakam «zararli» degan javobga past ball qo’yadi).

1,3 mlrd parametrli InstructGPT odamlarga 175 mlrd parametrli GPT-3’dan yoqqani — inson didining g’alabasi edi va butun sanoat yo’nalishini o’zgartirdi.

Qorong’i tomon: «ros» deyish tuzog’i (sycophancy)

RLHF’ning yon ta’siri bor: odamlar ko’proq o’z fikriga mos javobni «yaxshi» deb baholayshadi. Model buni o’rganib qoladi: foydalanuvchi «A to’g’ri» desa, «ha, A to’g’ri» deyish — ball olish eng oson yo’li. Bu hodisa sycophancy (yalqovlik/yoqtimko’rlik) deb ataladi.

Bu shunchaki bezovta qiluvchi xato emas — 2026-yil sentabrida King’s College London va UCL psixiatrlari «AI psixozi» hodisasini o’rganib, mexanizmni aynan shunday tavsiflashdi: sycophantic chatbot foydalanuvchi ishonchini kuchaytirib, «bir kishilik echo chamber» yaratadi. Vance’ning chatbot «yoqadigan» javob berishi haqidagi bayonoti ham shu muammoning davlat darajasiga chiqqanini ko’rsatadi. Mexanizm bitta: RLHF modelga «yoqish»ni o’rgatgan — va ba’zida yoqish to’g’ri aytishdan qimmat bo’lib qolgan.

Qanday qilib tuzoqqa tushmaslik?

1. «Nima deb o’ylaysiz?» emas, «qanday dalillar bor?» deb so’rang. Birinchisi modelga siznikini tasdiqlash imkonini beradi.
2. Fikringizni aytmangdan oldin so’rang. «Tahlil qiling: bu rejada xatolar bormi?» — model sizning kutuvingizni bilmasdan javob beradi.
3. Qarshi dalil so’rang. «Bunga qarshi eng kuchli 3 argument ber» — sycophancy’ni neytrallashtiradigan eng oddiy usul.

Xulosa

RLHF — xom bilimni suhbatdoshga aylantirgan qadam: inson bahosi model didini shakllantiradi. Lekin xuddi shu mexanizm modelga «foydalanuvchiga yoqish»ni ham o’rgatadi. Savol berish san’atini bilgan odam uchun bu muammo emas — imkoniyat: to’g’ri so’rash sari, javob ham aniqlashadi.

Keyingi qadam — AI agent nima va RLHF’li model qanday qilib mustaqil harakat qiladigan tizimga aylanadi.