AI qo'rquvining ildizi qayerda? Rationalizm harakatining siri

Sam Altman yangi modellar insoniyat uchun «sobering» bo’lishini aytadi. Dario Amodei texnologiya «biz kim ekanimizni sinab ko’rishi»dan xavotirda. Metaning robotlari ochiq gapiradi: yaqinlashib kelayotgan narsa — falokat.

Bu so’zlarni eshitsangiz, xayolingizda AI rahbarlari laboratoriyada ko’rmagan dahshatli narsani topgandek tasavvur paydo bo’ladi. The New York Times jurnalisti Kal Newport 5-sentabrda chiqqan «How Scared Should We Be of A.I. Right Now?» maqolasida boshqacha javob beradi: yo’q, ular yangi dalil topmagan. Ular shunday o’sgan.

Rationalizm nima?

1990-yillarning oxirida internetda Extropianlar deb atalgan guruh paydo bo’ldi — texnologik o’limsizlikka ishongan futuristlar. Ulardan Eliezer Yudkowsky ajralib chiqdi: u superintellektli mashinalarni boshqarish optimistlarga qaraganda ancha qiyin deb xulosa qildi.

2006–2009-yillarda Yudkowsky yuz minglab so’z yozdi — asosan Overcoming Bias va LessWrong bloglarida. Bu yozuvlar «The Sequences» nomi bilan tanildi va 6 jildlik «Rationality: From AI to Zombies» kitobiga aylandi. Ushbu goyalarga amal qiluvchi jamoa o’zini Rationalistlar deb atay boshladi.

Ularning e’tiqod tizimining yadrosi oddiy:

Superintellektli AI — insoniyat uchun eng katta xavf.
Aniq, ratsional fikrlash odatlari — yo’q bo’lib ketishdan qutulish yo’li.

Ommaviy madaniyatda bu guruh tushunarsiz ko’rindi — kitob tuzilishi «Scientology qo’llanmasidek» degan tanqidlarga ham sabab bo’ldi. Lekin tarix shuni ko’rsatadiki, Yudkowsky o’ziga kerakli odamlarni jalb qila olgan.

AI gigantlariga yetgan zanjir

Kal Newportning sanab o’tgan zanjiri hayratlanarli:

Aynan Yudkowsky DeepMind asoschilari Demis Hassabis va Shane Legg’ni Peter Thiel bilan tanishtirgan — Thiel kompaniyaning birinchi yirik investoriga aylandi. Legg Yudkowsky ma’ruzasidan keyin superintellekt mavzusida doktorlik dissertatsiyasini yozgan.
OpenAI’ga kelsak: Altman 2023-yilda tvit yozgan edi — «Eliezer, o’zimcha, AGI’ni tezlashtirishga boshqalardan ko’ra ko’proq hissa qo’shdi». OpenAI prezidenti Greg Brockman LessWrong forumiga bag’ishlangan haftalik o’qish guruhi olib borgan.
2023-yildagi Altman ishdan olinishida board a’zolari «Rationalist va EA harakatlari bilan bog’liq» deb ta’riflangan. Vaqtincha CEO etib tayinlangan Emmett Shear onlayn Rationalizm madaniyatida shu qadar faol ediki, Yudkowsky o’zining 600 000 so’zlik «Harry Potter and the Methods of Rationality» asarida uning nomi bilan personaj yaratgan.
Anthropic 2021-yilda OpenAI’dan ketgan xodimlar — Dario va Daniela Amodei boshchiligida tashkil etilgan. Sabablardan biri: OpenAI «alignment muammosiga jiddiy qarayotmagan edi». Dario Amodei 2023-yilda AI insoniyatni tugatish ehtimolini 10–25% deb aytgan.

Ya’ni bugun «AI juda xavfli» deb gapirayotgan rahbarlar — shu harakat ichida yetishgan avlod.

Demak, nimaga ishonish kerak?

Newportning asosiy bayoni shu: qo’rquvli til — yangi topilgan dalil emas, balki Rationalistlarning doimiy dunyoqarashi. Bu doiralarda AI qobiliyatlarining tez o’sishi va dunyoni butunlay o’zgartirishi shubhasiz qabul qilinadi; boshqacha gapirish «xabarsizlik» hisoblanadi.

Qiyos uchun ikki kontrast:

Xitoy — Silikon vodiysi futurizmidan mustaqil AI sanoati. Ular AI’ni «quyosh batareyasi kabi: past xavfli, ulashish va tijoratlashtirish kerak» deb ko’radi.
Nvidia bosh direktori Jensen Huang — Rationalizm doiralariga aralashmagan: «Ko’pchiligimiz ilm-fantasiyada o’sganini tushunaman, lekin bu foydasiz. Odamlarga ham, industriyaga ham, jamiyatga ham, hukumatlarga ham foydasiz».

Nega bu muhim?

Maqolada yana bir keskin nuqta bor: eng alarmist da’volar aynan Rationalizm bilan eng bog’liq odamlardan kelyapti — va bu g’azablantirishi kerak. Chunki bunday bo’rttirilgan qo’rquv real, dolzarb zararlarni ko’zdan qoldiradi: kiberhujumlar, resurs sarfi, kognitiv sog’liq, ta’limga ta’siri, «slop» kontent toshqini.

Bundan tashqari, xavotirli til AI kompaniyalariga o’zini «muhtoj bo’lmagan texnologiyaning mas’ul qo’riqchisi» qilib ko’rsatish imkonini beradi — bu esa o’z mahsulotlari yetkazgan zarar uchun javobgarlikni sochishga xizmat qiladi. (Bu haqda biz alignment nima o’quv qo’llanmasida batafsil yozgan edik — Pachocki ham hech bir lab alignment’ni to’liq hal qilmaganini tan olgan.)

Oddiy foydalanuvchi uchun 3 xulosa

«AGI yaqin» degan umumiy gaplarni filtrdan o’tkazing. «Ko’p ishlar tez orada avtomatlashadi» yoki «modellar tez orada senzent bo’ladi» degan ishonchli gaplar — ko’pincha dalil emas, dunyoqarash. Suhbatni mavjud mahsulotlarga qaytaring: nima qila oladi, nimga xalaqit beradi, qancha turadi.
Agentlar xakerlik qilgani — qo’zg’olon emas. OpenAI’ning avtonom agentlari begona serverlarga kirgani (buning to’liq xronikasini yozganmiz) «AI inson egaligiga qarshi ko’tarilmoqda» degani emas — bu muhandislik xatosi va nazorat muammosi. Farqi muhim.
AGI so’zini marketing sifatida o’qing. Kompaniya «AGI davri» desa ham, mustaqil testlar boshqa raqamlar ko’rsatishi mumkin — AGI nima qo’llanmasida buni batafsil yoritganmiz.

Qo’rquv ham, muhabbat ham — yomon filtr. Yaxshisi bor: «bu mahsulot bugun nima qiladi va men uchun foydalimi?» degan oddiy savol.