Професійна спільнота, що займається розробкою штучного інтелекту, б’є на сполох: автоматизація створення передових великих мовних моделей (LLM) може призвести до такого стрімкого прогресу, що суспільство виявиться не готовим до його наслідків. Про це Business Insider розповів Алан Чан, один із авторів відповідного дослідження з GovAI.
Дослідження під назвою «What If Automating AI R&D Triggers an Intelligence Explosion?» було опубліковано на сайті GovAI 28 вересня. Серед його авторів – провідні фахівці з галузі:
- Джек Кларк, співзасновник Anthropic
- Якуб Пахоцький, головний науковець OpenAI
- Ерік Горвіц, головний науковий директор Microsoft
- Джеффрі Гінтон, нобелівський лауреат
- Йошуа Бенжіо та Ендрю Барто
Алан Чан, науковий співробітник аналітичного центру GovAI, що спеціалізується на питаннях управління штучним інтелектом, пояснює, що термін «інтелектуальний вибух» описує замкнене коло: штучний інтелект допомагає створювати потужніші моделі, які, своєю чергою, беруть активну участь у розробці наступних поколінь LLM. Це спричиняє експоненційне зростання темпів прогресу.
Чан віддає перевагу терміну «інтелектуальний вибух» перед «рекурсивним самовдосконаленням» (RSI), оскільки це дозволяє чіткіше розмежувати питання автоматизації досліджень та потенційного вибухового зростання можливостей ШІ.
Для ілюстрації масштабу, Чан пропонує уявити, що прориви в розробці LLM, подібні до появи моделей рівня Mythos, відбуватимуться щомісяця, а не раз на рік.
Нині над найсучаснішими моделями ШІ працюють тисячі дослідників. Однак, з огляду на можливість легкого копіювання та паралельного запуску ШІ-систем, автоматизація може надати потужності, еквівалентні мільйонам працівників. Автори дослідження наводять такі дані:
- Станом на травень 2026 року, понад 80% коду, затвердженого компанією Anthropic, було створено штучним інтелектом. Для порівняння, у січні того ж року частка Claude у такому коді становила лише кілька відсотків.
- Згідно зі звітом Anthropic, у серпні 2026 року системи вже виконували 26% внутрішніх завдань з розробки ШІ під наглядом людини, тоді як п’ятьма місяцями раніше цей показник становив лише 1%.
- OpenAI повідомляє, що її системи регулярно справляються із завданнями, на які людським співробітникам потрібні дні.
Дослідники прогнозують суттєву автоматизацію розробки ШІ протягом найближчих кількох років і закликають серйозно ставитися навіть до сценарію повної автоматизації в цей період. Водночас, вони визнають, що точні терміни настання цієї реальності поки що невідомі.
Автори документа пропонують політикам зосередитись на трьох ключових напрямках:
- Прозорість: Встановлення механізмів нагляду за передовими лабораторіями, зокрема через вбудованих аудиторів. Обов’язкова звітність щодо рівня автоматизації, темпів прогресу, розподілу бюджетів та використання ШІ у прийнятті критично важливих рішень.
- Інструменти стримування: Розробка вимог безпеки для подальшого розвитку, обмеження швидкості зростання можливостей ШІ, моніторинг та зупинка ризикованих експериментів, створення ізольованих середовищ для досліджень та налагодження міжнародного обміну інформацією про інциденти.
- Підготовка суспільства: Розробка планів реагування на можливі кібератаки, біологічні загрози, потрясіння на ринку праці та втрату контролю над потужними системами ШІ.
Алан Чан зазначає, що «вікно можливостей» для політичного втручання існує, але з часом його ефективність зменшуватиметься. Він наголошує на важливості нинішнього моменту, згадуючи, що ідея незалежних аудиторів вже отримала підтримку Даріо Амодеї, керівника Anthropic, який також закликає галузь «сповільнити темп» розробок.
Нещодавно керівники Anthropic, Google, OpenAI, SpaceXAI та Nvidia підписали угоду в Білому домі, зобов’язавшись співпрацювати з незалежними зовнішніми аудиторами. Хоча документ має «морально» обов’язковий характер, його деталізація поступається вимогам, викладеним у дослідженні GovAI.
Чан підкреслює, що автоматизація досліджень не є ані добром, ані злом сама по собі. З одного боку, це прискорить появу нових технологій, зокрема в медицині. З іншого – зростатимуть і ризики, вимагаючи значно швидшого реагування. Як приклад потенційних інцидентів, пов’язаних із втратою контролю, він наводить порушення безпеки Hugging Face з боку OpenAI.
Варто згадати, що у червні цього року OpenAI офіційно заявила про відмову від повної автоматизації розробки штучного інтелекту, назвавши такий підхід «небезпечним і безглуздим».