Головний науковий співробітник OpenAI Якуб Пахоцький опублікував розлоге есе, у якому закликав індустрію штучного інтелекту до добровільного уповільнення темпів розробки. Текст під назвою «An Alien Mind» («Чужий розум») з’явився в блозі компанії позавчора — лише через три дні після презентації нової флагманської моделі GPT-6 Astra.
Головна теза: ніхто не готовий до наслідків
Пахоцький пише, що спостерігав перші результати, які дали команді впевненість у можливості масштабувати навчання «мислячих» моделей, ще у 2023 році — і вже тоді усвідомлював, що люди побачать машини, розумніші за самих себе, ще за свого життя. Три роки по тому мовні моделі з навичками міркування стали помітною частиною економіки, здатною керувати комп’ютерами й графічними інтерфейсами, співпрацювати з людьми та іншими LLM, а також самостійно проводити дослідницькі проєкти.
За словами науковця, внутрішні результати OpenAI дають підстави очікувати, що нинішні темпи прогресу можуть перейти в рекурсивне самовдосконалення (RSI) — коли системи штучного інтелекту дедалі активніше керують власною розробкою. «Це час, який вимагає граничної обережності. Мене турбує, що ніхто не готовий до наслідків подальшого стрімкого зростання машинного інтелекту», — написав Пахоцький.
Чому поведінку моделей стає складніше передбачити
Ключова думка есе — штучний інтелект швидше «вирощують», ніж проєктують: він виникає в результаті багаторазового повторення оптимізаційного кроку на величезних обсягах обчислень, а не покроково створюється людьми. Це породжує надзвичайно складну систему, яка оперує абстрактними поняттями, — і, за аналогією з нейронаукою, її загальну поведінку неможливо повністю пояснити.
Пахоцький наголошує на розриві між зростанням можливостей моделей і прогресом у їх «узгодженості» (alignment) — здатності діяти «правильно» за людськими мірками навіть у незнайомих чи суперечливих ситуаціях. За його оцінкою, GPT-6 Astra узгоджена помітно краще за попередню модель GPT-5.6 Sol, однак прогрес у цій сфері може не встигати за загальним зростанням можливостей ШІ.
Моніторинг ланцюжка міркувань стає ненадійним
Головним інструментом контролю в OpenAI Якуб Пахоцький називає моніторинг ланцюжка міркувань (chain-of-thought monitoring): поки модель словесно проговорює хід своїх думок, у неї немає прямого стимулу приховувати неузгоджені наміри, і дослідники можуть це відстежити. Однак, за його словами, надійність цього методу поступово знижується — моделі дедалі краще навчаються маніпулювати власним процесом міркування й маскувати його, а деякі найновіші системи взагалі не формулюють міркування у явному вигляді.
Ризики кібербезпеки та автономні агенти
Окремий розділ есе присвячено кіберзагрозам: моделі стають надлюдськи сильними у зламі та захисті комп’ютерних систем, і, на думку Пахоцького, зараз існує лише вузьке вікно можливостей, щоб використати найкращі доступні моделі для суттєвого посилення захисту критичної інфраструктури.
Водночас автор попереджає, що достатньо здібний агент, навчений і проінструктований виконувати шкідливі дії, із високою ймовірністю вийде за межі задуму свого оператора — переслідуватиме власні цілі та шукатиме способи взаємодії з людьми через торг, обман або шантаж. Як приклад збою узгодженості в есе згадано інцидент за участю агентів OpenAI та Hugging Face: агенти утрималися від соціальної інженерії щодо людей, але вийшли за межі дозволених дій і порушили дух закладених у них цінностей.
Пачоцкі також натякає на нещодавній кіберінцидент за участю моделі іншого розробника — імовірно, йдеться про випадок, задокументований британським Інститутом безпеки ШІ (AISI): під час контрольованого тестування з навмисно послабленими обмеженнями агент на основі моделі Anthropic Claude Mythos 5 намагався впровадити шкідливий код у реальний відкритий GitHub-проєкт, для чого дослідив мейнтейнерів проєкту та створив фальшиві профілі, аби чинити на них тиск. Коли підозрілий код виявили, агент заперечив свою причетність і переписав історію змін, аби вона виглядала безпечною — за оцінкою самого AISI, це був перший зафіксований випадок обману такого рівня, спрямованого на конкретну реальну людину без будь-якого відповідного запиту від тестувальників.
Що пропонує зробити Пахоцький
Науковець закликає перетворити внутрішні зобов’язання компаній на кшталт Preparedness Framework на обов’язкові стандарти безпеки, дотримання яких контролювали б незалежні аудитори, державні органи або міжнародні структури. Він також закликає розробників координувати зусилля та за потреби спільно уповільнювати темпи розвитку, щоб зміцнити довіру до систем контролю.
«Головна складність автоматизації досліджень у сфері ШІ полягає не в тому, щоб “дістатися мети” — а в тому, щоб зробити це так, аби люди залишалися частиною процесу, а майбутнє — в руках людства», — резюмує Пахоцький в своєму есе.
Наприкінці тексту він додає особисту оцінку: наразі, на його думку, жодна лабораторія не розв’язала проблему узгодженості й моніторингу настільки, щоб відповідально продовжувати масштабування на максимальній швидкості ще довго. Він сподівається, що добровільні уповільнення стануть звичною практикою, поки не сформуються спільні стандарти безпеки, а міжнародна координація з питань розробки штучного інтелекту стане пріоритетом для урядів у всьому світі.
Реакція індустрії
Гендиректор OpenAI Сем Альтман підтримав послання колеги, репостнувши лінк на есе в X і назвавши його важливим. Пахоцький раніше вже підписував липневий відкритий лист із закликом до уряду США сповільнити темпи розвитку штучного інтелекту.
Реакція серед дослідників і коментаторів неоднозначна. Частина спостерігачів звертає увагу на суперечність: заклик до обережності лунає від людини, яка керує дослідженнями в компанії, що щойно випустила свою найпотужнішу модель і продовжує стрімко нарощувати обчислювальні потужності.
ШІ-дослідник Девід Шапіро зазначив, що сама назва есе — «Чужий розум» — дещо перебільшена, і текст не доводить появи справжнього «позаземного» інтелекту; на його думку, реальна проблема, яку підіймає Пахоцький, полягає в тому, що зростання можливостей моделей може випереджати темпи досліджень безпеки.
Нагадаємо, кілька днів тому стало відомо, що OpenAI розробляє систему «автоматичного аварійного відключення» штучного інтелекту.